ENLIGHT SW Toolkit으로 컴파일한 결과물을 AI-G 보드에서 실행하는 방법 문의

AI
1

이 글은 기술 질문입니다.

on

사용 보드

AI-G

보드 이미지 또는 펌웨어

Yocto

사용자 PC 또는 빌드 환경

Windows + WSL

SDK/BSP 버전

확인하지 못함

기술 분야

NPU/AI 모델

질문 내용

궁금한 점

output_code/ 폴더에 생성된 이 컴파일 결과물을 실제 AI-G 보드로 옮겨서 NPU에서 추론을 실행하려면 어떻게 해야 하나요?

  • 이 파일들을 보드로 전송하는 방법 (scp? SD카드? 별도 도구?)
  • 보드 쪽에서 이 바이너리를 로드해서 NPU 추론을 실행시키는 런타임/실행 파일이 따로 있는지, 있다면 어디서 받을 수 있는지
  • README에 언급된 "Toolkit manual"의 “Chapter 3” 등 관련 챕터를 어디서 받을 수 있는지 (다운받은 예제 패키지 zip에는 포함되어 있지 않았습니다)

혹시 관련 가이드나 참고할 만한 게시글이 있으면 링크 부탁드립니다. 감사합니다!

현재 상태 또는 발생 증상

진행 상황

  1. FWDN으로 AI-G 보드에 펌웨어 정상 플래싱 완료 (UART 콘솔 로그인까지 확인)
  2. 호스트 PC(WSL Ubuntu 26.04)에서 tc-nn-toolkit (ENLIGHT SW Toolkit) 다운로드
  3. mobilenetv2-10.onnx 모델로 아래 파이프라인 전부 성공적으로 완료:
    • converter.py → .enlight 변환
    • quantizer.py → 양자화된 _quantized.enlight 생성
    • compiler.py → NPU 코드 컴파일 성공 (output_code/mobilenetv2-10_quantized/ 폴더에 npu_cmd.h, npu_cmd.bin, quantized_network.bin, network.h, post_process.c 등 생성됨)
2

안녕하세요. TOPST해당 링크에 보면 컴파일 이후에 NPU 추론이 끝난 텐서를 처리하기 위한 후처리 과정에 대해 간략하게 설명하고 있습니다. 이후 SCP로 보드에 보낸 뒤에 AI-G SDK에 내장되어있는 tcnnapp이라는 것을 통해 추론이 가능하십니다. npu api나 어플리케이션도 마찬가지로 해당 링크의 4, 6번에 설명되고 있습니다. 참고부탁드립니다.

툴킷의 자세한 가이드 문서는 현재 준비중입니다.
추후 업데이트되면 알려드리겠습니다.
감사합니다.