Pre-processing 문의

npu toolkit을 사용하여 onnx 모델과 custom_postproc.c 파일을 함께 컴파일 하는건 알겠는데, 모델에 들어가기 전 카메라에서 받은 이미지를 전처리하는 코드는 어떻게 같이 컴파일하는지 문서에도 나와있지 않아 문의 드립니다.

감사합니다.

안녕하세요.
해당 문의에 답변 드립니다.

DRAM input buffer를 feed하는 함수에서

input_data = max(min(round(input_fp32 / scale), 127), -128)

수식으로 RGB 8bit data를 만들어 넣으시면 됩니다.

감사합니다.

네 답변 감사합니다.
더 자세하게, 어디 위치의 어떤 파일에 있는지, ToTensor와 resize 같은 pytorch 함수를 사용할 수 있는지 궁금합니다.

추가적으로,
ENLIGHT SW Toolkit Application Guide 문서 version 1.1, June 2024
ENLIGHT TM NPU SW Toolkit Manual version v2.0rl.f
ENLIGHT_NPU_V20_SW_Toolkit_v0.9.7

위 버젼 이후에 추가로 업데이트 된 문서나 toolkit이 있다면 공유 부탁드립니다.

마지막으로, convert를 수행할 때 License is expired 문구가 뜨며 코드가 수행되지 않습니다. 해결방법 문의드립니다.

감사합니다.

안녕하세요.

답변 드렸던 내용은 ‘ENLIGHT TM NPU SW Toolkit Manual version v2.0rl.f’ 파일의 Appendix D.3 부록을 참고하시면 됩니다.
또한 함수 사용은 Operators 항목을 참고하시면 됩니다.
아래는 업데이트된 toolkit 버전입니다. 다운로드하여 사용 부탁드립니다.

감사합니다.

답변 감사합니다.
말씀해주신 ‘ENLIGHT TM NPU SW Toolkit Manual version v2.0rl.f’ 파일의 Appendix D.3 부록에 언급된 “ENLIGHT-NPU
V2.0 Technical Reference Manual” 문서도 공유부탁드립니다.

감사합니다.

아래 링크로 공유 드립니다.

감사합니다.

공유해주신 파일을 확인하였으나, 제가 이전에 언급했었던 ‘ENLIGHT TM NPU SW Toolkit Manual version v2.0rl.f’ 파일과 동일한 파일을 공유해주셨습니다.
문서의 맨 마지막 페이지에 언급됐던 “ENLIGHT-NPU
V2.0 Technical Reference Manual” 문서 공유 부탁드립니다.

감사합니다.

하나더 여쭤보면, 모델의 일부분 중 enlight에서 operator가 지원되지 않아서 모델의 뒷부분을 포함해서 post processing에 구축하였습니다. 그 과정에서 weight들을 따로 txt 파일로 추출해서 custom_postproc.c 내부에서 아래와 같이 불러오도록 코드가 작성됐는데, 이런 방법이 사용가능한지 궁금합니다.

image
image

아래 링크의 문서를 참조하시면 됩니다.