roobrief개발자를 위한 IT 뉴스
검색

글 하드웨어

라즈베리 파이 5용 딥엑스 NPU HAT, 어디까지 되나

라즈베리 파이가 10월 5일 공식 블로그에서 한국 회사 딥엑스(DEEPX)의 NPU를 얹은 Sixfab AI HAT+를 소개했다. 지금 살 수 있는 쪽은 25 TOPS짜리 DX-M1M이고, 가격은 90달러(약 12만 원)다.

NPU는 신경망 연산을 전담하는 칩 안의 가속기다. 온디바이스 AI는 클라우드가 아니라 기기에서 AI를 돌리는 방식을 말한다. TOPS는 초당 조 단위 연산 횟수로, 가속기 성능을 가늠하는 지표다. 이 보드는 6월 26일 딥엑스와 Sixfab이 먼저 발표했고, 이번 글은 라즈베리 파이 쪽의 소개다.

온디바이스면 무엇이 되나

가벼운 모델은 파이 CPU만으로도 돌아간다. 라즈베리 파이는 가속기를 CPU가 감당 못 하는 소수 작업용으로 보며, 대표적인 자리가 항상 켜 둔 카메라, 로봇, 산업 장비다. 약 3W짜리 NPU라면 클라우드 왕복 없이 이런 일을 계속 돌릴 수 있다. 다만 3W는 NPU 전형 전력이고, 파이 5와 HAT를 합쳐 부하를 걸면 Sixfab 기준 13~15W대다. 공식 27W 어댑터를 권한다.

범위는 좁다. 사람·차·자세를 골라 내고, 짧은 설명을 붙이고, 음성 한 마디를 명령으로 바꾸는 정도다. 세상 지식을 묻거나 긴 대화를 이어 가는 일은 클라우드의 몫이라고 라즈베리 파이도 선을 그었다.

TOPS 구간별로 되는 일

13 TOPS급은 카메라 한 대에 모델 하나가 기본이라, 사람인지, 어디를 보는지, 자세가 어떤지를 고르는 정도다. 공식 AI HAT+의 Hailo-8L이 이 자리이고 70달러(약 9만 3,000원)다. 딥엑스의 13 TOPS 판(DX-M1ML, 63달러, 약 8만 4,000원)은 4분기 출고 예정이라 아직 살 수 없다.

25 TOPS급은 모델을 여러 개 얹는 자리다. 검출과 자세·영역 나누기를 한 화면에 같이 돌리거나, 카메라를 여러 대 달 때 쓴다. 딥엑스 HAT가 여기이고, 공식 Hailo-8은 26 TOPS에 110달러(약 15만 원)다. 라즈베리 파이는 2024년 AI HAT+ 발표 때 13과 26이 하는 일의 종류는 같고, 26은 더 큰 네트워크와 여러 모델 동시 실행이 된다고 설명했다.

40 TOPS급은 짧은 글까지 다루는 자리다. 공식 AI HAT+ 2(Hailo-10H)가 INT4 기준 40 TOPS에 온보드 메모리 8GB를 달았고, 짧은 캡션과 음성 명령 변환이 문서에 나온다. 출시가는 130달러(약 17만 원)였는데, 지금 공식 페이지에는 200달러(약 27만 원)로 올라 있다.

급 하는 일 예
13 TOPS 카메라 한 대 비전 공식 AI HAT+ 70달러(약 9만 3,000원)
25~26 TOPS 여러 모델·여러 카메라 딥엑스 90달러(약 12만 원), 공식 110달러(약 15만 원)
40 TOPS(INT4) 짧은 글·음성까지 공식 AI HAT+ 2 200달러(약 27만 원)

TOPS는 같은 자로 재기 어렵다. 딥엑스의 25는 INT8, AI HAT+ 2의 40은 INT4 기준이고, 오렌지파이 6의 45 TOPS는 CPU·NPU·GPU를 합친 값이라 NPU만 보면 28.8 TOPS다. 바나나파이 AIM7의 NPU는 최대 6 TOPS에 그치는 만큼 같은 줄에 세울 수 없다.

개발자가 실제로 고르는 길

고를 때는 소프트웨어 길이 짧은 쪽이 먼저 보이는데, 카메라와 홈캠이면 공식 Hailo다. 라즈베리 파이 OS의 rpicam-apps와 Picamera2가 Hailo NPU를 알아서 쓴다. 영상을 저장하며 사람·차를 골라 내는 오픈소스 Frigate도 Hailo-8과 8L을 감지기로 지원한다. Jeff Geerling은 70달러 Hailo-8L로 카메라 두 대를 돌려 검출 약 12ms에 CPU 사용은 낮았다고 적었다. Frigate는 신규 설치에 예전의 Coral을 더 이상 권하지 않는다.

언어 모델만 필요하다면 NPU HAT가 답이 아닐 수 있다. Geerling은 AI HAT+ 2에서 소형 언어 모델의 글자 생성 속도는 파이 5 CPU가 더 빨랐다고 측정했다. HAT가 이기는 구성은 CPU를 비워 두고 카메라와 짧은 글을 같이 붙이는 쪽인데, 출시 직후에는 그 동시 실행이 예제 부족으로 실패했다고 했다. 반대로 Hailo는 첫 토큰이 나오기까지는 HAT가 훨씬 빠르다는 수치를 냈다. 두 숫자는 서로 다른 지표다.

딥엑스 쪽은 모델을 ONNX(학습 프레임워크 사이에서 모델을 주고받는 공통 파일 형식)로 만든 뒤 INT8로 양자화(숫자를 낮은 비트로 줄이는 일)해 칩용 .dxnn 파일로 컴파일한다. 컴파일은 x86_64 PC에서 하고, 실행은 보드의 런타임이 맡는다. 라즈베리 파이 블로그 벤치(파이 5 8GB)에서는 mobilenet_v2가 2361 FPS, deeplabv3plus가 155 FPS였다. Sixfab은 YOLOv8n 640×640이 30~35 FPS라고 안내하는데, rpicam이나 Frigate에는 Hailo만큼 붙어 있지 않다.

오렌지파이·바나나파이는 NPU가 칩 안에 있어서 HAT를 따로 살 필요가 없다.

확인되지 않은 부분

  • 라즈베리 파이 글은 이 HAT에서 Qwen3-1.7B가 돈다며 벤치를 실었지만(DX-M1M은 4.64 tok/s), Sixfab 판매 페이지 FAQ는 현재 DX-M1M은 비전용이고 언어 모델을 지원하지 않는다고 적는다. 어느 쪽이 맞는지 확인하지 못했다.
  • Frigate가 딥엑스를 배포 문서에 넣었는지는 확인하지 못했고, 안정 문서에는 Hailo만 있다.
  • 딥엑스 HAT는 CE·FCC 같은 인증이 진행 중이고, 파이 5에서만 쓴다(파이 4, CM4, CM5 IO Board 불가).

지금 확인할 것

아래는 공개 스펙과 후기를 바탕으로 한 추정과 조언이다.

  • 카메라만 보면 70달러 Hailo-8L부터 본다. 26 TOPS나 딥엑스 25 TOPS는 여러 모델·여러 스트림이 필요할 때다.
  • 글이 필요하면 메모리와 생성 속도를 같이 본다. 딥엑스 HAT를 글 용도로 사기 전에 FAQ와 블로그가 어긋나는 점부터 확인한다.
  • 모델이 그 칩 형식으로 컴파일되는지 먼저 본다. Hailo용과 딥엑스용 파일은 서로 호환되지 않는다.

앞으로 볼 것

딥엑스 13 TOPS 판의 실제 출고, 라즈베리 파이 글과 Sixfab FAQ 사이의 언어 모델 지원 정리, Frigate가 Hailo-10H나 딥엑스를 배포 문서에 넣는 시점이다.

환율은 2026년 10월 20일 기준.

출처

출처: www.raspberrypi.com

← 목록