roobriefIT-News für Entwickler
Suche

Von Hardware

DEEPX-NPU-HAT für den Raspberry Pi 5: Was damit geht

Raspberry Pi hat am 5. Oktober im offiziellen Blog das Sixfab AI HAT+ vorgestellt, das eine NPU des südkoreanischen Unternehmens DEEPX trägt. Aktuell kaufen lässt sich die Variante DX-M1M mit 25 TOPS für 90 US-Dollar (rund 80 Euro).

Eine NPU ist ein Beschleuniger auf dem Chip, der auf Rechnungen für neuronale Netze ausgelegt ist. On-Device-KI heißt, dass Modelle auf dem Board statt in der Cloud laufen. TOPS zählt Billionen Rechenoperationen pro Sekunde und dient als grobes Maß für die Geschwindigkeit von Beschleunigern. Sixfab und DEEPX haben das Board schon am 26. Juni angekündigt; der Beitrag von Raspberry Pi ist also eine Vorstellung, kein Marktstart.

Was On-Device-KI hier leisten kann

Leichte Modelle laufen schon auf der CPU des Pi. Einen Beschleuniger sieht Raspberry Pi für die wenigen Aufgaben vor, die die CPU nicht stemmt, etwa eine dauerhaft laufende Kamera, einen Roboter oder Industrietechnik. Eine NPU mit rund 3 W kann solche Dauerarbeit ohne Umweg über die Cloud erledigen. Die 3 W sind aber der typische Verbrauch der NPU allein: Ein Pi 5 mit HAT zieht unter Last laut Sixfab 13 bis 15 W, empfohlen wird das offizielle 27-W-Netzteil.

Der Einsatzbereich ist eng. Das Board erkennt Personen, Autos und Körperhaltungen, schreibt eine kurze Bildbeschreibung oder macht aus einem gesprochenen Satz einen Befehl. Fragen nach Weltwissen und lange Dialoge gehören in die Cloud, und diese Grenze zieht auch Raspberry Pi.

Was welche TOPS-Klasse abdeckt

Bei 13 TOPS sind eine Kamera und ein Modell der Normalfall: Ist da eine Person, wohin blickt sie, welche Haltung hat sie. Das offizielle AI HAT+ mit Hailo-8L sitzt hier und kostet 70 US-Dollar (rund 62 Euro). Die 13-TOPS-Variante von DEEPX (DX-M1ML, 63 US-Dollar, rund 56 Euro) soll im vierten Quartal ausgeliefert werden und ist noch nicht zu haben.

Bei 25 TOPS laufen mehrere Modelle gleichzeitig, etwa Erkennung plus Haltungs- oder Segmentierungsmodell auf demselben Bild, oder mehrere Kameras. Das DEEPX-HAT gehört hierher; das offizielle Hailo-8 hat 26 TOPS und kostet 110 US-Dollar (rund 98 Euro). Raspberry Pi schrieb zur Vorstellung des ersten AI HAT+ 2024, 13 und 26 TOPS leisteten dieselbe Art von Arbeit, bei 26 gingen größere Netze und mehrere Modelle parallel.

Bei 40 TOPS kommen kurze Texte ins Spiel. Das offizielle AI HAT+ 2 (Hailo-10H) ist mit 40 TOPS bei INT4 angegeben und hat 8 GB Speicher an Bord; in der Dokumentation stehen kurze Bildbeschreibungen und die Umsetzung von Sprache in Befehle. Zum Start kostete es 130 US-Dollar (rund 120 Euro), die offizielle Seite nennt jetzt 200 US-Dollar (rund 180 Euro).

Klasse Aufgabe Beispiel
13 TOPS Bildanalyse mit einer Kamera Offizielles AI HAT+ 70 US-Dollar (rund 62 Euro)
25–26 TOPS Mehrere Modelle, mehrere Kameras DEEPX 90 US-Dollar (rund 80 Euro), offiziell 110 US-Dollar (rund 98 Euro)
40 TOPS (INT4) Auch kurze Texte und Sprache Offizielles AI HAT+ 2 200 US-Dollar (rund 180 Euro)

TOPS-Angaben lassen sich nicht an einem Maßstab messen. Die 25 von DEEPX gelten für INT8, die 40 des AI HAT+ 2 für INT4. Die 45 TOPS des Orange Pi 6 addieren CPU, NPU und GPU; die NPU allein kommt auf 28,8 TOPS. Die NPU des Banana Pi AIM7 erreicht höchstens 6 TOPS.

Wie Entwickler tatsächlich wählen

In der Praxis entscheidet, wie kurz der Weg in der Software ist.

Für Kameras und Heimüberwachung ist es das offizielle Hailo. Die Raspberry-Pi-OS-Werkzeuge rpicam-apps und Picamera2 nutzen die Hailo-NPU von selbst. Frigate, die quelloffene Aufzeichnungssoftware, die Personen und Autos erkennt, unterstützt Hailo-8 und 8L als Detektoren. Jeff Geerling schrieb, ein Hailo-8L für 70 US-Dollar habe zwei Kameras mit rund 12 ms Erkennungszeit und geringer CPU-Last bedient. Für Neuinstallationen empfiehlt Frigate Coral nicht mehr.

Wer nur ein Sprachmodell braucht, ist mit einem NPU-HAT womöglich falsch bedient. Geerling maß beim AI HAT+ 2 die Textgenerierung und fand die CPU des Pi 5 schneller. Das HAT spielt seine Stärke aus, wenn es die CPU frei hält und Kamera und kurzer Text zusammen laufen sollen; zum Start scheiterte diese Kombination aber mangels Beispielen. Hailo selbst nennt für die Zeit bis zum ersten Token (ein kleines Textstück, etwa ein Wortteil, das KI-Modelle lesen und schreiben) deutlich kürzere Werte auf dem HAT. Beide Zahlen messen Verschiedenes.

Bei DEEPX exportiert man das Modell als ONNX (ein gemeinsames Modelldateiformat, das Trainings-Frameworks austauschen), quantisiert es auf INT8 (dabei werden die Zahlen des Modells auf weniger Bits gekürzt) und kompiliert es zu einer .dxnn-Datei für den Chip. Kompiliert wird auf einem x86_64-PC, die Runtime führt die Datei auf dem Board aus. Im Benchmark von Raspberry Pi (Pi 5 mit 8 GB) schaffte mobilenet_v2 2.361 FPS und deeplabv3plus 155 FPS. Sixfab nennt für YOLOv8n bei 640×640 30 bis 35 FPS. In rpicam und Frigate ist es nicht so verankert wie Hailo.

Orange Pi und Banana Pi tragen den NPU im Chip, ein HAT ist dort nicht nötig.

Was wir nicht bestätigen konnten

  • Der Beitrag von Raspberry Pi zeigt einen Benchmark mit Qwen3-1.7B auf diesem HAT (4,64 tok/s beim DX-M1M), doch die FAQ auf Sixfabs Produktseite sagt, der DX-M1M sei derzeit nur für die Bildanalyse gedacht und unterstütze keine Sprachmodelle. Welche Angabe stimmt, konnten wir nicht klären.
  • Ob Frigate DEEPX in die veröffentlichte Dokumentation aufgenommen hat, konnten wir nicht bestätigen. In der stabilen Dokumentation steht nur Hailo.
  • Das DEEPX-HAT durchläuft noch Zertifizierungen wie CE und FCC und funktioniert nur mit dem Pi 5 (nicht mit Pi 4, CM4 oder CM5 IO Board).

Was jetzt zu prüfen ist

Das Folgende ist unsere Einschätzung und unser Rat auf Basis öffentlicher Spezifikationen und Erfahrungsberichte.

  • Wer nur Kameras braucht, schaut zuerst auf das Hailo-8L für 70 US-Dollar. 26 TOPS bei Hailo oder 25 TOPS bei DEEPX lohnen sich, wenn mehrere Modelle oder Streams nötig sind.
  • Wer Text braucht, betrachtet Speicher und Generierungstempo zusammen. Vor einem Kauf des DEEPX-HAT dafür den Widerspruch zwischen Blog und FAQ klären.
  • Zuerst prüfen, ob sich das eigene Modell ins Chipformat kompilieren lässt. Dateien für Hailo und DEEPX sind nicht austauschbar.

Was als Nächstes zu beobachten ist

Ob die DEEPX-Variante mit 13 TOPS tatsächlich ausgeliefert wird, wie Raspberry Pi und Sixfab ihre Angaben zu Sprachmodellen in Einklang bringen und wann Frigate Hailo-10H oder DEEPX in die veröffentlichte Dokumentation aufnimmt.

Umrechnung zum Kurs vom 20. Oktober 2026.

Quellen

Quelle: www.raspberrypi.com

← Zurück