Sven Wernicke
Künstliche Intelligenz ist in aller Munde. Doch ohne Internet sind ChatGPT, Google Gemini, Microsoft Copilot, Midjourney und Co. bisher nicht zu gebrauchen. Denn die komplexen Berechnungen finden bislang noch in der Cloud und dort auf Hochleistungs-Servern mit einem enormen Energieverbrauch statt. Mit einer Neural Processing Unit im PC oder Laptop, kurz: einer NPU, kann der „Umweg“ über die Internetverbindung im Prinzip bald entfallen.
Inhalt:
- Was ist eine NPU?
- Unterschiede zwischen CPU, GPU und NPU
- Vor- und Nachteile von NPUs
- Wofür brauche ich eine NPU?
- In welchen Geräten stecken bereits NPUs?
- Was sind TOPS?
Was ist eine NPU?
Ein NPU ist ein spezialisierter Prozessor für einen PC oder ein Smartphone, der die aufwendigen Rechenaufgaben für Künstliche Intelligenz übernimmt und damit den Hauptprozessor (CPU) entlastet. Eine NPU eignet sich besonders für KI-Anwendungen, die auf Deep Learning basieren.
Eine NPU kannst du dir als Chip vorstellen, ähnlich wie eine CPU oder GPU. Sie alle nehmen Berechnungen vor, sind aber für ihren jeweiligen Einsatzzweck optimiert.
NPU vs. CPU vs. GPU
Für allgemeine Berechnungen sind CPUs ideal, also klassische Prozessoren. GPUs sind den meisten Anwender:innen als Grafikchips auf Grafikkarten bekannt. Sie kommen vorrangig bei der Darstellung von Bildern und Grafiken, aber auch bei etwas spezialisierteren Rechenarbeiten zum Einsatz. Sie spielen ihre Stärke etwa auch beim Schürfen von Kryptowährungen wie Bitcoin aus. CPU und GPU sind durchaus in der Lage, KI-Berechnungen durchzuführen; sie sind aber nicht ideal dafür.
Leistungsstärker sind Chips, die auf für die Beschleunigung neuronaler Netze ausgelegt sind. Das sind die Neural Processing Units, also NPUs. Sie verfügen über spezialisierte Befehlssätze für Deep Learning und die bei KI typischen Operationen. Oder anders gesagt: Die Fokussierung auf ihr Einsatzgebiet (Bild- und Spracherkennung, maschinelles Lernen, Deep Learing) macht sie deutlich leistungsfähiger und effizienter als CPUs und GPUs mit ihren universellen Befehlen. KI-relevante Anweisungen können NPUs also schneller ausführen als herkömmliche Prozessoren.
Bisher nutzen Rechenzentren für aufwändige Berechnungen vor allem kostspielige und energiehungrige GPUs, die ihre Stärken beim parallelen Verarbeiten großer Datenmengen offenbaren. Das ist bei den NPUs auch der Fall, allerdings sind diese noch spezialisierter und können Befehle im Vergleich zu GPUs bis zu 10.000 Mal schneller ausführen. Das liegt auch daran, dass bei den NPUs Speicher und Recheneinheiten eng beieinander sind, Daten müssen so nicht zwischen Prozessor und Speicher hin- und herwandern.
Das Highlight einer NPU ist, dass sie gleichzeitig eine hohe Anzahl an verhältnismäßig kleinen Aufgaben ausführen kann, ohne dabei CPU und GPU stark zu belasten. Sie ersetzt (vorerst) keine GPU, da diese für komplexe Berechnungen oder das Trainieren von KI-Modellen unverändert benötigt wird – auch wenn sie einen höheren Energieverbrauch hat.
Was sind die Vor- und Nachteile von NPUs?
NPUs simulieren gewissermaßen Synapsen: Sie führen Berechnungen aus und leiten die Ergebnisse an die nächste Schicht des neuronalen Netzes weiter – bis zum gewünschten Ergebnis. Solche Berechnungen sind besonders häufig Matrixmultiplikationen. Auf diese Art Operation setzen die meisten KI-Modelle.
Vorteile von NPUs
- Leistung: Bei Berechnungen für neuronale Netze sind sie schneller als CPUs und GPUs.
- Energieverbrauch: Trotz höherer Leistung ist der Energieverbrauch deutlich niedriger für die Rechenleistung, die sonst CPU und CPU aufbringen müssten.
- Ausführen auf Endgeräten: Im besten Fall führen NPUs KI-Berechnungen auch ohne Anbindung an die Cloud bzw. das Internet direkt auf Endgeräten wie Laptops oder Smartphones aus. Das spart Ressourcen (Energie, Server-Kapazitäten, Datenübertragung…).
Nachteile von NPUs
- Kosten: Die Produktion von NPUs ist kostspielig, die Entwicklung für PCs ist noch relativ neu – entsprechend teuer sind NPUs derzeit noch.
- Spezialisierung: NPUs eignen sich nur für KI-Einsatzgebiete, nicht aber für andere Aufgaben.
- Programmierung: Derzeit ist die Programmierung von NPUs sehr komplex und setzt entsprechende Frameworks sowie bei Entwickler:innen Kenntnisse der Materie voraus.
Für uns Anwender:innen dürfte im Grunde nur relevant sein: Geräte wie KI-Notebooks mit integrierter NPU könnten teurer sein als herkömmliche Geräte ohne einen solchen Chip.
Wofür brauche ich eine NPU?
Für eine NPU sind viele Einsatzgebiete denkbar. Vieles davon gehört für uns längst zu einer Selbstverständlichkeit. Mithilfe eines zusätzlichen Chips lassen sich aber bestimmte Anwendungen beschleunigen sowie CPU und GPU entlasten. Das steigert die Gesamtperformance.
Unter anderem eignet sich eine NPU für:
- Gesichts- und Objekterkennung
- Spracherkennung und automatische Übersetzung
- Generierung von Texten, Programmier-Code und Bildern
- Empfehlungen abhängig vom Nutzer:innen-Verhalten
- Analyse, Optimierung und Automatisierung von Prozessen und Aktivitäten
- Intelligentere Gegner und neuartige Welten in Computerspielen
Samsung zeigt unter anderem mit dem aktuellen Galaxy S24, was mit KI möglich ist – zum Beispiel der Foto-Assistent.
In welchen Geräten stecken bereits NPUs?
Auch wenn KI erst seit 2022 in aller Munde ist, kommen NPUs bereits seit Jahren zum Einsatz – in erster Linie in mobilen Geräten. Qualcomm verbaut seit 2018 (Snapdragon 855) in den eigenen Snapdragon-Chips eine Neural Processing Unit. Der Chipriese reagierte damit auf die KI-Bestrebungen der Mitbewerber von Huawei (Kirin 970 und aufwärts), Samsung (Exynos 9820 und neuer) und Apple (A11 und neuer). Wir benutzen KI also schon viel länger – beispielsweise bei Komfortfunktionen wie Gesichtserkennung („Face Unlock“), Hintergrundunschärfe bei Videochats oder Bild- und Video-Bearbeitung (Filtereffekte…).
Im Bereich der Desktop-PCs und Laptops gewinnen NPUs ebenfalls an Bedeutung: AMDs Prozessoren mit XDNA-Architektur, die von der Ryzen-AI-Plattform unterstützt werden, verfügen bereits über NPUs. Die nächste XDNA-Generation steht in den Startlöchern und verspricht für 2024 mehr KI-Power. Im Fokus hat AMD bisher tragbare Computer; stationäre PCs und Workstations folgen.
Intel setzt mit den Core-Ultra-Prozessoren auf den Intel AI Boost. Der Begriff steht für im Chip integrierte NPUs. Die neuen Ultra-Prozessoren (Meteor Lake) sollen Notebooks beschleunigen und um starke KI-Funktionen bei längerer Akkulaufzeit bereichern. Für Desktop-PCs geeignete KI-Chips von Intel dürften später folgen.
NPUs sind auch in anderen Bereichen vonnöten und kommen in diesen bereits zum Einsatz. Zum Beispiel:
- VR- und AR-Brillen: Zum Generieren authentischer Welten
- Fahrzeuge: Autonom fahrende Autos verlangen eine schnelle Bild- und Spracherkennung zur Orientierung.
- Smart Speaker & Smart Home: Bessere Spracherkennung, dynamische Anpassung an eigene Bedürfnisse (Licht, Heizung etc.)
- Industrielle Automatisierung: Industrieroboter und andere Maschinen zur Steigerung der Produktivität werden (künftig) verstärkt NPUs benötigen
TOPS: Richtwert für Leistung von NPUs
Wie kannst du feststellen, wie gut eine NPU ist? Hier kommen die TOPS ins Spiel. Das Wort steht für „Trillion Operations per Second“ und gibt an, wie viele Billionen Operationen eine NPU pro Sekunde ausführen kann. Aber: Es ist ein theoretischer Wert, denn TOPS sagt nichts über die Genauigkeit der Berechnungen, über die Art der Operationen (Matrixmultiplikation oder andere) oder die Speicherbandbreite aus. Genau diese Aspekte sind allerdings von NPU zu NPU verschieden.
NPUs in aktuellen Prozessoren
| Prozessor/SoC (mit NPU) | Billionen Berechnungen pro Sekunde (TOPS) |
|---|---|
| Qualcomm Snapdragon 8 Gen 3 | 45 |
| Qualcomm Snapdragon X Elite | 75 |
| Google Edge TPU | 45 |
| Apple A16 Bionic | 17 |
| Samsung Exynos 2300 | 25 |
| MediaTek Dimensity 9200 | 24 |
Ein Qualcomm Snapdragon 8 Gen 3 besitzt 45 TOPS, Intels neue Core-Ultra-Chips bieten 34 TOPS. Ist der Chip aus einem Smartphone also besser für KI geeignet als ein Highend-Laptop-Prozessor? Genau das lässt sich so pauschal nicht sagen. Hier helfen zusätzlich Benchmark-Tools wie MLPerf oder ResNet-50 zur realistischen Einordnung – auch abhängig vom eigentlichen Einsatzgebiet. Entscheidend ist zusätzlich, dass sich NPUs überhaupt miteinander vergleichen lassen. Hierfür sollten sie gleiche Arten von Berechnungen in einem identischen neuronalen Netzwerk durchführen.
Außerdem: Zum Beispiel bei AMD und Intel berechnen auch CPU und GPU KI-spezifische Aufgaben, die die Leistung (TOPS-Wert) erhöhen – bei einer niedrigeren Energieeffizienz im Vergleich zu Smartphone-Prozessoren.
Trotzdem gelten TOPs als relevanter Richtwert, der die theoretischen Werte der NPU-Rechenleistung abbildet.
Und was ist mit dem Nachteil der Kontrolle und Überwachung?
Der wird vorsorgliche Weise garnicht erst erwähnt. Solche NPU’s sind natürlich besonders gut geeignet dafür die Nutzungsgewohnheiten- und Inhalte der User zur kontrollieren.
Die ersten Ansätze hat man ja bereits mit dem TPM2.0 probiert, nur dass sich da nicht genug Informationen abgreifen lassen.
Hier verstehe ich nicht so recht den Zusammenhang: Was hat TPM2 mit NPU zu tun? Und wie kann mich eine NPU überwachen, wenn sie dafür sorgt, dass KI-relevante Berechnungen lokal ausgeführt werden, man also keine Verbindung zum Internet benötigt?