Was ist eine NPU und wie kann sie dir helfen?

Künstliche Intelligenz verlangt enorme Rechenpower. Mit einer NPU kann dein PC KI-Aufgaben auch ohne Internetverbindung ausführen.

Was ist eine NPU und wie kann sie dir helfen?
Foto: Samsung

Künstliche Intelligenz ist in aller Munde. Doch ohne Internet waren ChatGPT, Google Gemini, Microsoft Copilot, Midjourney und Co. bisher nicht zu gebrauchen. Denn die komplexen Berechnungen fanden bislang noch in der Cloud und dort auf Hochleistungs-Servern mit einem enormen Energieverbrauch statt. Mit einer Neural Processing Unit im PC oder Laptop, kurz: einer NPU, kann der „Umweg“ über die Internetverbindung entfallen.

Der Artikel erschien am 16. April 2024 und wurde am 23. Mai 2024 überarbeitet.

Inhalt:

Was ist eine NPU?

Ein NPU ist ein spezialisierter Prozessor für einen PC oder ein Smartphone, der die aufwendigen Rechenaufgaben für Künstliche Intelligenz übernimmt und damit den Hauptprozessor (CPU) entlastet. Eine NPU eignet sich besonders für KI-Anwendungen, die auf Deep Learning basieren.

Eine NPU kannst du dir als Chip vorstellen, ähnlich wie eine CPU oder GPU. Sie alle nehmen Berechnungen vor, sind aber für ihren jeweiligen Einsatzzweck optimiert.

NPU vs. CPU vs. GPU

Für allgemeine Berechnungen sind CPUs ideal, also klassische Prozessoren. GPUs sind den meisten Anwender:innen als Grafikchips auf Grafikkarten bekannt. Sie kommen vorrangig bei der Darstellung von Bildern und Grafiken, aber auch bei etwas spezialisierteren Rechenarbeiten zum Einsatz. Sie spielen ihre Stärke etwa auch beim Schürfen von Kryptowährungen wie Bitcoin aus. CPU und GPU sind durchaus in der Lage, KI-Berechnungen durchzuführen; sie sind aber nicht ideal dafür.

Leistungsstärker sind Chips, die auf für die Beschleunigung neuronaler Netze ausgelegt sind. Das sind die Neural Processing Units, also NPUs. Sie verfügen über spezialisierte Befehlssätze für Deep Learning und die bei KI typischen Operationen. Oder anders gesagt: Die Fokussierung auf ihr Einsatzgebiet (Bild- und Spracherkennung, maschinelles Lernen, Deep Learing) macht sie deutlich leistungsfähiger und effizienter als CPUs und GPUs mit ihren universellen Befehlen. KI-relevante Anweisungen können NPUs also schneller ausführen als herkömmliche Prozessoren.

Mit dem Kirin 970 stellte Huawei einen der ersten Chip für Smartphones und Tablets vor, der über eine NPU verfügt. (Foto: Huawei)
Mit dem Kirin 970 stellte Huawei bereits 2017 einen der ersten Chips für Smartphones und Tablets vor, der über eine NPU verfügt. (Foto: Huawei)

Bisher nutzen Rechenzentren für aufwändige Berechnungen vor allem kostspielige und energiehungrige GPUs, die ihre Stärken beim parallelen Verarbeiten großer Datenmengen offenbaren. Das ist bei den NPUs auch der Fall, allerdings sind diese noch spezialisierter und können Befehle im Vergleich zu GPUs bis zu 10.000 Mal schneller ausführen. Das liegt daran, dass bei den NPUs Speicher und Recheneinheiten eng beieinander sind, Daten müssen so nicht zwischen Prozessor und Speicher hin- und herwandern.

Das Highlight einer NPU ist, dass sie gleichzeitig eine hohe Anzahl an verhältnismäßig kleinen Aufgaben ausführen kann, ohne dabei CPU und GPU stark zu belasten. Sie ersetzt (vorerst) keine GPU, da diese für komplexe Berechnungen oder das Trainieren von KI-Modellen unverändert benötigt wird – auch wenn sie einen höheren Energieverbrauch hat.

Was sind die Vor- und Nachteile von NPUs?

NPUs simulieren gewissermaßen Synapsen: Sie führen Berechnungen aus und leiten die Ergebnisse an die nächste Schicht des neuronalen Netzes weiter – bis zum gewünschten Ergebnis. Solche Berechnungen sind besonders häufig Matrixmultiplikationen. Auf diese Art Operation setzen die meisten KI-Modelle.

Vorteile von NPUs

  • Leistung: Bei Berechnungen für neuronale Netze sind sie schneller als CPUs und GPUs.
  • Energieverbrauch: Trotz höherer Leistung ist der Energieverbrauch deutlich niedriger für die Rechenleistung, die sonst CPU und CPU aufbringen müssten.
  • Ausführen auf Endgeräten: Im besten Fall führen NPUs KI-Berechnungen auch ohne Anbindung an die Cloud bzw. das Internet direkt auf Endgeräten wie Laptops oder Smartphones aus. Das spart Ressourcen (Energie, Server-Kapazitäten, Datenübertragung…).

Nachteile von NPUs

  • Kosten: Die Produktion von NPUs ist kostspielig, die Entwicklung für PCs ist noch relativ neu – entsprechend teuer sind NPUs derzeit.
  • Spezialisierung: NPUs eignen sich nur für KI-Einsatzgebiete, nicht aber für andere Aufgaben.
  • Programmierung: Gegenwärtig ist die Programmierung von NPUs sehr komplex und setzt entsprechende Frameworks sowie bei Entwickler:innen Kenntnisse der Materie voraus.

Für uns Anwender:innen dürfte im Grunde nur relevant sein: Geräte wie KI-Notebooks mit integrierter NPU könnten teurer sein als herkömmliche Geräte ohne einen solchen Chip.

Wofür brauche ich eine NPU?

Für eine NPU sind viele Einsatzgebiete denkbar. Vieles davon gehört für uns längst zu einer Selbstverständlichkeit. Mithilfe eines zusätzlichen Chips lassen sich aber bestimmte Anwendungen beschleunigen sowie CPU und GPU entlasten. Das steigert die Gesamtperformance.

Unter anderem eignet sich eine NPU für:

  • Gesichts- und Objekterkennung
  • Spracherkennung und automatische Übersetzung
  • Generierung von Texten, Programmier-Code und Bildern
  • Empfehlungen abhängig vom Nutzer:innen-Verhalten
  • Intelligente Suche von Medien, Dokumenten, Emails etc.
  • Analyse, Optimierung und Automatisierung von Prozessen und Aktivitäten
  • Intelligentere Gegner und neuartige Welten in Computerspielen

Samsung zeigt unter anderem mit dem aktuellen Galaxy S24, was mit KI möglich ist – zum Beispiel der Foto-Assistent.

Deine Zustimmung zur Anzeige dieses Inhalts

Um diesen Inhalt von Youtube ansehen zu können, benötigen wir deine einmalige Zustimmung. Bitte beachte dabei unsere Datenschutzbestimmungen und die Datenschutzhinweise von Youtube, die du unter „Weitere Informationen“ findest. Über die Cookie-Einstellungen (Link in der Fußzeile oder Datenschutz-Icon unten links) kannst du die Einwilligung jederzeit widerrufen.

Weitere Informationen

In welchen Geräten stecken bereits NPUs?

Auch wenn KI erst seit 2022 in aller Munde ist, kommen NPUs bereits seit Jahren zum Einsatz – in erster Linie in mobilen Geräten. Qualcomm verbaut seit 2018 (Snapdragon 855) in den eigenen Snapdragon-Chips eine Neural Processing Unit. Der Chipriese reagierte damit auf die KI-Bestrebungen der Mitbewerber von Huawei (Kirin 970 und aufwärts), Samsung (Exynos 9820 und neuer) und Apple (A11 und neuer). Wir benutzen KI also schon viel länger – beispielsweise bei Komfortfunktionen wie Gesichtserkennung („Face Unlock“), Hintergrundunschärfe bei Videochats oder Bild- und Video-Bearbeitung (Filtereffekte…).

Im Bereich der Desktop-PCs und Laptops gewinnen NPUs ebenfalls an Bedeutung: AMDs Prozessoren mit XDNA-Architektur, die von der Ryzen-AI-Plattform unterstützt werden, verfügen bereits über NPUs. Die nächste XDNA-Generation steht in den Startlöchern und verspricht für 2024 mehr KI-Power. Im Fokus hat AMD bisher tragbare Computer; stationäre PCs und Workstations folgen.

Die Meta Quest 3 benötigt ebenfalls NPUs für KI-spezifisiche Berechnungen. (Foto: Meta)
Die Meta Quest 3 benötigt ebenfalls NPUs für KI-spezifische Berechnungen. (Foto: Meta)

Intel setzt mit den Core-Ultra-Prozessoren auf den Intel AI Boost. Der Begriff steht für im Chip integrierte NPUs. Die neuen Ultra-Prozessoren (Meteor Lake) sollen Notebooks beschleunigen und um starke KI-Funktionen bei längerer Akkulaufzeit bereichern. Für Desktop-PCs geeignete KI-Chips von Intel dürften später folgen.

Welche „Power“ NPUs haben können, zeigen schon jetzt die neuen Copilot+-PCs von Herstellern wie Acer, Lenovo, HP, Dell, Microsoft oder Samsung. In diesen Laptops stecken ebenfalls Qualcomm-Prozessoren der Snapdragon-Reihe, die für das Betriebssystem Windows 11 ausgelegt sind. Sie erlauben das lokale Generieren von Bildern, neuartige Suchfunktionen zum Finden wichtige Daten, Live-Audio-Übersetzungen und einem persönlichen KI-Assistenten.

Und nicht zu vergessen: Apple verfügt mit der Neural Engine auch über NPUs – sie befinden sich in den mobilen Prozessoren fürs iPhone (ab A11 Bionic) oder in den hauseigenen Chips für Macbooks und das iPad Pro (M1, M2, M3, M4). Apple nutzt die NPUs auch in diversen Anwendungen, gerade im Bereich der Video- und Bildbearbeitung.

NPUs sind auch in anderen Bereichen vonnöten und kommen in diesen bereits zum Einsatz. Zum Beispiel:

  • VR- und AR-Brillen: Zum Generieren authentischer Welten
  • Fahrzeuge: Autonom fahrende Autos verlangen eine schnelle Bild- und Spracherkennung zur Orientierung.
  • Smart Speaker & Smart Home: Bessere Spracherkennung, dynamische Anpassung an eigene Bedürfnisse (Licht, Heizung etc.)
  • Industrielle Automatisierung: Industrieroboter und andere Maschinen zur Steigerung der Produktivität werden (künftig) verstärkt NPUs benötigen

TOPS: Richtwert für Leistung von NPUs

Wie kannst du feststellen, wie gut eine NPU ist? Hier kommen die TOPS ins Spiel. Das Wort steht für „Trillion Operations per Second“ und gibt an, wie viele Billionen Operationen eine NPU pro Sekunde ausführen kann. Aber: Es ist ein theoretischer Wert, denn TOPS sagt nichts über die Genauigkeit der Berechnungen, über die Art der Operationen (Matrixmultiplikation oder andere) oder die Speicherbandbreite aus. Genau diese Aspekte sind allerdings von NPU zu NPU verschieden.

NPUs in aktuellen Prozessoren

Prozessor/SoC (mit NPU)Billionen Berechnungen pro Sekunde (TOPS)
Qualcomm Snapdragon 8 Gen 345
Qualcomm Snapdragon X Elite45
Google Edge TPU45
Apple A16 Bionic17
Samsung Exynos 230025
MediaTek Dimensity 920024
Anmerkung: Mehr TOPS bedeuten nicht automatisch eine leistungsfähigere NPU.

Ein Qualcomm Snapdragon 8 Gen 3 besitzt 45 TOPS, Intels neue Core-Ultra-Chips bieten 34 TOPS. Ist der Chip aus einem Smartphone also besser für KI geeignet als ein Highend-Laptop-Prozessor? Genau das lässt sich so pauschal nicht sagen. Hier helfen zusätzlich Benchmark-Tools wie MLPerf oder ResNet-50 zur realistischen Einordnung – auch abhängig vom eigentlichen Einsatzgebiet. Entscheidend ist zusätzlich, dass sich NPUs überhaupt miteinander vergleichen lassen. Dazu sollten sie gleiche Arten von Berechnungen in einem identischen neuronalen Netzwerk durchführen.

Außerdem: Zum Beispiel bei AMD und Intel berechnen auch CPU und GPU KI-spezifische Aufgaben, die die Leistung (TOPS-Wert) erhöhen – bei einer niedrigeren Energieeffizienz im Vergleich zu Smartphone-Prozessoren.

Trotzdem gelten TOPs als relevanter Richtwert, der die theoretischen Werte der NPU-Rechenleistung abbildet.

Neue Beiträge abonnieren!

Täglich frisch um 17 Uhr im Postfach

Themenauswahl

Änderungen jederzeit über die Abo-Verwaltung möglich – weitere Themen verfügbar

Jetzt kommentieren!

3 Kommentare zu “Was ist eine NPU und wie kann sie dir helfen?

  1. Und was ist mit dem Nachteil der Kontrolle und Überwachung?
    Der wird vorsorgliche Weise garnicht erst erwähnt. Solche NPU’s sind natürlich besonders gut geeignet dafür die Nutzungsgewohnheiten- und Inhalte der User zur kontrollieren.
    Die ersten Ansätze hat man ja bereits mit dem TPM2.0 probiert, nur dass sich da nicht genug Informationen abgreifen lassen.

    1. Hier verstehe ich nicht so recht den Zusammenhang: Was hat TPM2 mit NPU zu tun? Und wie kann mich eine NPU überwachen, wenn sie dafür sorgt, dass KI-relevante Berechnungen lokal ausgeführt werden, man also keine Verbindung zum Internet benötigt?

Schreibe einen Kommentar

*
*
Bitte nimm Kenntnis von unseren Datenschutzhinweisen.