Nvidia bringt ein 74-Milliarden-Modell auf den PC

Vierundzwanzig Gigabyte. In der Welt moderner KI-Modelle ist das kein üppiger Ballsaal, sondern eher eine gut geschnittene Stadtwohnung. Trotzdem will Nvidia darin ein System unterbringen, das Texte versteht, Bilder betrachtet, Videos verarbeitet, Werkzeuge aufruft und selbstständig mehrstufige Aufgaben erledigt. Sein Name klingt weniger nach Software als nach Industrieanlage: Nemotron 3.5 Bolt 74B-A9B.

Das am 15. Oktober 2026 veröffentlichte Modell besitzt insgesamt 74 Milliarden Parameter. Bei jeder Berechnung sind davon allerdings nur neun Milliarden aktiv. Nvidia hat die Gewichte so stark komprimiert, dass die fertige Variante in einen Speicherrahmen von 24 Gigabyte passt. Damit soll sie nicht nur auf speziellen KI-Workstations laufen, sondern auch auf entsprechend ausgestatteten GeForce-RTX-Rechnern. Die eigentliche Nachricht ist deshalb weniger die schiere Modellgröße als der neue Wohnort des Systems: Ein KI-Agent dieser Klasse muss nicht mehr zwangsläufig im Rechenzentrum sitzen. Er kann auf den Schreibtisch ziehen. Recherchequelle: NVIDIA Blog→

Nicht alle Milliarden arbeiten gleichzeitig

Die Bezeichnung 74B-A9B verrät bereits den wichtigsten technischen Kniff. „74B“ steht für 74 Milliarden vorhandene Parameter, „A9B“ für neun Milliarden, die während einer Berechnung aktiv sind. Dahinter steckt eine Mixture-of-Experts-Architektur. Statt für jedes Wort das gesamte neuronale Netz zu beschäftigen, leitet ein internes System die Anfrage an ausgewählte Modellbereiche weiter.

Vorstellen kann man sich das wie eine große Redaktion, die nicht für jeden Artikel die gesamte Belegschaft zusammentrommelt. Für einen Text über Steuerrecht werden andere Spezialisten gebraucht als für eine Bildanalyse oder eine Programmieraufgabe. Die ganze Redaktion prägt das verfügbare Wissen, doch am einzelnen Auftrag arbeitet jeweils nur ein Teil von ihr.

Nemotron 3.5 Bolt wurde nicht von Grund auf als kleines Modell entwickelt. Nvidia leitete es von Nemotron 3.5 Super VL ab, einem Modell mit 120 Milliarden Gesamtparametern und zwölf Milliarden aktiven Parametern. Das Verfahren Star Elastic ermittelte eine kompaktere Architektur; anschließendes Training sollte die dabei verloren gegangenen Fähigkeiten wiederherstellen.

Dann folgte der radikale Schritt: Große Teile der Modellgewichte wurden im Durchschnitt auf gut zwei Bit pro Wert reduziert. Vereinfacht gesagt speichert Nvidia die gelernten Zahlen nicht mehr mit feiner mathematischer Auflösung, sondern in einer groben, ausgesprochen platzsparenden Form. Empfindlichere Komponenten arbeiten dagegen mit höherer Präzision. Es geht also nicht darum, das Modell um jeden Preis zu verkleinern, sondern innerhalb einer klaren Speichergrenze brauchbare Ergebnisse zu erzielen. Recherchequelle: NVIDIA Research→

Diese Kompression hat ihren Preis. Werden Zahlen zu grob dargestellt, leidet die Genauigkeit. Nvidia setzte deshalb unter anderem auf quantisierungsbewusste Destillation: Während des Trainings orientiert sich das kleinere, komprimierte System an einem leistungsfähigeren Ausgangsmodell und versucht, dessen Verhalten möglichst gut zu bewahren. Das ähnelt einer verkleinerten Landkarte, auf der die entscheidenden Straßen, Flüsse und Abzweigungen lesbar bleiben.

Der Agent bleibt im Haus

Wer einem lokalen Modell nur hin und wieder eine Frage stellen will, kommt längst mit deutlich kleineren Systemen aus. Nemotron 3.5 Bolt zielt auf anspruchsvollere, sogenannte agentische Aufgaben. Es soll recherchieren, Code schreiben und prüfen, Dateien auswerten oder Programme über Werkzeugschnittstellen bedienen können. Neben Text verarbeitet das Modell auch Bilder und Videomaterial.

Befindet sich ein solcher Agent auf dem eigenen Computer, entfällt die Notwendigkeit, Dokumente und Arbeitsinhalte für jede Berechnung an einen externen KI-Dienst zu senden. Dies ermöglicht eine effizientere Nutzung der Ressourcen und schützt gleichzeitig sensible Daten, da alles lokal verarbeitet wird. Das ist vor allem für Unternehmen, Entwickler, Journalisten oder Anwälte interessant, die mit vertraulichem Material arbeiten. Auch Gebühren pro verarbeitetem Token entfallen bei der lokalen Modellberechnung. Die Bezahlung erfolgt stattdessen über eigene Hardware, Strom, Einrichtung und Wartung.

Ganz von der Außenwelt abgeschottet ist das System dadurch freilich nicht. Recherchiert ein Agent im Internet, öffnet Webseiten oder greift auf externe Programme zu, kommuniziert er weiterhin nach außen. „Lokal“ bedeutet zunächst nur, dass die eigentliche Modellberechnung auf dem eigenen Gerät stattfindet. Andere Werkzeuge erhalten oder verarbeiten Daten, basierend auf der spezifischen Konfiguration.

Ein lokaler Betrieb verschafft dem Betreiber außerdem mehr Kontrolle. Man kann das Modell dauerhaft einrichten, anpassen und in die eigene Arbeitsumgebung integrieren. Gleichzeitig verringert sich die Abhängigkeit davon, ob ein Cloudanbieter Preise, Nutzungsbedingungen oder Modelle anpasst. Nvidias Gewichte können heruntergeladen und selbst gehostet werden. Ihre Verwendung unterliegt allerdings der OpenMDW-Lizenz 1.1. „Open Weights“ ist daher treffender als das oft leichtfertig verwendete Etikett „Open Source“. Öffentlich verfügbare Gewichte bedeuten schließlich nicht, dass jede denkbare Nutzung ohne Bedingungen erlaubt ist. Recherchequelle: Hugging Face→

24 Gigabyte sind nicht die ganze Rechnung

Auf dem Datenblatt wirken 24 Gigabyte wie eine klare Grenze. In der Praxis braucht diese Zahl jedoch etwas Einordnung. Dass die Modellgewichte in den genannten Speicherrahmen passen, heißt nicht, dass jeder Rechner mit exakt 24 Gigabyte Grafikspeicher unter allen Umständen komfortabel damit arbeiten kann. Auch der Gesprächsverlauf, Bilder, Zwischenergebnisse, das Betriebssystem und weitere Anwendungen benötigen Platz. Je länger der Kontext und je komplexer die Aufgabe, desto höher fällt dieser zusätzliche Bedarf aus.

Nvidia nennt eine Kontextlänge von bis zu 262.144 Token. Theoretisch reicht das für umfangreiche Dokumentensammlungen. Ein bis an den Rand gefülltes Kontextfenster beansprucht jedoch erheblich mehr Ressourcen als ein kurzer Dialog. Die Modellkarte führt außerdem Linux als unterstütztes Betriebssystem für die vLLM-Variante auf und verweist auf aktuelle Nvidia-Architekturen. Parallel stellt Nvidia eine GGUF-Ausgabe für llama.cpp bereit, die den Betrieb auf weiteren RTX-Konfigurationen erleichtern soll. Recherchequelle: Hugging Face→

Eng verknüpft ist die Präsentation des Modells mit Nvidias neuer Rechnerklasse RTX Spark. In diesen Systemen sind Arm-Prozessoren zusammen mit einer Blackwell-GPU verbaut, die durch bis zu 128 Gigabyte gemeinsam genutzten Speicher ergänzt werden. Diese neue Rechnerklasse von Nvidia, RTX Spark, bietet somit eine leistungsstarke Kombination aus innovativer Hardware und erweiterter Speicherkapazität. Prozessor und Grafikeinheit greifen also auf denselben Speicherbereich zu, statt Daten ständig zwischen getrennten Speicherbereichen hin- und herzuschieben. Gerade für große lokale Modelle ist das nützlich. Die enge Verbindung von Modell und Rechnerklasse zeigt zugleich, wohin Nvidia den Markt lenken möchte: Der PC soll nicht mehr nur Programme ausführen, sondern dauerhaft einen persönlichen oder betrieblich eingesetzten KI-Agenten beherbergen. Recherchequelle: NVIDIA RTX Spark→

Ein schneller Spezialist, kein lokales Orakel

Nvidias eigenen Messungen zufolge erzeugt Bolt auf einem RTX-Spark-System knapp 84 Token pro Sekunde. Die Aussagekraft dieses Wertes variiert stark je nach Hardware, Kontextlänge, Software und Einstellungen. Eine allgemeingültige Geschwindigkeitsgarantie lässt sich daraus nicht ableiten. Hinzu kommt, dass auch die veröffentlichten Vergleichswerte überwiegend vom Hersteller selbst stammen.

Eine unabhängige Einordnung liefert Artificial Analysis. Dort erreicht Nemotron 3.5 Bolt 21 Punkte im Intelligence Index und liegt damit deutlich über dem Median vergleichbarer offener Modelle seiner Größenklasse. Zugleich vermerkt der Test eine ungewöhnlich hohe Zahl an Ausgabetoken. Das Modell trifft nicht zwangsläufig die direkteste Entscheidung auf dem Weg zur Antwort. Stattdessen zeigt es eine Neigung, umfangreichere und detailliertere Ergebnisse zu produzieren. Dies könnte darauf hindeuten, dass es Wert auf eine umfassende Betrachtung des Themas legt, anstatt sich auf eine knappe, schnelle Antwort zu beschränken. Es ist ein leistungsfähiger lokaler Spezialist, ersetzt größere Cloudmodelle aber nicht in jedem Einsatzgebiet. Recherchequelle: Artificial Analysis→

Wichtiger als einzelne Benchmarkwerte ist ohnehin die Entwicklung, die das Modell sichtbar macht. Lange folgte die Branche einer einfachen Erzählung: Größere Modelle benötigen größere Rechenzentren, mehr Chips und noch gewaltigere Investitionen. Nemotron 3.5 Bolt setzt einen anderen Akzent. Es geht nicht mehr ausschließlich darum, welche Leistungen ein Modell erbringen kann oder wie viele Parameter es besitzt. Von ebenso großer Bedeutung ist die Frage, wie viel effektive Leistung sich innerhalb eines festgelegten Speicherrahmens realisieren lässt. Dieser Aspekt gewinnt an Relevanz, da die Effizienz und Anpassungsfähigkeit von Modellen zunehmend in den Vordergrund rücken.

Damit verlagert sich der Wettbewerb auf eine unscheinbare Kennzahl: Intelligenz pro Gigabyte. Wer hier gewinnt, kann KI näher an jene Orte bringen, an denen Daten entstehen – auf Arbeitsstationen, kleinen Servern und schließlich gewöhnlichen Rechnern.

Überflüssig wird die Cloud dadurch nicht. Die stärksten Modelle werden weiterhin Rechenzentren benötigen, und viele Nutzer wollen sich weder um Treiber noch um Quantisierung oder Modellpflege kümmern. Doch zwischen dem winzigen Offline-Chatbot und dem fernen Supermodell wächst eine neue Klasse von KI-Systemen heran: groß genug für ernsthafte Aufgaben, klein genug für den Rechner neben dem Schreibtisch.

Ein solcher Agent sitzt nicht irgendwo hinter einer Programmierschnittstelle. Man kann hören, wie sein Lüfter anläuft.

Weiterführende Informationen

Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.

Pasquale Pillitteri – Nemotron 3.5 Bolt 74B erscheint heute, 74 Milliarden Parameter in 24 GB
Der Artikel erläutert die MoE-Architektur, neun Milliarden aktive Parameter sowie die Zwei-Bit-Kompression durch Star Elastic und quantisierungsbewusste Destillation.
https://pasqualepillitteri.it/de/news/24185/nemotron-3-5-bolt-74b-erscheint-heute-24-gb

The Decoder – Nvidia erweitert Nemotron um offenes Agentenmodell Super VL und lokale Bolt-Varianten
Der Fachartikel beschreibt Bolt als lokalen Agenten für mehrstufige Aufgaben, Werkzeugaufrufe, Webrecherche und Programmierung und ordnet seine multimodale Herkunft ein.
https://the-decoder.de/nvidia-erweitert-nemotron-um-offenes-agentenmodell-super-vl-und-lokale-bolt-varianten/

OrcaRouter – Nemotron 3.5 Bolt 74B vs. DeepSeek V4 Pro: Beide offen, einer passt in 24 GB
Der Vergleich nennt Nvidias Messwert von 83,99 Token pro Sekunde auf einem RTX-Spark-Laptop und den unabhängig ermittelten Intelligence Index von 21.
https://www.orcarouter.ai/de/blog/nemotron-3-5-bolt-74b-vs-deepseek-v4-pro