Wenn der Prompt die Abschrift mitgestaltet

Ein Transkript muss nicht mehr zwangsläufig nur wiedergeben, was eine Spracherkennung im Ton erkannt hat. Bei Nvidias Nemotron 3.5 Transcribe lässt sich bereits im Auftrag festlegen, welche schriftliche Form daraus entstehen soll: eine möglichst sprechnahe Mitschrift mit Füllwörtern und Versprechern, eine typografisch normalisierte Fassung mit üblichen Zahlen- und Zeichenschreibweisen oder ein geglätteter, leichter lesbarer Text.

Entsprechende Varianten finden sich in Granary v2, einer öffentlich dokumentierten Komponente für Trainingsdaten und deren Aufbereitung. Die Sammlung enthält für dieselben Äußerungen mehrere Zielformen. Sie bildet allerdings weder die gesamte Trainingsmischung noch deren Gewichtung ab. Nvidia veröffentlichte das zugehörige Sprach- und Audiomodell am 28. Oktober 2026. Recherchequelle: Hugging Face→

Damit verändert sich die Rolle des Transkripts. Es dokumentiert nicht nur Sprache, sondern setzt zugleich Vorgaben dazu um, wie diese Sprache schriftlich erscheinen soll. Je sauberer und fertiger das Ergebnis wirkt, desto wichtiger wird deshalb die Unterscheidung zwischen dem Gesagten und seiner bestellten Darstellungsform.

Mehr als automatische Spracherkennung

Nemotron 3.5 Transcribe verbindet mehrere Schritte der Audioverarbeitung in einem Modell mit offenen Gewichten. Es verarbeitet Aufnahmen von bis zu einer Stunde, erkennt die verwendete Sprache und erstellt wahlweise eine sprechnahe oder redigierte Abschrift. Zudem kann das System übersetzen, Sprecher auseinanderhalten, Zeitstempel für einzelne Wörter ausgeben und Fragen zum Inhalt einer Aufnahme beantworten. Nutzer können außerdem erwartete Eigennamen und Fachbegriffe als Kontext vorgeben. Recherchequelle: NVIDIA Research→

Für Transkriptionen unterstützt das Modell nach Herstellerangaben 40 Sprachen. Bei 31 davon ist zusätzlich eine Übersetzung aus dem Englischen oder ins Englische vorgesehen. Die Sprecherzuordnung steht für 13 Sprachen und höchstens acht Sprecher zur Verfügung. Deutsch wird in der technischen Übersicht für Transkription, Übersetzung, Mehrsprecheraufnahmen und Gespräche mit Sprachwechseln aufgeführt. Welche Funktionen tatsächlich verfügbar sind, hängt jedoch von Sprache und Aufgabe ab. Recherchequelle: Hugging-Face-Modellkarte→

Der Auftrag kann damit weit über die knappe Anweisung hinausgehen, eine Aufnahme zu verschriftlichen. Er kann bestimmen, ob gesprochene Zahlen als Wörter oder Ziffern erscheinen, ob Fülllaute erhalten bleiben und ob die Ausgabe nach Sprechern gegliedert werden soll. Je nach Prompt wird aus demselben Tonmaterial etwa ein Protokoll, eine Übersetzung oder eine gekennzeichnete Mehrsprecherabschrift.

Akustische Analyse und Textgenerierung greifen ineinander

Klassische automatische Spracherkennung konzentriert sich vor allem darauf, Wörter aus einem akustischen Signal zu bestimmen. Nemotron 3.5 Transcribe ergänzt diesen Vorgang um Komponenten für Sprecherinformationen und sprachliche Ausgabe. Ein Audioencoder verarbeitet die Aufnahme, ein Sprecherencoder liefert Informationen zur Unterscheidung der Stimmen, und ein großes Sprachmodell erzeugt den Text in der verlangten Form. Hinzu kommt ein Adapter für Zeitstempel.

Die Architektur umfasst insgesamt 34 Milliarden Parameter, von denen bei der Verarbeitung einschließlich des Audioencoders rund 4,3 Milliarden aktiv sind. Der Sprachmodellkern ist hybrid aufgebaut und besteht unter anderem aus 23 Mamba-2-Blöcken, 23 Mixture-of-Experts-Blöcken und sechs Attention-Blöcken. Das Expertenrouting greift jedoch nur in den MoE-Schichten. Dort werden für jedes Token sechs von 128 gerouteten Experten sowie ein gemeinsamer Experte eingesetzt. Die übrigen Sprachmodell- und Audiokomponenten arbeiten nicht nach demselben Auswahlprinzip. Dabei wird auch nicht einer kompletten Aufgabe wie Übersetzung oder Transkription dauerhaft ein festes Teilnetz zugewiesen. Recherchequelle: Technischer Bericht von Nvidia→

Neben dem Audiosignal erhält das Modell eine schriftliche Anweisung und bei Bedarf ergänzenden Kontext. Diese Eingaben wirken nicht erst auf eine nachgelagerte Redaktion, sondern bereits auf die erzeugte Abschrift. Die Entscheidung darüber, wie Gesprochenes schriftlich dargestellt wird, erfolgt somit im selben Verarbeitungsvorgang wie die Erkennung.

Für Live-Untertitel oder fortlaufende Echtzeitübertragungen ist das System nicht ausgelegt. Der Encoder teilt längere Dateien zwar intern in 30 Sekunden lange Blöcke, verarbeitet aber aufgezeichnetes Audiomaterial. Aus dieser technischen Arbeitsweise lässt sich weder eine Streamingfunktion noch eine bestimmte Latenz für Liveanwendungen ableiten.

Redaktion beginnt beim Prompt

Granary v2 dokumentiert drei unterschiedliche Zielbilder für identische gesprochene Inhalte. Eine Variante bleibt dem Wortlaut möglichst nahe. Eine weitere überführt Zahlen und Zeichen in konventionelle Schriftformen, ohne Versprecher zu beseitigen. Die bereinigte Fassung entfernt dagegen sprachliche Unebenheiten zugunsten eines flüssigeren Textes.

Damit lernt das Modell nicht nur die Zuordnung von Lauten zu Wörtern. Es wird auch darauf vorbereitet, unterschiedliche Regeln für die schriftliche Darstellung anzuwenden. Der Prompt übernimmt einen Teil der Entscheidung, die sonst erst bei der redaktionellen Bearbeitung getroffen würde.

Das kann praktische Vorteile haben. Interviews lassen sich näher an der später benötigten Fassung erfassen, Sitzungen übersichtlicher protokollieren und mehrsprachige Aufnahmen unmittelbar übersetzen. In Fachgebieten können vorgegebene Begriffe und Schreibweisen die Erkennung unterstützen. Zugleich bleibt dieser Eingriff im fertigen Dokument leicht unsichtbar: Die Aufnahme selbst ist unverändert, doch ihre schriftliche Gestalt hängt vom erteilten Auftrag ab.

Eine von Nvidia vorgestellte medizinische Fallstudie zeigt, wie deutlich solche Vorgaben die Messwerte beeinflussen können. Bereits ein präziser formulierter Prompt verringerte dort die Wortfehlerrate. Der Datensatz wurde nach Sprechern aufgeteilt; 855 Aufnahmen wurden zur Feinabstimmung verwendet, 2.764 weitere waren für die Auswertung reserviert. Auf diesem Auswertungsteil erreichte das Basismodell mit dem besten Prompt eine Wortfehlerrate von 22,44 Prozent. Nach der Anpassung an das Fachgebiet waren es 12,17 Prozent. Die Ergebnisse gelten für den beschriebenen Versuchsaufbau und sind keine allgemeine Leistungszusage für andere medizinische Aufnahmen oder Anwendungsfelder.

Kleine Fehlerraten können große Irrtümer verdecken

In Nvidias eigenen Benchmarkauswertungen erreicht Nemotron 3.5 Transcribe bei mehreren Aufgaben Spitzenwerte unter Modellen mit offenen Gewichten. Solche Ranglisten bleiben jedoch an ihre Datensätze und Testbedingungen gebunden.

Eine Auswertung von Ocular AI veranschaulicht sowohl die Leistungsfähigkeit als auch die begrenzte Aussagekraft einzelner Messungen. Untersucht wurden vier Gespräche in amerikanischem Englisch mit jeweils zwei Sprechern und insgesamt 12.555 Referenzwörtern. Nemotron kam bei der Transkription auf eine Wortfehlerrate von 2,95 Prozent und belegte unter 21 Systemen den vierten Rang. Unter den Modellen mit veröffentlichten Gewichten erzielte es das beste Ergebnis.

Die Diarisierung prüfte Ocular getrennt anhand der ausgegebenen Sprecheraktivitätssegmente. Mit einer Diarization Error Rate von 28,15 Prozent erreichte Nemotron dabei Rang zwei unter 13 Systemen. Dieser Test ist nicht mit einer vollständigen Kontrolle gleichzusetzen, ob jedes transkribierte Wort dem richtigen Sprecher zugeordnet wurde. Zudem genügen vier Gespräche nicht für allgemeine Aussagen über andere Sprachen, Aufnahmeumgebungen oder Gesprächsarten. Recherchequelle: Ocular AI→

Auch eine niedrige Wortfehlerrate deckt nicht jedes relevante Risiko ab. Bei der Prüfung eines Transkripts ist daher nicht nur auf einzelne falsch erkannte Wörter zu achten. Laut Modellkarte kann das System Textteile auslassen oder wiederholen, nicht im Ton enthaltene Inhalte ergänzen, die Ausgabesprache verwechseln und Sprecher falsch kennzeichnen.

Zusätzliche Hinweise dienen dabei nicht nur der Absicherung. Eine ungeeignete Liste erwarteter Namen oder Fachausdrücke kann das Modell auch zu unzutreffenden oder sachlich irrelevanten Wörtern lenken. Besondere Aufmerksamkeit empfiehlt sich deshalb bei langen Aufnahmen, Hintergrundlärm, gleichzeitiger Rede, Sprachwechseln und Eigennamen.

Auch die Evaluation deckt Sprachen und Funktionen nicht gleichmäßig ab. Nvidia veröffentlicht nur Ergebnisse mit englischsprachigem Material, wenn das Modell Fragen zu Tonmaterial beantwortet, daraus Schlussfolgerungen ableitet oder gesprochene Arbeitsaufträge umsetzt. Dass das Modell andere Sprachen transkribieren kann, belegt daher nicht automatisch die Zuverlässigkeit dieser weiterführenden Fähigkeiten außerhalb des Englischen.

Aufnahme, Rohfassung und Nutztext sollten getrennt bleiben

Aus diesen Eigenschaften folgt für die redaktionelle Praxis keine technische Vorschrift, wohl aber eine sinnvolle Trennung. Wenn eine Abschrift als belastbare Dokumentation dienen soll, sollten nach Möglichkeit drei Ebenen erhalten bleiben: der Originalton, ein weitgehend wortnahes Maschinentranskript und die für den jeweiligen Zweck bearbeitete Fassung. Das gilt für Interviews ebenso wie für Besprechungen, medizinische Diktate oder andere fachliche Aufzeichnungen.

Auch der verwendete Prompt gehört zur Entstehungsgeschichte des Textes. Er zeigt, ob das Modell Füllwörter entfernen, Schreibweisen vereinheitlichen, Sprecher kennzeichnen, Inhalte übersetzen oder nur bestimmte Informationen herausarbeiten sollte. Ohne diese Anweisung ist im Nachhinein schwer zu erkennen, welche Merkmale aus der Aufnahme stammen und welche durch den gewünschten Ausgabestil entstanden sind.

Ein sprachlich makelloses Dokument kann sachlich trotzdem fehlerhaft sein. Gerade Eigennamen, Sprecherwechsel und aus dem Audio abgeleitete Antworten sollten daher gezielt mit der Aufnahme abgeglichen werden. Die technische Dokumentation warnt ausdrücklich davor, Plausibilität mit Richtigkeit zu verwechseln.

Nemotron 3.5 Transcribe kann aus einer Tonspur mehrere gleichermaßen brauchbare Texte erzeugen. Gleichbedeutend sind diese Fassungen deshalb nicht. Eine bewahrt die Spuren des Sprechens, eine normalisiert seine Schreibweise, eine dritte glättet es für den Leser. Welche Darstellung gewählt wurde, muss nachvollziehbar bleiben. Denn auch bei einem promptgesteuerten Transkript ist nicht der fertige Text die letzte Instanz, sondern die Aufnahme, aus der er hervorgegangen ist.

Weiterführende Informationen

Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.

NxCode – Nemotron 3.5 Transcribe macht die Schreibweise zur Aufgabe
Der Beitrag erklärt die drei Granary-v2-Zielformen und zeigt, wie Prompts zwischen sprechnaher, typografisch normalisierter und geglätteter Transkription unterscheiden.
https://www.nxcode.io/de/resources/news/nemotron-3-5-transcribe-prompted-transcript-conventions-2026

Unite.AI – NVIDIA bringt Modell für Spracherkennung mit offenen Gewichten und Audiodatensatz mit 463.062 Stunden auf den Markt
Die technische Übersicht beschreibt Audio- und Sprecherencoder, Zeitstempelkomponente sowie den hybriden Mamba-2-, Transformer- und MoE-Kern einschließlich der gesamten und aktiven Parameter.
https://www.unite.ai/de/nvidia-launches-open-weight-speech-model-and-463-062-hour-audio-dataset/

OrcaRouter – Nemotron 3.5 Transcribe: NVIDIAs Sprach-LLM schlägt die Diarisierungs-Kaskade
Die Analyse prüft medizinische Anpassungswerte, Wort- und Sprecherfehlerraten sowie die Aussagekraft der Benchmarks bei Auslassungen, schwierigen Aufnahmebedingungen und falschen Sprecherzuordnungen.
https://www.orcarouter.ai/de/blog/nemotron-3-5-transcribe-30b-explained