VFlash beschleunigt die visuelle Planung von Robotern

Zwischen Wahrnehmung und Bewegung liegt bei einem Roboter ein empfindliches Zeitfenster. Soll ein Modell eine räumliche Bahn mit mehreren Wegpunkten ausgeben, arbeitet ein autoregressives Vision-Language-Modell deren Koordinaten nacheinander ab. Mit jedem zusätzlichen Punkt wächst die Zahl der seriellen Rechenschritte. VFlash verfolgt einen anderen Ansatz: Das Verfahren erzeugt strukturierte geometrische Einheiten wie Punkte, Begrenzungsrahmen und Bewegungsbahnen parallel. Beschrieben wird die Methode in einem am 5. November 2026 eingereichten Forschungspapier.

Als institutionelle Zugehörigkeiten nennt das Paper NVIDIA sowie die Johns Hopkins University, die Hong Kong Polytechnic University, die Purdue University und die University of Hong Kong; mehrere Beiträge entstanden während eines Praktikums bei NVIDIA. Hinter der technischen Verschiebung steht ein einfacher Gedanke: Räumliche Planung muss nicht den Takt einer Textausgabe übernehmen. Recherchequelle: NVIDIA Research→

Warum Koordinaten nicht wie Sätze entstehen müssen

Bei der autoregressiven Textausgabe entsteht jeder neue Token aus dem bereits erzeugten Kontext. Für Sprache ist diese Abfolge naheliegend, bei geometrischen Daten kann sie jedoch zum Engpass werden. Die Positionen einer Bounding Box haben festgelegte Funktionen; auch bei einer Trajektorie steht die Ordnung der Wegpunkte vorab fest. Werden ihre Koordinaten dennoch einzeln erzeugt, wächst mit dem Detailgrad des Plans zugleich die Zahl der seriellen Rechenschritte.

VFlash fasst solche strukturierten räumlichen Ausgaben unter dem Begriff „visuelle Primitive“ zusammen. Dazu zählen Punkte, Bounding Boxes, 2D- und 3D-Trajektorien sowie dichte Vorhersagen der Bewegung ausgewählter 3D-Punkte . Das beschreibt eine technische Repräsentation von Planung, keine Aussage über bildhaftes Bewusstsein oder menschliches Denken.

Parallel erzeugte Blöcke sind als Ansatz nicht neu. Bei DFlash entwirft ein kleines Diffusionsmodell mehrere Texttoken in einem Durchlauf; das Zielmodell prüft die Vorschläge anschließend parallel. LocateAnything nutzt eine verwandte Grundidee für visuelle Lokalisierungsaufgaben und sagt die Koordinaten einer Bounding Box als zusammengehörige Einheit voraus. VFlash überträgt diesen Ansatz auf mehrere Arten räumlicher Pläne. Recherchequelle: arXiv – DFlash→

Ein kleiner Entwerfer zeichnet die ganze Bahn

Ausgangspunkt ist ein vorab definiertes Ausgabeschema. Der Typ des angeforderten visuellen Primitivs bestimmt, welche Positionen für Koordinaten, Trennzeichen und weitere Markierungen vorgesehen sind. Bei Ausgaben variabler Länge legt ein Tool-Aufruf zusätzlich die Blockgröße fest. Für die Darstellung von Koordinaten verwendet das Basismodell 1001 spezielle Zahlentoken.

Zur Erzeugung ergänzt VFlash das Zielmodell um einen deutlich kleineren Drafter. Das bereits an räumliche Antworten angepasste Vision-Language-Modell bleibt dabei unverändert. Der nicht kausal aufgebaute Drafter besitzt fünf Schichten, greift auf interne Kontextmerkmale des Zielmodells zurück und berechnet die noch offenen Positionen eines visuellen Primitivs gemeinsam, statt eine Bahn schrittweise fortzuschreiben.

Ein Validator kontrolliert anschließend vor allem, ob Struktur und Werte dem verlangten Schema entsprechen. Eine formal zulässige Vorhersage kann übernommen werden, auch wenn ihre Tokenfolge nicht mit jener Ausgabe übereinstimmt, die das Zielmodell autoregressiv erzeugt hätte .

Den angenommenen Block verarbeitet das Zielmodell danach selbst, aktualisiert damit seinen Kontext und leitet daraus Merkmale für das nachgelagerte Aktionsmodell ab. Für gewöhnlichen Text gilt ein anderes Verfahren: Hier werden vorgeschlagene Blöcke weiterhin vom Zielmodell überprüft. Trainings-, Inferenz- und Evaluationscode sind im Projektverzeichnis veröffentlicht; die Zielmodell- und Drafter-Checkpoints waren zum Prüfzeitpunkt noch angekündigt. Die Einhaltung des Schemas besagt allerdings noch nicht, dass die vorhergesagte Geometrie räumlich präzise ist. Dafür braucht es Messwerte. Recherchequelle: VFlash-Code→

Der Geschwindigkeitsgewinn entsteht im Nadelöhr

Der auffälligste Unterschied zeigt sich beim Decoding, also genau in jener Phase, in der die Koordinaten ausgegeben werden. Für diesen Teil weisen die Autoren je nach Aufgabe und Plattform eine Beschleunigung um den Faktor 11 bis 49 aus. Über die gesamte untersuchte Modellpipeline fällt der Abstand kleiner aus, weil Bildverarbeitung, Prefill und Aktionsmodell von der parallelen Ausgabe nicht im gleichen Maß profitieren.

Bei den MolmoSpaces-Messungen verringerte sich die Latenz pro Schritt gegenüber dem autoregressiven Verfahren auf dem Jetson AGX Thor ungefähr um den Faktor 5,1 und auf dem DGX Spark um den Faktor 5,2. Auf einer H100 betrug der Faktor 3,6. Für NAVSIM lagen die Werte je nach Hardware zwischen 2,6 und 3,6; im Waymo-Aufbau wurde auf der H100 ein Faktor von 4,5 gemessen .

Die Bezugsgröße ist damit eng umrissen. Gemessen wurden die instrumentierten Stufen aus Bildverarbeitung, Prefill, Decoding und Aktionsmodell. Die Zeitnahme begann erst innerhalb einer vorbereiteten Laufzeitumgebung. Warm-up-Läufe, das Einlesen der Bilder, externe CPU-Vorverarbeitung und die Detokenisierung gingen nicht in die Werte ein. Auch das Laden der Modelle, die Erstellung der Engines und das CUDA-Graph-Capture wurden nicht mitgerechnet.

Aus den Ergebnissen folgt deshalb keine pauschale fünffache Beschleunigung vollständiger Roboter oder Fahrzeuge. Sie belegen einen Latenzgewinn in den beschriebenen Versuchsaufbauten. Wie brauchbar die schneller erzeugten Bahnen sind, lässt sich erst an ihrer räumlichen Genauigkeit beurteilen.

Parallel erzeugt, mit gemischten Genauigkeitsergebnissen

Bei der dichten Vorhersage der Bewegung ausgewählter 3D-Punkte mit dem eingefrorenen MolmoMotion-AR-Modell ergab sich ein gemischtes Bild: Auf DAVIS verbesserten sich der mittlere Abstandsfehler ADE und der Endpunktfehler FDE, auf HOT3D nur der FDE. Der ADE stieg dagegen auf HOT3D von 0,109 auf 0,122 Meter und auf WorldTrack leicht von 0,143 auf 0,145 Meter; dort verschlechterte sich auch der FDE von 0,261 auf 0,300 Meter. Zudem sank PWT auf allen drei geprüften Datensätzen. MolmoMotion prognostiziert anhand sprachlicher Anweisungen dreidimensionale Punktbahnen und wurde gemeinsam mit PointMotionBench sowie einem Korpus aus 1,16 Millionen Videoclips vorgestellt.

Deutlicher fallen die Resultate in den Open-Loop-Tests für 3D-Robotertrajektorien aus. Auf InternA1, AgiBot und MolmoBot verbesserte VFlash laut Paper bei sämtlichen geprüften Zielmodellvarianten jeweils alle vier verwendeten Metriken. Bei der Variante, die 2D- und 3D-Koordinaten gemeinsam ausgibt, sank der durchschnittliche 3D-Wegpunktfehler gegenüber dem autoregressiven Decoder je nach Datensatz um 28 bis 61 Prozent.

In einem AgiBot-Vergleich verringerte sich der mittlere Abstandsfehler von 0,105 auf 0,041 Meter. Der Anteil der vorhergesagten Wegpunkte, die höchstens fünf Zentimeter von der Referenz entfernt lagen, stieg zugleich von 39,8 auf 73,9 Prozent . Damit verbinden die veröffentlichten Versuche höhere Geschwindigkeit in mehreren Fällen mit besserer räumlicher Genauigkeit. Die Aussage bleibt jedoch auf die beschriebenen Modelle, Datensätze und Testbedingungen begrenzt. Ob ein genauerer Plan auch die nachgelagerte Handlung verbessert, ist damit noch nicht beantwortet. Recherchequelle: arXiv – MolmoMotion→

Vom gezeichneten Weg zur tatsächlichen Bewegung

Ob ein räumlich genauerer Plan praktisch hilft, zeigt sich erst im Zusammenspiel mit der Steuerung. Im MolmoSpaces-Versuch erhielt ein World Action Model neben Kamerabildern und Roboterzustand auch Merkmale aus der Aufgabenfrage, einer erzeugten Teilaufgabe und der vorhergesagten Trajektorie. Es berechnete jeweils 20 Aktionsschritte und ließ nach drei solcher Blöcke einen neuen Plan erzeugen.

Mit den vollständigen VFlash-Plänen lag die gemittelte Erfolgsquote über die Tests Pick, Pick & Place, Open und Close bei 70,2 Prozent. Die ursprüngliche Baseline erreichte 62,6 Prozent. Da sich bei diesem Vergleich neben dem Decoder weitere Komponenten unterscheiden, lässt sich der Abstand nicht allein VFlash zuschreiben. Enger gefasst ist die Gegenüberstellung mit derselben World-Action-Model-Architektur: Autoregressiv erzeugte 2D- und 3D-Pläne kamen auf 61,0 Prozent, VFlash-Pläne auf 70,2 Prozent. Ohne Trajektorienmerkmale, aber mit Bild- und Teilaufgabenmerkmalen, erzielte das System 63,7 Prozent .

Diese Werte gelten für den beschriebenen Benchmark- und Simulationsaufbau. MolmoSpaces beschreibt seinen Benchmark allgemein als Zero-Shot-Evaluation in zuvor ungesehenen Umgebungen. Aus den zugänglichen Angaben geht jedoch nicht eindeutig hervor, wie die 3.915 hier verwendeten Episoden gegenüber dem 172,5 Millionen Frames umfassenden VFlash-Post-Training auf Hausebene abgegrenzt wurden. Innerhalb dieses Versuchsrahmens spricht der Vergleich dafür, dass die geometrischen Trajektorienmerkmale dem Aktionsmodell zusätzliche verwertbare Information liefern. Eine allgemeine Erfolgsquote für reale Robotereinsätze lässt sich daraus nicht ableiten. Recherchequelle: MolmoSpaces→

Räumliche Planung bekommt eine eigene Grammatik

VFlash verweist auf ein Konstruktionsproblem vieler Vision-Language-Modelle: Räumliche Informationen werden als lineare Tokenfolge ausgegeben, obwohl ihre Bestandteile geometrisch voneinander abhängen. Die vier Koordinaten einer Bounding Box bilden eine Einheit; bei einer Trajektorie besitzen die Wegpunkte eine festgelegte Reihenfolge und Anzahl. VFlash nutzt diese Struktur schon während der Erzeugung. Jede Position im Block erhält vorab eine bestimmte Funktion – ähnlich einer Grammatik, allerdings für geometrische Objekte.

In den beschriebenen Experimenten musste der Drafter die Tokenfolge des autoregressiven Zielmodells nicht exakt reproduzieren, um brauchbare räumliche Ergebnisse zu liefern. Die Ausgabe visueller Primitive wurde in den geprüften Konfigurationen schneller; bei mehreren Aufgaben verbesserten sich zugleich Genauigkeitswerte oder Ergebnisse des nachgelagerten Aktionsmodells . Der Befund bleibt an die verwendeten Modelle, Datensätze, Hardwareplattformen und Messgrenzen gebunden.

Auch der Veröffentlichungsstand verlangt Zurückhaltung. Die Arbeit wurde am 5. November 2026 als arXiv-Preprint eingereicht; eine abgeschlossene externe Begutachtung wird auf den zugänglichen Projekt- und Preprintseiten nicht ausgewiesen . VFlash ist daher zunächst ein technisch ausgearbeiteter Forschungsansatz. Seine zentrale Idee lässt sich vorsichtig so deuten: Für Maschinen, die Bewegungen im Raum planen, könnte eine als Ganzes entworfene Bahn nützlicher sein als eine Koordinate, die der nächsten folgt.

Weiterführende Informationen

Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.

Google AI for Developers – Diffusion bei der Textgenerierung
Die technische Einführung erläutert, wie ein nicht kausales Diffusionsmodell vollständige Tokenblöcke parallel statt Position für Position erzeugt.
https://ai.google.dev/gemma/docs/diffusiongemma/explained?hl=de

Learn AI – Spekulatives Decoding
Die interaktive Fachseite erklärt den Latenzgewinn durch einen kompakten Drafter, parallele Blockprüfung und weniger serielle Modelldurchläufe.
https://learn.logge.top/de/ai/llm/speculative-decoding

The Neuron Times – VFlash: Pläne in Bildern, 25-mal schneller als in Tokens
Der deutschsprachige Beitrag fasst die parallele Erzeugung visueller Primitive sowie den Genauigkeits- und Handlungserfolg von VFlash in MolmoSpaces zusammen.
https://neuron-times.com/editions/2026-11-06.html