Wie lange ein KI-Assistent für seine Antwort braucht, entscheidet sich in einem Abschnitt der Rechenarbeit, den kein Anwender je zu Gesicht bekommt.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Ein Beschleuniger für den Teil, auf den gewartet wird

Am 24. August 2026 meldete Nvidia die Vollproduktion des Nvidia Groq 3 LPX, eines Beschleunigers für interaktive KI-Inferenz. Er ist eine Erweiterung der Vera-Rubin-Plattform des Herstellers und zielt auf die Decode-Phase der Inferenz. Das ist der Abschnitt, in dem sich entscheidet, wie schnell die Token für den einzelnen Nutzer erzeugt werden, also die Bausteine, aus denen ein Modell seinen Text zusammensetzt.

Für den Anwender ist das die Zeitspanne, in der er auf den Bildschirm sieht und wartet.

Was der Hersteller angibt und was gemessen wurde

Nach Angaben von Nvidia liefert der Beschleuniger für Agenten und latenzempfindliche Lasten eine viermal schnellere Reaktion als die nächstbeste Plattform. Diese Zahl stammt vom Hersteller selbst und ist bislang nicht unabhängig bestätigt. Zur Bauform nennt Nvidia konkrete Werte: Ein LPX-Rack koppelt 256 LPU-Beschleuniger mit 128 GB On-Chip-SRAM und einer Scale-up-Bandbreite von 640 TB/s, vollständig flüssigkeitsgekühlt in der MGX-Rack-Architektur. Eine Zahl kommt von außen. Das Analysehaus Artificial Analysis hat den Groq 3 LPX vermessen und kam auf 3.400 Ausgabe-Token je Sekunde mit dem offenen Modell Gemma 4 31B bei einem Kontextfenster von 100.000 Token. Ein Preis wurde in der Meldung nicht genannt, weder für ein Rack noch für die Rechenzeit darauf.

Damit steht die eine Angabe, die einen Vergleich zieht, allein beim Hersteller.

Nebius bekommt die ersten Racks

Als erster Kunde ist Nebius genannt. Das Unternehmen setzt den Beschleuniger über seine Plattform Nebius Token Factory ein, und die Racks sollen laut Bericht noch in diesem Jahr online gehen. Übernommen hatte Nvidia den Chipentwickler Groq laut Bericht für 20 Milliarden US-Dollar.

Wer in Deutschland ein KI-Werkzeug im Abo nutzt, wird von alldem nichts sehen. Solche Bausteine stehen bei den Anbietern, deren Modelle hinter den Oberflächen laufen, die im Betrieb geöffnet werden.

Warum Wartezeit über die Nutzung entscheidet

Für einen Betrieb ist Antwortgeschwindigkeit keine Technikfrage, sondern der Unterschied zwischen einem Werkzeug, das benutzt wird, und einem, das nach zwei Wochen liegen bleibt. Ein Assistent, der für eine Rückfrage eine Minute braucht, wird umgangen. Der Mitarbeiter greift zum Telefon oder tippt die Mail von Hand, weil das schneller geht. Bei Agenten, die mehrere Schritte hintereinander abarbeiten, summiert sich die Wartezeit, und zwar für jeden Schritt neu. Aus zehn Sekunden je Schritt werden bei acht Schritten mehr als eine Minute, in der niemand weiß, ob der Vorgang noch läuft.

Das ist der Grund, warum viele KI-Versuche in Betrieben nicht an der Qualität der Antworten scheitern.

Die zweite Größe daneben ist der Preis. Was Rechenzeit für einen Agenten kostet und woraus sich dieser Betrag zusammensetzt, haben wir in einem eigenen Beitrag zu den Inferenzkosten von KI-Agenten aufgeschrieben. Tempo und Kosten hängen an derselben Infrastruktur, und beide bewegen sich gerade.

Unsere Einschätzung

Interessant an dieser Meldung ist weniger der Chip als die Richtung, die sie anzeigt. Tempo kommt zunehmend aus der Infrastruktur des Anbieters und nicht aus etwas, das ein Betrieb selbst einstellen könnte. Für den Anwender heißt das, dass sich das Warten auf eine Antwort im Laufe eines Jahres spürbar verändern kann, ohne dass er irgendetwas umstellt. Das ist eine ungewohnte Lage. Bei klassischer Software änderte sich die Geschwindigkeit, wenn man neue Hardware kaufte oder eine neue Version einspielte.

Praktisch folgt daraus eine schlichte Empfehlung. Wer heute einen Ablauf verwirft, weil er zu langsam ist, sollte ihn in einigen Monaten noch einmal messen.

Messen heißt dabei wirklich messen und nicht schätzen. Wie lange ein Durchlauf dauert, wie oft ein Mitarbeiter deshalb abbricht, an welcher Stelle er das tut: Diese drei Angaben kosten eine Woche Notizen und sind später die einzige belastbare Grundlage für die Frage, ob ein verworfener Ablauf inzwischen trägt. Wer sie nicht hat, entscheidet beim zweiten Anlauf wieder nach Gefühl.

Und die Erwartung an eine Zahl wie die viermal schnellere Reaktion bleibt gedämpft. Sie beschreibt eine Plattform unter Laborbedingungen und keinen Arbeitsplatz, an dem noch ein Browser und ein überfülltes Postfach dazwischenliegen.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 26. August 2026):

Häufige Fragen

Was ist der Nvidia Groq 3 LPX?

Der Nvidia Groq 3 LPX ist ein Beschleuniger für interaktive KI-Inferenz, dessen Vollproduktion Nvidia am 24. August 2026 gemeldet hat. Er ist eine Erweiterung der Vera-Rubin-Plattform des Herstellers. Ein LPX-Rack koppelt 256 LPU-Beschleuniger mit 128 GB On-Chip-SRAM und einer Scale-up-Bandbreite von 640 TB/s, vollständig flüssigkeitsgekühlt in der MGX-Rack-Architektur.

Wie schnell ist der Groq 3 LPX?

Laut Nvidia liefert der Beschleuniger für Agenten und latenzempfindliche Lasten eine viermal schnellere Reaktion als die nächstbeste Plattform. Das ist eine Herstellerangabe. Unabhängig davon hat das Analysehaus Artificial Analysis in einer Messung 3.400 Ausgabe-Token je Sekunde mit dem offenen Modell Gemma 4 31B bei einem Kontextfenster von 100.000 Token ermittelt.

Was bedeutet die Decode-Phase der Inferenz?

Auf diesen Abschnitt zielt der Groq 3 LPX. In der Decode-Phase entscheidet sich, wie schnell die Token für den einzelnen Nutzer erzeugt werden, also die Bausteine, aus denen ein Modell seinen Text zusammensetzt. Für den Anwender ist das die Zeit, die er auf eine Antwort wartet.

Was sollte ein Betrieb jetzt tun?

Kaufen muss ein kleiner oder mittlerer Betrieb solche Technik nicht, sie steht bei den Anbietern hinter den genutzten Werkzeugen. Sinnvoll ist, die eigene Wartezeit zu messen und nicht zu schätzen. Wie lange ein Durchlauf dauert, wie oft jemand deshalb abbricht und an welcher Stelle er das tut, ist eine Woche Notizen wert. Wer heute einen Ablauf verwirft, weil er zu langsam ist, sollte ihn in einigen Monaten noch einmal nachmessen, weil Tempo zunehmend aus der Infrastruktur des Anbieters kommt.

Wie lange darf ein KI-Werkzeug im Betrieb brauchen, bevor es jemand umgeht?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 26. August 2026. Stand der Recherche: 26. August 2026.