Auf die Schnelle

Auf dem Benchmark ARC-AGI-3 erreichte OpenAIs GPT-5.6 Sol im offiziellen Testaufbau 7,8 Prozent, Anthropics Claude Opus 5 kam auf 30,2 Prozent. OpenAI ließ den Test über die eigene Responses API erneut laufen, mit zwei zusätzlichen Einstellungen namens Retained Reasoning und Compaction, und kam auf 38,3 Prozent. Retained Reasoning behält die Gedankenkette zwischen den Schritten, Compaction fasst alten Kontext zusammen, statt ihn abzuschneiden. ARC-Prize-Mitgründer François Chollet zog daraufhin eine Linie: allgemeine API-Einstellungen, die allen Nutzern offenstehen und nicht für diesen Benchmark gebaut wurden, sind zulässig. Testaufbauten, die eigens für den Benchmark entwickelt wurden, nicht.

Ein Modell springt von 7,8 auf 38,3 Prozent, ohne dass am Modell etwas geändert wurde. Zwei Einstellungen in der Schnittstelle reichen. Diese Episode Ende Juli ist die beste Erinnerung daran, warum Benchmark-Tabellen als Entscheidungsgrundlage für einen Betrieb wenig taugen.

Was gemessen wurde

ARC-AGI-3 ist ein Test, der Modelle vor Aufgaben stellt, die sich nicht durch Auswendiglernen lösen lassen. Er misst, ob ein System Muster in einer neuen Umgebung erkennen und darauf reagieren kann, über mehrere Schritte hinweg.

Im offiziellen Testaufbau kam GPT-5.6 Sol auf 7,8 Prozent. Claude Opus 5 erreichte 30,2 Prozent. Das ist ein Abstand, der eine klare Geschichte erzählt.

OpenAI widersprach dieser Geschichte und ließ den Test erneut laufen, über die eigene Responses API und mit zwei Einstellungen, die im offiziellen Aufbau nicht aktiv waren. Ergebnis: 38,3 Prozent.

Die zwei Schalter

Der erste heißt Retained Reasoning. Er sorgt dafür, dass die Gedankenkette des Modells zwischen den einzelnen Schritten erhalten bleibt. Im Standardaufbau wurde sie verworfen, das Modell fing bei jedem Schritt gedanklich wieder von vorn an.

Der zweite heißt Compaction. Statt alten Kontext einfach abzuschneiden, wenn das Fenster voll wird, fasst er ihn zusammen. Das Modell verliert dadurch weniger von dem, was vorher passiert ist.

Beides sind keine Tricks im engeren Sinn. Es sind Funktionen, die jeder Entwickler in dieser Schnittstelle nutzen kann. OpenAIs Argument lautet entsprechend, der offizielle Testaufbau werde dem Modell nicht gerecht, weil er dessen Gedankengang zwischen den Zügen wegwirft.

Wo die Grenze verläuft

ARC-Prize-Mitgründer François Chollet hat auf diese Debatte mit einer klaren Abgrenzung reagiert. Zulässig sind allgemeine API-Einstellungen, die nicht für ARC-AGI-3 entwickelt wurden und allen API-Nutzern zur Verfügung stehen. Ausgeschlossen sind Testaufbauten, die eigens gebaut wurden, um diesen Benchmark zu lösen, oder die Wissen über das Format des Benchmarks enthalten.

Nach dieser Regel wäre der Rerun grundsätzlich zulässig, weil Retained Reasoning und Compaction allgemeine Funktionen sind. Die Vergleichbarkeit mit dem offiziell veröffentlichten Wert leidet trotzdem, weil dort eben nicht dasselbe eingeschaltet war.

Damit steht in der Rangliste eine Zahl, die weniger über die Modelle aussagt als über die Umgebung, in der sie getestet wurden. Genau das ist der Punkt.

Was Betriebe daraus mitnehmen sollten

Die erste Lehre ist unbequem für alle, die gern Vergleichstabellen lesen. Ein Benchmarkwert misst ein Modell plus eine bestimmte Art, es einzusetzen. Ändert sich die zweite Größe, ändert sich das Ergebnis, teilweise um ein Vielfaches.

Die zweite Lehre ist die praktische Konsequenz. Wenn ein Faktor Fünf zwischen zwei Konfigurationen desselben Modells liegen kann, dann sagt die Rangliste nichts darüber, wie sich dieses Modell bei deiner Aufgabe, mit deinen Daten und in deinem Ablauf verhält.

Die dritte Lehre betrifft die eigene Umsetzung, und sie ist die nützlichste. Der Grund für den Sprung war, dass das Modell seinen Gedankengang behalten durfte und alter Kontext zusammengefasst statt abgeschnitten wurde. Das sind genau die zwei Punkte, an denen selbstgebaute Abläufe in Betrieben regelmäßig Leistung verschenken, ohne dass es jemand merkt.

Wer eine mehrstufige Automatisierung betreibt, sollte deshalb zwei Dinge prüfen. Wird bei jedem Schritt ein frischer Aufruf gestartet, der nichts von den vorherigen Schritten weiß? Und was passiert, wenn der Kontext zu lang wird, wird abgeschnitten oder zusammengefasst? In vielen selbstgebauten Abläufen ist die Antwort auf die erste Frage ja und auf die zweite abgeschnitten, und dann arbeitet das teuerste Modell unter seinen Möglichkeiten. Das zu ändern kostet keine Lizenz, sondern eine Stunde in der Konfiguration.

Wie ein brauchbarer eigener Test aussieht

Nimm zwanzig echte Fälle aus deinem Betrieb. Echte Kundenanfragen, echte Rechnungen, echte Ausschreibungstexte, je nachdem worum es geht. Keine Beispiele aus dem Netz.

Definiere vorher, was ein gutes Ergebnis ist, und zwar so, dass zwei verschiedene Personen im Betrieb zum selben Urteil kommen würden. Ohne diesen Schritt bewertet am Ende jeder nach Gefühl, und das Ergebnis ist wertlos.

Lass dieselben zwanzig Fälle durch zwei Kandidaten laufen, mit derselben Aufgabenstellung. Zähl aus, wie oft das Ergebnis ohne Nacharbeit brauchbar war, und notier daneben, wie lange es gedauert hat und was es gekostet hat.

Das dauert einen halben Tag und ist jeder Rangliste überlegen, weil es die eine Frage beantwortet, die dich betrifft: Löst das Ding mein Problem?

Warum diese Debatte nicht kleinlich ist

Man könnte den Vorgang als Streit unter Anbietern abtun. Das wäre zu kurz gedacht, weil die Zahlen aus solchen Ranglisten in Angebote, Präsentationen und Kaufentscheidungen wandern.

Wir sehen bei Betrieben regelmäßig, dass die Werkzeugwahl mit einem Screenshot einer Benchmarktabelle begründet wird. Manchmal ist die Tabelle ein halbes Jahr alt, manchmal aus einer Anbieterpräsentation, fast immer ohne Angabe, wie gemessen wurde. Auf dieser Grundlage werden dann vierstellige Jahresverträge unterschrieben.

Der Vorfall um ARC-AGI-3 liefert das Gegenargument frei Haus, und zwar aus dem Lager derer, die solche Zahlen selbst produzieren. Wer beim nächsten Anbietergespräch nach der Testumgebung fragt und nicht nach dem Punktwert, führt ein anderes Gespräch.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 3. August 2026):

Häufige Fragen

Welche Werte stehen sich gegenüber?

Im offiziellen Testaufbau erreichte GPT-5.6 Sol 7,8 Prozent und Claude Opus 5 30,2 Prozent. Im Rerun durch OpenAI über die eigene Responses API kam GPT-5.6 Sol auf 38,3 Prozent.

Was machen Retained Reasoning und Compaction?

Retained Reasoning behält die Gedankenkette des Modells zwischen den einzelnen Schritten, statt sie zu verwerfen. Compaction fasst alten Kontext zusammen, statt ihn abzuschneiden, wenn das Kontextfenster voll wird. Beides sind allgemeine Funktionen der Schnittstelle.

Ist so ein Rerun erlaubt?

ARC-Prize-Mitgründer François Chollet hat die Linie gezogen: Allgemeine API-Einstellungen, die nicht für ARC-AGI-3 entwickelt wurden und allen API-Nutzern offenstehen, sind zulässig. Testaufbauten, die eigens für den Benchmark gebaut sind oder Wissen über dessen Format enthalten, sind ausgeschlossen. Die Vergleichbarkeit mit dem offiziell veröffentlichten Wert leidet trotzdem.

Wie wähle ich stattdessen ein Modell aus?

Mit zwanzig echten Fällen aus dem eigenen Betrieb, einer vorher festgelegten Bewertung, die zwei Personen gleich anwenden würden, und derselben Aufgabenstellung für beide Kandidaten. Ausgezählt wird, wie oft das Ergebnis ohne Nacharbeit brauchbar war, dazu Dauer und Kosten. Das dauert einen halben Tag.

KI-Werkzeuge nach eigenen Kriterien auswählen statt nach Ranglisten?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag nutzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 3. August 2026. Stand der Recherche: 3. August 2026.