OpenAI verdreifacht ARC-AGI-3-Score mit „zwei Einstellungen“: Benchmark stößt auf Vertrauenskrise

Am 29. Juli veröffentlichte OpenAI einen Forschungsbericht, der „seine eigenen Mängel aufzudecken“ schien: Er enthüllte, dass durch „zwei Einstellungen“ die Punktzahl des Modells beim ARC-AGI-3-Benchmark auf das Dreifach erhöht werden konnte. Wenn selbst „Einstellungen“ einen dreifachen Unterschied machen können, wie sollten wir dann die tatsächliche Fähigkeitslücke zwischen Modellen messen?

Was ist ARC-AGI-3

ARC-AGI (Abstraction and Reasoning Corpus for AGI) ist ein wichtiger Maßstab für die Messung der Fähigkeit eines Modells, „neue Probleme/abstraktes Denken zu lösen“ und wird allgemein als Maßstab für „menschenähnliches abstraktes Denken“ angesehen. Die dritte Generation (ARC-AGI-3) stellt höhere Anforderungen an die Generalisierungs- und Argumentationsfähigkeiten des Modells. OpenAI stellte fest, dass bestimmte Inferenz-/Dekodierungseinstellungen (normalerweise im Zusammenhang mit dem Inferenzbudget, der Suchstrategie oder dem Sampling) einen großen Einfluss auf die Leistung hatten – die Anpassung von nur zwei Elementen führte zu einem dreifachen Sprung.

Eine methodische Erinnerung

Der Kernwert dieses Berichts liegt nicht in den Ergebnissen, sondern in der methodischen Erinnerung: Die „tatsächliche Leistungsfähigkeit“ des Modells hängt stark von der „Bewertungseinstellung“ ab, und die Bewertungsergebnisse müssen in einer einheitlichen Konfiguration vorliegen, bevor sie horizontal verglichen werden können. Dies erschüttert direkt die Grundlage von Erzählungen wie „ein bestimmtes Modell erzielt X“ – wenn jemand anderes ein anderes Inferenzbudget verwendet, um eine höhere Punktzahl zu erzielen, wie überzeugend ist diese Punktzahl dann?

Die Relevanz dieser Erinnerung liegt auf der Hand. Erst vor wenigen Tagen (24. Juli) behauptete Anthropic, der alte Rivale hinter ChatGPT, bei der Einführung von Claude Opus 5, dass sein ARC-AGI 3-Score dreimal höher sei als der des nächstbesten Modells. Die „Offensive und Defensive“ zwischen OpenAI und Anthropic rund um ARC-AGI-3 spiegelt genau den Status der „Inference Baseline“ im Jahr 2026 als Kern der Fähigkeitserzählung des Modells wider – macht aber auch die Frage, „wer die meisten Punkte erzielt“, immer verwirrender.

Aus Branchensicht offenbart dieser Bericht ein weit verbreitetes Branchenphänomen: Wenn Benchmark-Scores zu einer Marketingwaffe werden, optimieren Hersteller eher die „Konfiguration“ als die „Fähigkeiten“. Dies ist eine wichtige Warnung für das inländische Ökosystem zur Bewertung großer Modelle. Unabhängig davon, ob es sich um eine öffentliche Liste oder eine interne Bewertung handelt, müssen das „Inferenzbudget, die Stichprobeneinstellungen und die Bewertungsprotokolle“ klar und einheitlich sein, sonst werden die Ergebnisse zu einem bedeutungslosen Zahlenspiel. Der echte Leistungsvergleich wird irgendwann wieder zur „reproduzierbaren Bewertung unter einheitlichen Bedingungen“ führen.

Mehrere Richtungen, die es wert sind, in Zukunft verfolgt zu werden:

1. Der spezifische Inhalt von „zwei Einstellungen“: Ob OpenAI die vollständigen Einstellungsdetails zur Reproduktion offenlegt.
2. Branchenkonsens über Evaluierungsspezifikationen: Ob es ein einheitliches ARC-AGI-3-Evaluierungsprotokoll geben wird.
3. Anthropics Antwort: Wie bewertet sich ARC-AGI 3 von Opus 5 angesichts von Zweifeln an der „Konfigurationsabhängigkeit“ selbst?
4. Überarbeitung der inländischen Bewertungsstandards: Ob die öffentliche Liste die Offenlegungspflichten für Bewertungskonfigurationen verschärfen wird.