Menschheit vollständig durchgespielt, KI höchstens 0,37 %: ARC-AGI-3 testet die wahre Intelligenz des Agenten mit „unbekannten Spielen“

Laut 1M AI News Monitoring hat die Gründerin von Keras, François Chollet, zusammen mit dem Mitbegründer von Zapier, Mike Knoop, die gemeinnützige Organisation ARC Prize Foundation gegründet und den ARC-AGI-3 Benchmark veröffentlicht. Im Gegensatz zu den vorherigen statischen Gitter-Reasoning-Aufgaben ist ARC-AGI-3 eine Reihe von interaktiven rundenbasierten Umgebungen, in denen Agenten in einer 64×64, 16-farbigen Gitterwelt agieren, ohne Anweisungen oder Zielhinweise zu erhalten. Sie müssen die Umgebung eigenständig erkunden, Regeln und Gewinnbedingungen ableiten, ein Weltmodell aufbauen und Aktionssequenzen planen.

Die Bewertung erfolgt nach dem „Aktivitäts-Effizienz“-Mechanismus: Je weniger Schritte benötigt werden, um dasselbe Level abzuschließen, desto höher die Punktzahl. Dies dient dazu, echte Reasoning-Fähigkeiten von bloßer brutaler Suche zu unterscheiden. Jede Umgebung wurde von Menschen getestet, um sicherzustellen, dass sie beim ersten Kontakt vollständig lösbar ist. Die aktuellen Punktzahlen der führenden KI-Modelle bei Veröffentlichung sind:

1. Google Gemini 3.1 Pro Preview: 0,37%
2. OpenAI GPT 5.4 (High): 0,26%
3. Anthropic Opus 4.6 (Max): 0,25%
4. xAI Grok-4.20 (Beta): 0,00%

Die Einführung der neuen Version basiert teilweise auf Bedenken, dass die vorherigen Benchmarks „kontaminiert“ wurden. Das Paper weist darauf hin, dass Gemini 3 in der Reasoning-Kette automatisch die Ganzzahl-Farbzuordnungen von ARC-AGI verwendet hat (z.B. „3 = Grün“), obwohl diese Zuordnung im Prompt nie erwähnt wurde. Dies deutet stark darauf hin, dass die Trainingsdaten des Modells die ARC-AGI-Aufgaben bereits ausreichend abgedeckt haben. ARC-AGI-3 nutzt interaktive Umgebungen und autonome Zielentdeckungsmechanismen, um solche Gedächtnis-Abkürzungen zu verhindern. Der Gesamtpreis des ARC Prize 2026 beträgt über 2 Millionen US-Dollar.