Forscher der University of California, Berkeley, haben gemeinsam mit einem Beratungsgremium aus mehr als 300 Fachleuten den Benchmark Agents’ Last Exam (ALE) veröffentlicht. Der Test soll prüfen, ob KI-Systeme tatsächlich längere, wirtschaftlich relevante Arbeitsabläufe ausführen können. Auf der ersten Rangliste liegt OpenAIs GPT-5.5 knapp vor mehreren anderen Systemen, darunter Anthropics neues Modell Claude Fable 5.
Die Ergebnisse zeigen zugleich, wie niedrig die Erfolgsquoten bei solchen realitätsnahen Aufgaben bislang noch ausfallen. ALE setzt auf berufliche Szenarien aus 55 Branchen und versucht außerdem, bekannte Schwächen früherer Benchmarks wie fehleranfällige automatische Bewertungen oder Manipulationen zu vermeiden.
Zusammenfassung
- Agents’ Last Exam (ALE) ist ein neuer Benchmark der University of California, Berkeley, mit mehr als 300 beteiligten Domain-Experten.
- Auf der ersten ALE-Rangliste erreicht GPT-5.5 mit 24,0 Prozent die höchste Passrate, Claude Fable 5 landet mit 22,0 Prozent auf Platz drei.
- Der Test soll praxisnahe, längere Arbeitsabläufe in 55 nicht-physischen Berufsfeldern abbilden und damit näher an realer Arbeit messen als klassische KI-Benchmarks.
- Nur rund 10 Prozent der Aufgaben sind öffentlich; der Rest bleibt privat, um Benchmark-Verfälschung zu erschweren.
Neuer Maßstab für KI-Agenten
Hinter ALE steht das Center for Responsible, Decentralized Intelligence (RDI) der University of California, Berkeley. Der Benchmark wurde gemeinsam mit einem Beirat aus mehr als 300 Fachleuten entwickelt und soll laut Projektbeschreibung prüfen, ob KI-Agenten nicht nur einzelne Aufgaben lösen, sondern komplexe berufliche Abläufe über längere Zeiträume zuverlässig bewältigen können.
Im Unterschied zu vielen älteren KI-Tests setzt ALE nicht auf kurze Frage-Antwort-Situationen oder eng begrenzte Terminal-Umgebungen. Stattdessen müssen die Systeme Aufgaben aus realen Arbeitskontexten bearbeiten, etwa in professioneller Software und über mehrere Schritte hinweg. Damit will das Projekt die Lücke zwischen akademischen Benchmark-Ergebnissen und produktiver Nutzung schließen.
GPT-5.5 setzt sich knapp an die Spitze
Auf der veröffentlichten ALE-Leaderboard-Rangliste liegt OpenAIs GPT-5.5, das über den Codex-Harness getestet wurde, mit einer Passrate von 24,0 Prozent auf Platz eins. Knapp dahinter folgt ein weiteres GPT-5.5-Setup, Ale Claw, mit 23,0 Prozent. Auf Rang drei steht Claude Code mit Anthropics Claude-Fable-5-Modell und 22,0 Prozent.
Auch OpenClaw mit GPT-5.5 und Cursor CLI mit Composer-2-5 erscheinen in den Top 5. Die besten Werte zeigen zwar, dass moderne Modelle einzelne Teile solcher Arbeitsabläufe bereits bewältigen können. Gleichzeitig bleibt die Gesamtleistung auf einem niedrigen Niveau, vor allem bei den schwierigsten Aufgaben.
Nach Angaben der Projektverantwortlichen erreichen auf der härtesten Stufe, dem sogenannten Last-Exam-Teil, mehrere Konfigurationen derzeit 0,0 Prozent Passrate, darunter auch ältere Modelle wie Claude Opus 4.8 und Googles Gemini CLI.
Wie ALE Fehlbewertungen und Tricksereien vermeiden will
Ein zentrales Ziel des neuen Benchmarks ist es, Schwächen früherer Bewertungsansätze zu umgehen. Viele bisherige Agenten-Tests arbeiten mit statischen Fragen, einfachen Textumgebungen oder automatischen Prüfern, die fehleranfällig sein können. Zudem gab es in der Vergangenheit Fälle, in denen Modelle angeblich nicht die eigentliche Aufgabe lösten, sondern über versteckte Hinweise oder andere Umwege zu korrekten Antworten kamen.
ALE setzt deshalb auf einen sogenannten Generalist Computer-Use Agent-Ansatz. Dabei wird die Leistung über mehrere Funktionsstufen hinweg erfasst: vom Schlussfolgern über visuelle Wahrnehmung und Orchestrierung bis hin zur Nutzung von Werkzeugen und der Ausführung in der Laufzeitumgebung. Die Systeme müssen virtuelle Linux- oder Windows-Rechner bedienen, Shell-Skripte verwenden und zugleich grafische Oberflächen per Mausklick steuern.
Für die Bewertung verlässt sich ALE nur zu einem kleinen Teil auf das Prinzip „LLM-as-a-judge“. Den Angaben zufolge betrifft das lediglich 6,8 Prozent der Workflows. Wo es möglich ist, nutzt der Benchmark stattdessen deterministische, codebasierte Verfahren, etwa beim Vergleich von 3D-Modellen oder bei der Auswertung von SEC-Dokumenten.
Aufgaben aus 55 Branchen
Zum Start umfasst ALE 1.490 Aufgabeninstanzen und soll auf 5.000 Tasks wachsen. Die Aufgaben sind nach der US-Berufstaxonomie O*NET beziehungsweise SOC 2018 organisiert und decken 55 nicht-physische Branchenbereiche ab.
Die konkreten Workflows stammen laut Projekt aus den beruflichen Erfahrungen von Fachleuten aus der Praxis. Genannt werden unter anderem 3D-Modellierung in Siemens NX, Szenenaufbau in Unreal Engine, neuroimaging-basierte Analysen in FSLeyes und Compositing in Adobe After Effects. Die Aufgaben sollen damit möglichst nah an realen, längeren Arbeitsprozessen liegen.
ALE teilt seine Tests außerdem in drei Schwierigkeitsstufen ein: Near-Term, Full-Spectrum und Last-Exam. Damit soll sichtbar werden, wie weit aktuelle Systeme bei Standardaufgaben, anspruchsvolleren Workflows und besonders schwierigen Szenarien tatsächlich kommen.
Schutz vor Benchmark-Kontamination
Ein weiteres Problem moderner KI-Bewertungen ist die sogenannte Benchmark-Kontamination. Gemeint ist damit, dass Testaufgaben in Trainingsdaten gelangen und Modelle dadurch nicht mehr echte Problemlösungen, sondern auswendig gelernte Muster zeigen. ALE will dieses Risiko mit einem rollierenden Veröffentlichungsmodell senken.
Nach Angaben des Projekts sind nur etwa 10 Prozent des Datensatzes, also rund 150 Aufgaben, öffentlich zugänglich und beispielsweise auf GitHub und Hugging Face zu finden. Mehr als 1.300 weitere Aufgaben bleiben privat. Einzelne Tasks sollen im Laufe der Zeit zwischen dem öffentlichen und privaten Bestand verschoben werden, damit der Test aktuell bleibt.
Zusätzlich führt ALE zwei getrennte Wertungen: eine „Full“-Liste und eine „Unlicensed“-Liste. In der Full-Version sind auch Aufgaben enthalten, die kommerzielle CAD-Software, kostenpflichtige Schnittstellen oder lizenzierte Datensätze erfordern. Die Unlicensed-Version lässt diese Elemente weg und vergleicht Modelle nur auf Basis frei verfügbarer Werkzeuge.
Einordnung der Projektbeteiligten
Mitinitiator Zengyi Qin, ein MIT-PhD-Forscher und Datenmitarbeiter des Projekts, kündigte die Veröffentlichung auf X an und verwies auf die mehr als 100 beteiligten Institutionen. In seinen Beiträgen hob er hervor, dass der Benchmark von mehr als 300 Fachleuten aus über 100 Einrichtungen getragen wird. Auch die Projektleitungen und das Berkeley-RDI wurden von ihm genannt.
Die veröffentlichte Rangliste soll laut Projekt vor allem für Entwickler und Unternehmen ein Gegenpol zu überzogenen Erwartungen sein. ALE zeigt derzeit vor allem, dass selbst die leistungsstärksten Modelle und Agenten-Setups bei realitätsnahen, mehrstufigen Arbeitsabläufen noch weit von zuverlässiger Produktivreife entfernt sind.
Für den Markt der KI-Agenten ist das Ergebnis damit weniger ein Siegeszug einzelner Modelle als vielmehr ein nüchterner Realitätscheck. Der Benchmark soll künftig dabei helfen, Fortschritte in diesem Bereich belastbarer zu messen.
Mehr Infos auf der Webseite agents-last-exam.org
