Claude Fable 5 kehrte am 1. Juli zurück, und zwei KI-Benchmarking-Plattformen veröffentlichten noch am selben Tag widersprüchliche Leistungsbewertungen. BridgeBench meldete, dass der Debugging-Score von Claude Fable 5 nach der Wiedereinsetzung von 86,2 auf 25,9 eingebrochen sei, während Arena.AI durch Tausende von blinden menschlichen Präferenzabstimmungen weitgehend unveränderte Leistungen feststellte. Die Abweichung resultiert aus dem neuen Sicherheitsklassifikator von Anthropic, der die meisten Codier- und Debugging-Aufgaben an Claude Opus 4.8 weiterleitet, anstatt Fable 5 sie direkt bearbeiten zu lassen. Anthropic hat eingeräumt, dass der Klassifikator bei Routine-Codieraufgaben falsche Positive produziert. Das Unternehmen setzte den konservativen Klassifikator als Bedingung für die Wiedereinsetzung von Fable 5 ein, im Anschluss an eine von Amazon-Forschern gemeldete Demonstration von Sicherheitslücken.
BridgeBench verzeichnet starke Punktabfälle in allen Codierkategorien
BridgeMind führte am 1. Juli, dem Tag der Rückkehr, das gesamte Codier-Suite gegen die Juli-1-Version von Fable 5 erneut aus. BridgeBench testet reale Codieraufgaben in Kategorien wie Debugging, Refactoring und Halluzinationsresistenz, bewertet mit 0–100, wie gut das Modell jede Kategorie absolviert. Debugging fiel von 86,2 auf 25,9, Refactoring von 73,6 auf 38,4 und Halluzinationsresistenz von 75,9 auf 61,7.
Von 12 TypeScript-Debugging-Aufgaben erreichten nur drei tatsächlich Fable 5. Die restlichen neun wurden von Anthropics neuem Sicherheitsklassifikator abgefangen und an Claude Opus 4.8 umgeleitet. BridgeBench wertet jeden Fallback als Null, da das antwortende Modell nicht das unter Evaluation war. Der Klassifikator wurde trainiert, um die von Amazon gemeldete Jailbreak-Technik zu blockieren, mit der Fable 5 Software-Schwachstellen identifizieren und demonstrieren sollte. Debugging in TypeScript ähnelt aus Sicht des Klassifikators zu sehr Sicherheitsarbeit, sodass der Fallback ständig ausgelöst wird.
Arena.AI: Menschliche Präferenzabstimmungen zeigen gleichbleibende bis verbesserte Leistung
Arena.AI untersuchte dieselbe Frage aus einem anderen Blickwinkel. Die Plattform sammelt Tausende von blinden menschlichen Präferenzabstimmungen in mehreren Kategorien – Text, Vision, Dokumente, Code und Agent – und bewertet Modelle mittels Elo-Score. Wenn zwei Modelle anonym gegeneinander antreten und Menschen den Gewinner wählen, spiegelt der Score die tatsächlich wahrgenommene Qualität wider, nicht die Infrastruktur-Routing.
Der Vorher-Nachher-Vergleich zeigte, dass Fable 5 weitgehend sein Niveau hielt. Frontend-Code fiel von 1650 auf 1623 Elo – ein Unterschied, den Arena im Konfidenzintervall verortet, da die Daten weiter gesammelt werden. Die Dokumentenleistung verbesserte sich um 34 Punkte. Experten-Text stieg um 25 Punkte. Kreatives Schreiben legte leicht um 9 zu. Die Kategorien, die zurückgingen – Codierung mit -18, schwierige Anfragen mit -3 – sind genau die, bei denen der Klassifikator mit hoher Wahrscheinlichkeit die Anfrage abfängt, bevor Fable antworten kann.
Wenn Fable 5 die Aufgabe tatsächlich bearbeitet, liefert es weiterhin die Leistung von Fable 5. Allgemeine Nutzer, die kreatives Schreiben, Dokumentenanalyse, Recherche und Experten-Textabfragen durchführen, werden kaum bis gar keinen Unterschied bemerken. Dies sind die Kategorien, in denen Arena.AI gleichbleibende oder verbesserte Leistung zeigt. Entwickler, die in sicherheitsnahen Bereichen arbeiten – Codierung von Speicherverwaltung, alles, was Wörter wie Schwachstelle, Exploit, Hook oder Fix berührt –, werden regelmäßig auf den Fallback stoßen.
Anthropic räumt falsche Positive bei Routine-Codierarbeit ein
Anthropic hat erklärt, dass die Klassifikatoren im Laufe der Zeit verbessert werden, und eingeräumt, dass sie derzeit ein zu weites Netz auswerfen. Das ursprüngliche Verbot erfolgte, nachdem Amazon-Forscher eine Technik gefunden hatten, um Fable zur Identifizierung und Demonstration von Software-Schwachstellen zu bewegen, und die US-Regierung dies als nationale Sicherheitsbedrohung einstufte. Die Lösung bestand darin, den Klassifikator konservativ genug zu machen, um dies und alles in seinem Umfeld abzufangen, und ihn später nachzujustieren. Anthropic hat kein Zieldatum genannt, wann dies geschehen wird.
FAQ
Was hat den Absturz des Debugging-Scores von Claude Fable 5 von 86,2 auf 25,9 nach dem 1. Juli verursacht?
Der Rückgang resultierte aus Anthropics neuem Sicherheitsklassifikator, der neun von zwölf Debugging-Aufgaben an Claude Opus 4.8 weiterleitete, anstatt Fable 5 sie bearbeiten zu lassen. BridgeBench wertet jeden Fallback als Null, da das evaluierte Modell nicht antwortete. Der Klassifikator wurde eingesetzt, um die von Amazon gemeldete Jailbreak-Technik zu blockieren, mit der Fable 5 Software-Schwachstellen demonstrieren sollte.
Wie unterschieden sich die menschlichen Präferenztests von Arena.AI von BridgeBenchs Ergebnissen?
Arena.AI sammelte Tausende von blinden menschlichen Präferenzabstimmungen in den Kategorien Text, Vision, Dokumente, Code und Agent. Die Plattform stellte fest, dass die Leistung von Fable 5 im Vergleich zur Juni-Version weitgehend gleich blieb, wobei die Dokumentenleistung um 34 Punkte und Experten-Text um 25 Punkte stieg. Frontend-Code fiel von 1650 auf 1623 Elo – ein Unterschied, den Arena im Konfidenzintervall verortet.
Wann wird Anthropic den Sicherheitsklassifikator verfeinern, um falsche Positive zu reduzieren?
Anthropic hat eingeräumt, dass die neuen Klassifikatoren falsche Positive bei Routine-Codier- und Debugging-Aufgaben produzieren, und erklärt, dass das System im Laufe der Zeit verbessert wird. Das Unternehmen hat keinen Zeitplan für die Verfeinerungen genannt.
