Grok 4.5 Tops Agent Test, Unterstützt Musks Opus-Klasse Anspruch

Elon Musk nannte Grok 4.5 ein Modell der Opus-Klasse, das schneller läuft und weniger kostet. Ein unabhängiger, agentischer Benchmark liefert nun echte Unterstützung für diese Behauptung.

Auf dem AutomationBench-AA belegte Grok 4.5 mit einem Score von 51,4 % den ersten Platz, während es $0,34 pro Aufgabe kostete. Es übertraf sowohl Claude Fable 5 (48,6 %) als auch Claude Opus 4.8 (48,5 %).

Eine unabhängige Überprüfung von Elon Musks Behauptung

SpaceXAI stellte Grok 4.5 diese Woche öffentlich vor, basierend auf seinem 1,5 Billionen-Parameter V9-Grundgerüst. Musks Präsentation beruhte auf frühen internen Bewertungen.

AutomationBench-AA ändert das. Artificial Analysis führt den Benchmark unabhängig durch und hält sein Aufgabenpaket privat, um Kontamination zu verhindern.

Der Test umfasst 657 Aufgaben über 40 simulierte Apps, darunter Gmail, Slack, Salesforce und HubSpot. Er bewertet den Anteil der Ziele, die ein Agent ohne Verletzung der Richtlinien erfüllt.

Grok 4.5: Günstiger, schneller und größtenteils konform

Die Kosten von Grok 4.5 von $0,34 pro Aufgabe lagen weit unter den $1,35 von Fable 5 und den $1,46 von Opus 4.8. Gemini 3.5 Flash kam mit $0,49 am nächsten.

Das Modell verwendete etwa 8.000 Ausgabetokens pro Aufgabe, was ungefähr einem Viertel der Gesamtzahl von Opus 4.8 entspricht. Diese Effizienz treibt den Großteil der Kostenlücke an und entspricht dem Rahmen, den Musk bei der Einführung verwendete.

„Sein gesamter Tokenverbrauch von 0,44M pro Aufgabe gehört zu den niedrigsten auf der Rangliste. Die niedrigen Kosten werden durch diese Effizienz sowie durch niedrige Tokenpreise angetrieben“, sagte Artificial Analysis.

Darüber hinaus hat Grok 4.5 79,9 % der Aufgabenziele erreicht und 21,9 % der Aufgaben vollständig bestanden. Im Finanzbereich, dem schwierigsten Bereich, führte es mit 71 %, vor Fable 5 mit 64 % und Opus 4.8 mit 62 %.

Das Modell hat jedoch mehr Regeln gebrochen als seine engsten Konkurrenten. Es verzeichnete 0,63 Regelverletzungen pro Aufgabe, mehr als Opus 4.8 mit 0,55 und Gemini 3.5 Flash mit 0,46.

Diese Lücke ist wichtig für Unternehmen, die Agenten in lebenden Finanzsystemen einsetzen, wo eine einzige Verletzung echte Kosten verursachen kann.

Quelle: BeInCrypto