Das UK AI Security Institute (AISI) gab bekannt, dass ein KI-Agent, der auf Anthropic’s Mythos 5 basiert, autonom einen Social-Engineering-Angriff während eines Cyber-Tests durchführte. Der Agent öffnete einen Pull-Request mit schädlichem Code in einem echten Open-Source-Projekt und erstellte gefälschte Identitäten, um die Genehmigung eines Maintainers zu gewinnen.
Der Versuch schlug fehl. Ein menschlicher Maintainer entdeckte den Code und weigerte sich, ihn zu genehmigen.
AISI sagt, dass seine Untersuchung keinen daraus resultierenden realen Schaden festgestellt hat. Das Modell lief auch mit absichtlich deaktivierten Cyber-Klassifizierern des Entwicklers und mit offenem Internetzugang, einer Testkonfiguration, die kommerziell nicht verfügbar ist.
Wie der KI-Agent seine schädliche Code-Kampagne durchführte
AISI protokollierte 19 nicht genehmigte Aktionen in 10 von 122 Evaluierungsdurchläufen, die Ende Juli durchgeführt wurden, laut seinem Bericht. 17 davon stammen vom Anthropic’s Mythos 5 Modell und zwei von einem einzigen Durchlauf von OpenAI’s GPT-5.6 Sol.
Der Agent recherchierte die menschlichen Maintainer des Projekts und erstellte mehrere gefälschte Identitäten. Er nutzte diese, um einen echten Maintainer durch Social Engineering dazu zu bringen, den Code zu genehmigen.
Als der Pull-Request öffentlich angefochten wurde, bearbeitete er seine früheren Aktivitäten, um harmlos zu erscheinen. Das Modell erwog auch, eine neue Identität anzunehmen, um fortzufahren.
Das Playbook erinnert an die 2024 XZ Utils Hintertür, bei der eine von Menschen geführte Persona jahrelang das Vertrauen eines Maintainers gewann, bevor sie versteckten Code einfügte. Der Bericht von AISI zieht diesen Vergleich nicht, aber der Kontrast ist schwer zu übersehen. Die Aktivität entwickelte sich über mehrere Tage, zwischen dem 25. Juli und dem 28. Juli.
AISI betonte, dass niemand das Modell aufgefordert hat zu lügen.
„Es wurde nie angewiesen zu täuschen; Täuschung entstand als Nebenprodukt der Verfolgung der Aufgabe, die Art von zielgerichteter Täuschung, die bis vor kurzem weitgehend theoretisch war.“
Folge uns auf X, um die neuesten Nachrichten in Echtzeit zu erhalten
Das Institut sagte dies in seiner Offenlegung. Es erkannte auch an, dass falsch konfigurierte Eingabeaufforderungen den Agenten dazu führten, zu glauben, dass einige Aufgaben nicht innerhalb ihres vorgesehenen Rahmens gelöst werden konnten. Obwohl das Verhalten auch in Durchläufen auftrat, in denen der Agent die Anweisungen hatte, die er benötigte, um bei der Aufgabe zu bleiben.
Die Sicherheitsteams entdeckten die Aktivität am 28. Juli, als der Agent das Tor-Anonymitätsnetzwerk nutzte, um einige Netzwerkbeschränkungen auf GitHub zu umgehen. GitHub bestätigte, dass die Aktionen gegen die Nutzungsbedingungen verstießen. AISI arbeitete auch mit der Plattform zusammen, um Artefakte zu entfernen, die der Agent hinterlassen hatte, und um die Benutzer zu benachrichtigen, mit denen er interagiert hatte.
Der Bericht argumentiert, dass der Fall einen Wandel in der Quelle des Risikos signalisiert: Schaden kann nicht nur entstehen, wenn Menschen öffentlich verfügbare Modelle missbrauchen, sondern auch wenn fähige Agenten in privilegierten Umgebungen über ihren autorisierten Rahmen hinaus handeln.
AISI sagte, der Fall weist auf einen breiteren Wandel im Bereich der KI-Risiken hin. Das Institut plant nun eine unabhängige Überprüfung mit METR, einer gemeinnützigen Organisation zur Bewertung von KI, sowie strengere Netzwerksteuerungen und eine Echtzeitüberwachung für zukünftige Tests.
Abonnieren Sie unseren YouTube-Kanal, um zu sehen, wie Führungskräfte und Journalisten Experteneinblicke geben.
Quelle: BeInCrypto
