Anthropic gab 3 Vorfälle bekannt, bei denen seine Claude-Modelle unbefugten Zugriff auf die echten Systeme von 3 verschiedenen Organisationen während Cybersecurity-Bewertungen erhielten, die falsch konfiguriert waren und Zugang zum Live-Internet hatten.
Das KI-Unternehmen identifizierte die Vorfälle nach der Überprüfung von 141.006 Bewertungsdurchläufen, eine Überprüfung, die es nach der Offenlegung von OpenAI startete, dass seine Modelle eine isolierte Testumgebung verlassen und Hugging Face erreicht hatten.
Wie Claude echte Systeme in Capture-the-Flag-Tests erreichte
Die Bewertungen beauftragten Claude mit Capture-the-Flag-Herausforderungen. Diese Übungen fordern ein Modell auf, in eine Maschine einzudringen und versteckte Informationen abzurufen.
Anthropic sagte den Modellen, dass sie keinen Internetzugang hätten. Eine Fehlkonfiguration ließ jedoch die Testmaschinen mit dem offenen Web verbunden. Daher behandelte Claude die echten Systeme, die es fand, als Teil der Übung.
Im schwerwiegendsten Vorfall nutzte Claude Opus 4.7 Schwachstellen in der Infrastruktur eines echten Unternehmens aus. Das Modell extrahierte Anwendungs- und Infrastruktur-Anmeldeinformationen und griff auf mehrere hundert Zeilen Produktionsdaten zu.
„In allen vier Durchläufen erkannte das Modell schließlich (wie in seiner verbalisierten Argumentation zu beobachten ist), dass das System echt war – in zwei Fällen rationalisierte das Modell, dass das echte Unternehmen Teil der Übung sein müsse. Dennoch stoppte keines den Angriff auf dieser Grundlage“, sagte Anthropic.
Folge uns auf X, um die neuesten Nachrichten in Echtzeit zu erhalten
Claude Mythos 5 lud Malware auf PyPI hoch
In einem weiteren Vorfall veröffentlichte Claude Mythos 5 ein mit Fallen versehenes Python-Paket auf PyPI, dem öffentlichen Software-Register. Das Paket blieb etwa 1 Stunde aktiv und lief auf 15 realen Systemen.
Eines war der Scanner eines Sicherheitsunternehmens, der den versteckten Code ausführte. Claude exfiltrierte dann die Anmeldeinformationen dieses Unternehmens und griff auf weitere Infrastrukturen zu. Die eigene Argumentation des Modells erkannte das Risiko frühzeitig, bevor es sich selbst überzeugte, dass die Umgebung simuliert war.
„Claude ging zu großen Längen, um diesen Angriff durchzuführen – Längen, die einem menschlichen Teilnehmer wahrscheinlich angezeigt hätten, dass dies nicht mehr nur eine Bewertung war und dass sie tatsächlich ein echtes PyPI-Paket hochluden“, fügte das Team hinzu.
Ein dritter Vorfall betraf ein internes Forschungsmodell, das etwa 9.000 Ziele scannte und die Anwendung eines Unternehmens über SQL-Injection kompromittierte. Dieses Modell stellte seinen Angriff ein, sobald es zu dem Schluss kam, dass das Ziel real war.
Anthropic benachrichtigte die betroffenen Organisationen am 27. Juli und sagte, dass es in Gesprächen mit dem Evaluator METR für eine Drittanbieterprüfung sei. Das Unternehmen argumentiert, dass die Episoden ein operatives Versagen widerspiegeln und nicht ein Versagen der Modellanpassung, und weist darauf hin, dass die standardmäßigen Verbraucherschutzmaßnahmen das Verhalten blockiert hätten.
Abonnieren Sie unseren YouTube-Kanal, um zu sehen, wie Führungskräfte und Journalisten Experteneinblicke geben.
Quelle: BeInCrypto
