Anthropic-Forscher kündigt und warnt: KI-Labore fürchten insgeheim, sie könnte „uns alle töten“

Der Anthropic-Forscher Jacob Coxon sagte, er habe das Unternehmen verlassen. Er warf Anthropic und OpenAI vor, auf selbstverbessernde Superintelligenz zuzurasen und mit Menschenleben zu spielen.

Der Forscher sagte, er habe in den vergangenen drei Jahren bei beiden Unternehmen an der Vortrainierung gearbeitet. Er erhob die Vorwürfe in einer Reihe von Beiträgen auf X.

Anthropic-Forscher geht mit düsterer Warnung an alle, die noch im Unternehmen sind

Coxon argumentierte, die Entwicklung der Technologie werde weithin unterschätzt. Er behauptete, kommende Systeme würden alles hacken, jeden Bereich über Nacht umkrempeln und echte Macht und Ressourcen erlangen.

Außerdem behauptete er, die privaten Gespräche innerhalb der Branche unterschieden sich stark von der öffentlichen Kommunikation. Laut Coxon formulieren führende Persönlichkeiten ihre Aussagen gegenüber der Presse vorsichtiger, während sie privat ihre Angst zum Ausdruck bringen.

„Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Das ist kein Marketinggag“, sagte er. „Keine andere menschliche Tätigkeit birgt eine derart große Gefahr.“

Coxon unterschied zwischen seinen beiden früheren Arbeitgebern. Er behauptete, viele bei OpenAI hätten die von ihm so bezeichnete zivilisatorische Tragweite nicht verinnerlicht, während Anthropic sie verstehe, aber in einem Wettrennen gefangen sei, als Erstes ans Ziel zu kommen.

Er ist einer von vielen Mitarbeitenden, die in diesem Jahr aus der Reihe getanzt sind. Mrinank Sharma, Leiter des Bereichs Sicherheitsvorkehrungen bei Anthropic, trat im Februar zurück.

Joshua Achiam, früher OpenAIs Chef-Futurist, schrieb am 1. September, dass außer Kontrolle geratene KI-Systeme sich in freier Wildbahn vermehren und nach Geld und Macht streben würden.

Folge uns auf X, um die neuesten Nachrichten in Echtzeit zu erhalten

Der Ruf nach Koordination

Coxon beschrieb den Eintritt in das, was er als Endspiel bezeichnete, als ein überhebliches Wagnis. Seiner Ansicht nach sollte eine solche Entscheidung nicht in einem Slack-Kanal eines Privatunternehmens getroffen werden.

Er sagte jedoch, dass er weiterhin optimistisch sei, was die Koordination angehe. Seiner Ansicht nach hat der Angriff auf Hugging Face Vereinbarungen zur abgestimmten Entwicklung zwischen US-Laboren praktikabler gemacht.

Beide Unternehmen haben eine Version dieser Idee bereits unterstützt. Im Juli unterzeichneten mehr als 1.100 Mitarbeitende führender KI-Labore den Brief „Das Tempo an der KI-Spitze abstimmen“, darunter Anthropic-CEO Dario Amodei und OpenAI-Chefwissenschaftler Jakub Pachocki. 

„Wir fordern die US-Regierung auf, eine internationale Initiative zur Entwicklung der technischen und Governance-Instrumente zu unterstützen, die erforderlich sind, um das Tempo der fortgeschrittensten automatisierten KI-Entwicklung bewusst zu steuern“, heißt es in dem Brief.

Darüber hinaus haben beide Unternehmen gemeinsam mit Google, Microsoft und rund 150 weiteren Organisationen einen offenen Brief zur Cyberabwehr unterzeichnet. Darin wird davor gewarnt, dass KI-gestützte Angriffe in den kommenden Monaten deutlich häufiger und ausgefeilter werden.

Coxons Warnung kommt zudem kurz nachdem UN-Menschenrechtschef Volker Türk vor dem Menschenrechtsrat erklärt hatte, fortgeschrittene KI könne ein existenzielles Risiko darstellen.

Coxon fügte hinzu, dass ein vorübergehendes Verbot von Bemühungen zur Verbesserung der Modellfähigkeiten nötig sein könnte, um ein globales Wettrennen zu verhindern. Abschließend forderte er Forschende in KI-Laboren auf, sich zu überlegen, ob sie einen Reinforcement-Learning-Durchlauf mit einem superintelligenten System starten wollen, ohne zu verstehen, welches System dabei entsteht.

BeInCrypto hat Anthropic und OpenAI um eine Stellungnahme gebeten.

Abonnieren Sie unseren YouTube-Kanal, um zu sehen, wie Führungskräfte und Journalisten Experteneinblicke geben.

Quelle: BeInCrypto