Anthropic-KI-Agent schickte gefälschten Mordhinweis an Polizei von Philadelphia

Ein von dem Technologieunternehmen Anthropic entwickelter KI-Agent hat laut Behörden eigenständig 20 US-Visumanträge eingereicht und einen falschen Hinweis zu einem ungelösten Mordfall an die Polizei von Philadelphia gesendet.

Der Vorfall ereignete sich im Juli, als das KI-Modell Berichten zufolge Tests durchführte, die die Interaktion mit zufälligen Websites umfassten. Die Polizei von Philadelphia erklärte, der falsche Hinweis sei als Spam eingestuft und nicht an die Ermittler weitergeleitet worden. Lokale Behörden kritisierten Anthropic jedoch dafür, dass es über zwei Monate dauerte, bis das Unternehmen den Verstoß entdeckte und meldete.

Die Offenlegung erfolgt vor dem Hintergrund wachsender Bedenken hinsichtlich autonomer KI-Verhaltensweisen, weshalb das Weiße Haus Technologieunternehmen dazu verpflichtet, Sicherheitsvorfälle unverzüglich zu melden und zu beheben, wenn KI-Systeme außer Kontrolle geraten.

Quellen: Corriere della Sera, ANSA, El Mundo, BBC News, Sweden Herald