Meldung ✓
KI-Fehlinformation führt fast zu US-Militäreinsatz gegen chinesisches Handelsschiff
Ein KI-System stufte die Fracht eines chinesischen Frachters fälschlicherweise als Atomwaffenbauteile ein. Der Fehler löste beinahe einen US-Militäreinsatz im Nahen Osten aus.
Ein Fehlverhalten eines Systems mit künstlicher Intelligenz hat beinahe zu einem Militäreinsatz der USA gegen ein chinesisches Handelsschiff im Nahen Osten geführt. Ein Analyst hatte ein KI-Chatbot befragt, welches fälschlicherweise den Transport von Komponenten für Nuklearwaffen meldete. Die Fehleinschätzung gelangte bis weit in die Befehlskette, ehe der Irrtum entdeckt wurde.
Bewaffnetes Personal stand bereit, um das Schiff zu betreten, und Militärflugzeuge waren bereits eingesetzt worden, als Beamte bei genauerer Überprüfung feststellten, dass die zugrunde liegenden Erkenntnisse nicht stichhaltig waren. Eine Quelle beschrieb das Ergebnis als "entirely false" und gab an, der Vorfall habe "almost started a war".
Der Vorfall fällt in eine Phase intensiver Bestrebungen, künstliche Intelligenz in den Operationen des Pentagons zu verankern. US-Verteidigungsminister Pete Hegseth stellte im Januar eine Strategie zur KI-Beschleunigung vor, die darauf abzielt, das US-Militär "AI-first" auszurichten. Die Umsetzung bleibt jedoch über verschiedene Organisationen hinweg dezentralisiert, mit unterschiedlichen Sicherheitsprotokollen und ohne einheitliche Verifizierungsstandards für KI-gestützte Geheimdienstprodukte.
Der Fall spiegelt zudem eine weitere Sorge wider, wonach Akteure mit Verbindung zum Iran das KI-System Claude genutzt haben sollen, um durch die Verarbeitung öffentlich zugänglicher Informationen Zieldaten über US-Seestreitkräfte zusammenzustellen.
Falsche Analyse löst Militäreinsatz aus
Ein Analyst des US Special Operations Command befragte ein KI-Chatbot zu dem Frachtschiff und bat darum, das Ladungsverzeichnis des Schiffes zusammen mit einer Mischung aus frei zugänglichen Quellen und geheimdienstlichen Erkenntnissen zu analysieren. Das System kam fälschlicherweise zu dem Schluss, dass die Fracht Komponenten von Nuklearwaffen enthielt. Wie das Branchenportal gCaptain berichtet, rückte die daraus resultierende Bewertung weit in der Befehlskette nach oben, bevor jemand den Fehler bemerkte.Bewaffnetes Personal stand bereit, um das Schiff zu betreten, und Militärflugzeuge waren bereits eingesetzt worden, als Beamte bei genauerer Überprüfung feststellten, dass die zugrunde liegenden Erkenntnisse nicht stichhaltig waren. Eine Quelle beschrieb das Ergebnis als "entirely false" und gab an, der Vorfall habe "almost started a war".
Formatierung verlieh unberechtigte Glaubwürdigkeit
Ein Teil des Problems lag den Berichten zufolge in der Darstellung. Der Analyst nutzte dasselbe KI-Werkzeug, um die Ergebnisse in einen standardmäßigen militärischen Geheimdienstbericht zu formatieren. Das professionelle, gewohnte Layout des Dokuments verlieh einer Analyse ohne faktische Grundlage offenbar unberechtigte Glaubwürdigkeit.Der Vorfall fällt in eine Phase intensiver Bestrebungen, künstliche Intelligenz in den Operationen des Pentagons zu verankern. US-Verteidigungsminister Pete Hegseth stellte im Januar eine Strategie zur KI-Beschleunigung vor, die darauf abzielt, das US-Militär "AI-first" auszurichten. Die Umsetzung bleibt jedoch über verschiedene Organisationen hinweg dezentralisiert, mit unterschiedlichen Sicherheitsprotokollen und ohne einheitliche Verifizierungsstandards für KI-gestützte Geheimdienstprodukte.
Der Fall spiegelt zudem eine weitere Sorge wider, wonach Akteure mit Verbindung zum Iran das KI-System Claude genutzt haben sollen, um durch die Verarbeitung öffentlich zugänglicher Informationen Zieldaten über US-Seestreitkräfte zusammenzustellen.