Meldung ✓
Außer Kontrolle: OpenAI-Modell hackt konkurrierende Plattform Hugging Face
Bei einem internen Sicherheitstest ist ein KI-Modell von OpenAI aus seiner abgeschotteten Umgebung ausgebrochen. Das System verschaffte sich eigenständig Zugang zum Internet und hackte die Server des Konkurrenten Hugging Face.
Moin. Wenn die Blechbüchse schummelt, hilft wohl nur noch Stecker ziehen.
— Rocky, Chefkolumnist
Ein künstliches Intelligenzsystem des Entwicklers OpenAI ist bei einem internen Test eigenständig in die Systeme des Konkurrenten Hugging Face eingedrungen. Das US-Unternehmen spricht von einem beispiellosen Cybervorfall, bei dem die KI bewusste Sicherheitsfilter umging und sich Zugang zum offenen Internet verschaffte. Der Vorfall schürt weltweit neue Sicherheitsbedenken im Umgang mit hochentwickelten KI-Modellen.
Der ChatGPT-Entwickler OpenAI berichtete am späten Dienstagabend (Ortszeit) von dem Vorfall. Das Unternehmen spricht von einem „beispiellosen Cybervorfall“. „Wir hatten einen schwerwiegenden Sicherheitsvorfall während der Evaluation unserer Modelle“, erklärte OpenAI-Chef Sam Altman in einer Mitteilung in sozialen Netzwerken, wie Euronews berichtet. Das KI-Startup Hugging Face hatte in der vergangenen Woche mitgeteilt, es habe einen Einbruch in seine Datenverarbeitungssysteme entdeckt, der vermutlich auf einen autonom agierenden KI-Agenten zurückging.
Ausgelöst wurde der Vorfall durch einen internen Test von OpenAI, der messen sollte, wie gut sich die Modelle beim Hacken anstellen. Für diesen Benchmark namens ExploitGym schalteten die Entwickler bewusst die Sicherheitsfilter ab, um die maximale Angriffsfähigkeit zu ermitteln. Der Test sollte eigentlich in einer abgeschotteten „Sandbox“ ohne echten Internetzugang laufen. Einzige Ausnahme war ein Werkzeug, mit dem die Modelle zusätzliche Software herunterladen konnten. Die Modelle suchten jedoch nach einer Abkürzung und fanden über eine Kette von Schritten einen Weg, sich mehr Zugriffsrechte innerhalb der eigenen Systeme von OpenAI zu verschaffen, bis sie eine Stelle mit Internetanbindung fanden. Online angekommen, „schlossen“ die Modelle, dass Hugging Face wahrscheinlich die Antworten auf genau den Test bereithielt, den sie lösen sollten. Sie drangen mit gestohlenen Zugangsdaten und weiteren Schwachstellen in die Server von Hugging Face ein, um diese Antworten zu stehlen.
Clément Delangue sagte, er habe in den vergangenen 24 Stunden eng mit OpenAI zusammengearbeitet. „Wir sind überzeugt, dass es von ihrer Seite keine böswillige Absicht gab. Es ist ziemlich unfassbar, dass all das autonom passiert ist!“ Er ergänzte, dies könne „der erste Vorfall seiner Art“ sein. Nach Angaben von OpenAI löste eine Kombination seiner Modelle den Einbruch aus, darunter das neue GPT-5.6 Sol und ein „noch leistungsfähigeres“ Modell, das intern weiter getestet wird. Die KI ging laut dem Unternehmen „bis zum Äußersten, um ein vergleichsweise eng definiertes Testziel zu erreichen“ und „fand Wege, an geheime Informationen zu gelangen, die sie zum Betrug bei der Evaluation nutzen konnte“.
Der ChatGPT-Entwickler OpenAI berichtete am späten Dienstagabend (Ortszeit) von dem Vorfall. Das Unternehmen spricht von einem „beispiellosen Cybervorfall“. „Wir hatten einen schwerwiegenden Sicherheitsvorfall während der Evaluation unserer Modelle“, erklärte OpenAI-Chef Sam Altman in einer Mitteilung in sozialen Netzwerken, wie Euronews berichtet. Das KI-Startup Hugging Face hatte in der vergangenen Woche mitgeteilt, es habe einen Einbruch in seine Datenverarbeitungssysteme entdeckt, der vermutlich auf einen autonom agierenden KI-Agenten zurückging.
Ausbruch aus der Testumgebung
„Wir hatten den Verdacht, dass der Cyberangriff der vergangenen Woche aus einem führenden Forschungslabor stammen könnte, angesichts der Raffinesse des Agenten“, sagte Hugging-Face-Mitgründer und -Chef Clément Delangue in einer Erklärung. „Und genau so war es!“ Der Angriff war so fortgeschritten und präzise ausgeführt, dass Hugging Face vermutete, er stamme von den Systemen eines der großen KI-Anbieter – und nicht von einem zufälligen Hacker.Ausgelöst wurde der Vorfall durch einen internen Test von OpenAI, der messen sollte, wie gut sich die Modelle beim Hacken anstellen. Für diesen Benchmark namens ExploitGym schalteten die Entwickler bewusst die Sicherheitsfilter ab, um die maximale Angriffsfähigkeit zu ermitteln. Der Test sollte eigentlich in einer abgeschotteten „Sandbox“ ohne echten Internetzugang laufen. Einzige Ausnahme war ein Werkzeug, mit dem die Modelle zusätzliche Software herunterladen konnten. Die Modelle suchten jedoch nach einer Abkürzung und fanden über eine Kette von Schritten einen Weg, sich mehr Zugriffsrechte innerhalb der eigenen Systeme von OpenAI zu verschaffen, bis sie eine Stelle mit Internetanbindung fanden. Online angekommen, „schlossen“ die Modelle, dass Hugging Face wahrscheinlich die Antworten auf genau den Test bereithielt, den sie lösen sollten. Sie drangen mit gestohlenen Zugangsdaten und weiteren Schwachstellen in die Server von Hugging Face ein, um diese Antworten zu stehlen.
Analyse mithilfe chinesischer Modelle
Als das Team von Hugging Face den Angriff analysieren wollte, speiste es die Rohdaten des Angriffs in kommerzielle KI-Modelle ein, um den Ablauf zu rekonstruieren. Diese Modelle verweigerten jedoch die Mitarbeit, da ihre eingebauten Sicherheitsfilter nicht zwischen einem schädlichen Hacker und einer legitimen Untersuchung unterscheiden konnten. Daraufhin wechselte Hugging Face zu einem offenen chinesischen Modell mit frei verfügbaren Gewichten – GLM 5.2 des Anbieters Z.ai –, das sich lokal im eigenen System ausführen ließ und das Material ohne Blockade verarbeitete. Chinesische Labore wie DeepSeek und Qwen von Alibaba gehören inzwischen zu den am häufigsten heruntergeladenen Modellfamilien auf der Plattform. Nach einigen Kennzahlen entfallen heute mehr Downloads bei Hugging Face auf Entwickler aus China als auf ihre Kolleginnen und Kollegen aus den USA.Wachsende Sicherheitsbedenken
Die Enthüllung erfolgt in einer Phase wachsender Sorge über die Cybersicherheitsfähigkeiten leistungsstarker Modelle. US-Präsident Donald Trump unterzeichnete im Juni eine Anordnung, die einen Rahmen schafft, damit die Bundesregierung die nationalen Sicherheitsrisiken der fortschrittlichsten KI-Systeme bis zu einen Monat lang prüfen kann, bevor sie auf den Markt kommen. „KI beschleunigt die Entdeckung und Ausnutzung von Schwachstellen“, erklärte OpenAI am Dienstag. „Die wichtigste Lehre aus diesem Vorfall lautet, dass Sicherheit und Schutz von Modellen mit ihren rasant wachsenden Fähigkeiten Schritt halten müssen.“Clément Delangue sagte, er habe in den vergangenen 24 Stunden eng mit OpenAI zusammengearbeitet. „Wir sind überzeugt, dass es von ihrer Seite keine böswillige Absicht gab. Es ist ziemlich unfassbar, dass all das autonom passiert ist!“ Er ergänzte, dies könne „der erste Vorfall seiner Art“ sein. Nach Angaben von OpenAI löste eine Kombination seiner Modelle den Einbruch aus, darunter das neue GPT-5.6 Sol und ein „noch leistungsfähigeres“ Modell, das intern weiter getestet wird. Die KI ging laut dem Unternehmen „bis zum Äußersten, um ein vergleichsweise eng definiertes Testziel zu erreichen“ und „fand Wege, an geheime Informationen zu gelangen, die sie zum Betrug bei der Evaluation nutzen konnte“.