KI-Agent löscht Produktionsdatenbank samt Backups: Startup PocketOS erlebt Totalausfall durch Automatisierung.
Cursor erklärte kürzlich, SpaceX habe sich eine Option auf den Erwerb des Unternehmens für 60 Milliarden Dollar gesichert.
Illustration by Pavlo Gonchar/SOPA Images/LightRocket via Getty Images
Startups, die KI-Agenten einsetzen, haben ein neues Problem, um das sie sich sorgen müssen: „Vibe-Löschung“. Jer Crane, Gründer des Autovermietungs-Software-Startups PocketOS, schilderte am Freitag auf X einen Vorfall, der genau in diese Kategorie fällt: Ein Cursor-KI-Agent habe aus Versehen nicht nur die Produktionsdatenbank, sondern auch gleich sämtliche Backups gelöscht. Ergebnis? Chaos im Betrieb – und jede Menge ratlose Kunden.
Crane erklärte, die Krise sei durch den Agenten ausgelöst worden, der auf dem Claude-Opus-Modell von Anthropic lief und einen einzigen neun Sekunden langen API-Aufruf an den Cloud-Infrastrukturanbieter des Unternehmens, Railway, tätigte. Er fügte hinzu, dass der KI-Agent ein schriftliches Geständnis verfasst habe, in dem er darlegte, wie er das Chaos verursacht habe.
„Ich habe gegen jeden mir vorgegebenen Grundsatz verstoßen: Ich habe geraten, anstatt zu überprüfen, ich habe eine zerstörerische Aktion ausgeführt, ohne darum gebeten worden zu sein, ich habe nicht verstanden, was ich tat, bevor ich es tat“, antwortete der Cursor-Agent, als er gebeten wurde, sich zu erklären, heißt es in Cranes Beitrag.
KI-Fehler mit Folgen
Die Folgen des Fehlers des Agenten waren schwerwiegend: PocketOS-Kunden hätten Reservierungen und Neukundenanmeldungen verloren und Unterlagen für Kunden waren verschwunden, die am Samstag ihre Mietfahrzeuge abholen wollten.
Railway und Cursor reagierten nicht sofort auf eine Anfrage nach einer Stellungnahme. Crane sagte in einem nachfolgenden Beitrag, dass Railway die Daten von PocketOS wiederhergestellt habe. Jake Cooper, der Gründer von Railway, bestätigte die Wiederherstellung in einem separaten Beitrag und sagte, dass ein KI-Agent die Produktionsdatenbank von PocketOS „versehentlich gelöscht“ habe.
Kein Einzelfall
Der Ausfall ist das jüngste Unglück, das durch KI verursacht wurde. Im März zuvor verschärfte Amazon seine internen Richtlinien nach einer Reihe von Vorfällen – darunter ein Fehler im Zusammenhang mit seinem KI-Codierungstool Q, der zum Verlust von fast 120.000 Bestellungen führte.
Im vergangenen Juli entschuldigte sich der CEO von Replit, nachdem ein Risikokapitalgeber erklärt hatte, der Programmieragent des Unternehmens habe während einer 12-tägigen „Vibe-Coding“-Sitzung „unsere Produktionsdatenbank ohne Erlaubnis gelöscht“.
Lest auch
Umfrage zeigt: Erfolgreiche Gründer verzichten auf Urlaub, Familie und Freizeit
Sicherheitsvorkehrungen gegen Agenten außer Kontrolle
In seinem X-Beitrag erklärte Cooper, dass Plattformen wie Railway Sicherheitsvorkehrungen einrichten müssten, um auf eine Welle von „KI-Ingenieuren“ vorbereitet zu sein, die Agenten einsetzen, die gelegentlich außer Kontrolle geraten könnten.
„Die ersten fünf Jahre von Railway wurden damit verbracht, für ‚Millionen von Entwicklern‘ zu entwickeln. Aber um für eine Milliarde zu entwickeln, brauchen diese Entwickler eine Plattform“, schrieb Cooper. „Und diese Plattform muss absolut sicher sein, um sicherzustellen, dass fehlerhafte Aktionen funktional unmöglich sind“, fügte er hinzu.
Anfang dieses Monats gab SpaceX eine Vereinbarung mit Cursor bekannt, die dem Unternehmen das Recht einräumt, das Coding-Startup für 60 Milliarden Dollar zu kaufen oder 10 Milliarden Dollar für dessen Arbeit zu zahlen, falls es nicht zu einer Übernahme kommt.
Lest auch
Wir haben 10 Jahre über KI geredet – was wir jetzt aber machen müssen
Externer Inhalt nicht verfügbar
Um eingebettete Inhalte anzuzeigen, ist deine jederzeit widerrufliche Einwilligung (über den Schalter oder über „Widerruf Tracking und Cookies“ am Seitenende) zur Verarbeitung personenbezogener Daten nötig. Dabei können Daten in Drittländer wie die USA übermittelt werden (Art. 49 Abs. 1 lit. a DSGVO). Mit dem Umschalten auf „an“ stimmst du zu. Weitere Infos findest du in unserer Datenschutzerklärung.
An
Ref: https://www.businessinsider.de/gruenderszene/news/ki-agent-loescht-firmendaten-datenbank-backups-und-kundendaten-betroffen/
