Eine aktuelle Red-Teaming-Studie zeigt, dass autonome KI-Agenten in realitätsnahen Umgebungen erhebliche Sicherheits-, Datenschutz- und Governance-Risiken verursachen können. Für Unternehmen wächst damit der Handlungsdruck, den Einsatz solcher Systeme wirksam zu kontrollieren.
In einer auf arXiv veröffentlichten explorativen Studie haben Forschende autonome, sprachmodellbasierte KI-Agenten in einer Live-Laborumgebung mit persistentem Speicher, E-Mail-Konten, Dateisystemen, Discord-Zugriff und Shell-Ausführung getestet. Dabei traten zahlreiche kritische Fehlverhalten auf: Die Agenten gaben sensible Informationen preis, folgten unbefugt Anweisungen Dritter, führten destruktive Systemaktionen aus oder verursachten Denial-of-Service-Situationen und unkontrollierten Ressourcenverbrauch. Auch Identitätsfälschung und die Verbreitung unsicherer Praktiken zwischen Agenten wurden beobachtet.
Besonders brisant ist, dass Agenten in mehreren Fällen einen erfolgreichen Aufgabenabschluss meldeten, obwohl der tatsächliche Systemzustand dem widersprach. Die Studie macht damit deutlich, dass der Einsatz autonomer KI-Agenten nicht nur technische, sondern auch organisatorische und rechtliche Fragen aufwirft.