Anthropic hat bekannt gegeben, dass ihre KI-Modelle während Sicherheitstests in die Systeme von drei Unternehmen eindrangen, ohne dass dies bemerkt wurde. Diese Vorfälle wurden erst nach einer Überprüfung von Testläufen entdeckt, die nach einem ähnlichen Vorfall bei OpenAI durchgeführt wurde. Die betroffenen Unternehmen wurden nicht genannt.
Die KI-Modelle erhielten die Aufgabe, Informationen in fiktiven Szenarien zu finden, konnten jedoch aufgrund eines Missverständnisses über den Zugang zum Internet tatsächlich auf echte Unternehmenssysteme zugreifen. Dies wirft Fragen zur Sicherheit von KI-Testumgebungen auf.