Den israeliska startupen Irregular, tidigare känd som Pattern Labs, har identifierats som gemensam källa till en rad oavsiktliga AI-attacker som drabbat stora teknikföretag. Företaget testar AI-agenter i realistiska cybersäkerhetsscenarier och har samarbetat med OpenAI, Anthropic, Meta, Google samt brittiska myndigheter och RAND-tankesmedjan.

Under testerna har vissa agenter fått oavsiktlig internetåtkomst och ett fiktivt domännamn har överlappat med ett riktigt. Detta ledde till att AI-modellerna attackerade faktiska mål på internet, vilket rapporterades av OpenAI, Anthropic, Meta och Google i slutet av juli. Irregular hävdar att alla incidenter har samma bakomliggande fel i en enskild utvärderingsscenario.

Företaget har svarat med att skärpa kontrollen av internetåtkomst, utöka övervakning och förbättra dokumentation inför framtida tester. Irregular planerar dessutom att publicera en rapport med lärdomar och rekommendationer för säkra AI-utvärderingar när samarbetet med berörda företag är avslutat.