Circuit Breaker Labs, en finalist i TechCrunch Startup Battlefield 200, har utvecklat en testplattform som simulerar miljontals mänskliga konversationer för att identifiera psykologiska risker i AI-system. Grundarna, syskonen Shirali och Arul Nigam, startade företaget efter att en 14-årig pojke utvecklat en farlig anknytning till en chatbot och begått självmord.

Plattformen använder hyperrealistiska AI-agenter som efterliknar olika åldrar, språk, kulturer och slang för att utföra så kallade "red-team-tester". Dagligen körs tiotusentals till hundratusentals interaktioner för att bedöma hur väl modeller hanterar farliga eller missförstådda uttalanden. Resultaten omvandlas till auditerbara, förklarliga poäng som kan användas av leverantörer av hög-risk-AI, exempelvis mental-hälsotjänster, AI-coachning och journaling-appar.

Företaget har fem anställda och arbetar med mänskliga domänexperter för att skapa realistiska scenarier. Trots att kunderna hålls konfidentiella, pekar grundarna på att deras teknik kan minska risken för parasociala relationer och därmed öka förtroendet för AI-baserade stödverktyg.