Flera IT-chefer luras av leverantörer som påstår att deras AI-verktyg har "human-in-the-loop"-kontroller, men experter menar att dessa ofta bara är formaliteter. Doug Shepherd från Cloudflare förklarar att en mänsklig aktör måste kunna stoppa eller ändra AI-beslut, annars är den bara en passiv observatör. Han varnar för att många organisationer saknar sådana befogenheter och därför får en falsk trygghet.

Darren Kimura, vd för AI-integrationsplattformen AI Squared, pekar på samma problem: personer kan flagga ett beslut men har ingen möjlighet att avvisa eller eskalera det. Han föreslår att IT-chefer ställer konkreta frågor om granskarnas möjlighet att stoppa, ändra och logga överstyrningar. Utan positiva svar är "human-in-the-loop" bara en övervakning utan verklig kontroll.

Eric Billingsley från Trust Scale lyfter fram beslutsutmattning när medarbetare tvingas granska för många AI-rekommendationer. Även erfarna granskare kan slappna av när AI-systemet är rätt 95 % av gångerna, vilket leder till att de godkänner felaktiga resultat utan kritiskt tänkande. Han föreslår att "human-in-the-loop"-system testas och loggas på samma sätt som andra säkerhetskontroller.

Robert Blumofe, CTO på Akamai, menar att tekniska skyddsåtgärder bör komplettera eller ersätta mänsklig övervakning. Automatiserade test- och valideringsverktyg kan flagga problem och pausa AI-processer, vilket minskar beroendet av opålitlig mänsklig granskning. Sammanfattningsvis krävs tydlig befogenhet, expertis och bevis på faktisk kontroll för att "human-in-the-loop" ska fungera i praktiken.