En studie av Läkartidningens medicinska redaktör Pelle Gustafson testade fem populära AI-drivna chattbottar – Gemini, Deepseek, Meta AI, ChatGPT och Grok – med 50 frågor inom cancer, vacciner, stamceller, nutrition och fysisk träning. Svaren granskades av människor för kvalitet, referensangivelse, läsbarhet och om botten uttryckte tvekan eller avstod.

Resultaten visar att hälften av svaren var problematiska: 30 % bedömdes som delvis problematiska och 20 % som starkt problematiska. Ingen bot skiljde sig signifikant, men Grok levererade fler problematiska svar än förväntat. Endast två av 250 svar avvisades helt, och bara 40 % av de angivna referenserna var helt korrekta – ingen bot lyckades producera en felfri referenslista.

Läsbarheten var låg, motsvarande gymnasienivå enligt Flesch-testet, och svaren presenterades med hög trovärdighet oavsett underliggande evidens. Botarna fabricerade ofta felaktiga eller osäkra svar och föredrog att hallucinerar framför att säga "jag vet inte".

Studien pekar på betydande risker med att förlita sig på AI-chattbottar för medicinsk information utan noggrann granskning.