En nyligen publicerad studie i Nature Medicine där kliniska AI-system som OpenEvidence och UpToDate Expert AI jämfördes med allmänna språkmodeller (LLM) har väckt stor uppmärksamhet inom klinisk AI-världen. Studien visade på skillnader i prestation mellan de olika systemen, men resultaten har också lett till en diskussion om svårigheterna med att benchmarka kliniska AI-modeller.

Enligt experter är det viktigt att inte dra för snäva slutsatser från enstaka benchmark-test, eftersom de inte alltid ger en rättvisande bild av en modells förmåga. Istället bör man se benchmarking som ett verktyg för att förbättra och utveckla AI-modellerna.

Det är också viktigt att förstå att kliniska AI-modeller utvecklas och förbättras kontinuerligt, och att benchmarking bör ske med hänsyn till de specifika behoven och kraven inom vården.

Vad innebär detta för svensk vård? Det är viktigt att svenska vården är medveten om utmaningarna med att benchmarka kliniska AI-modeller och att man använder benchmarking som ett verktyg för att förbättra och utveckla AI-modellerna, snarare än att dra för snäva slutsatser från enstaka test.