U suradnji s Googleom, ukupno 25 tehnoloških i medicinskih stručnjaka iz akademskih i zdravstvenih organizacija preuzelo je na sebe katalogiziranje i analizu medicinskih halucinacija u temeljnim modelima umjetne inteligencije.

Njihov rad Medical Hallucinations in Foundation Models and Their Impact on Healthcare dolazi s pratećim repozitorijem na GitHubu.

Testovi sposobnosti kliničkog zaključivanja pet velikih jezičnih modela opće namjene nisu polučili sjajne rezultate. Najmanje halucinacija bilo je kod predviđanja dijagnoza, najviše kod razumijevanja laboratorijskih podataka.

Veliki jezični modeli mogu se nositi s prepoznavanjem uzoraka i dijagnostičkim zaključivanjem unutar medicinskih izvješća o slučajevima, ali se bore s temeljnijim zadacima točnog izdvajanja i sintetiziranja detaljnih činjeničnih i vremenskih informacija izravno iz kliničkog teksta.

Među modelima opće namjene, Anthropicov Claude-3.5 i OpenAI-jev o1 imali su najniže stope halucinacija. Ipak, čak i modeli s najboljom izvedbom moraju biti pažljivo nadzirani za kliničke zadatke, a u proces moraju biti uključeni ljudi.

Anketa koju su proveli među liječnicima pokazala je kako većina alate umjetne inteligencije koristi svakodnevno ili nekoliko puta tjedno.

Manje od pola ispitanika izrazilo je visoku razinu povjerenja u rezultate modela umjetne inteligencije. 91,8 posto njih susrelo se s medicinskom halucinacijom u svojoj kliničkoj praksi, a 84,7 posto smatra kako halucinacija koju su iskusili potencijalno može utjecati na zdravlje pacijenta.

Istraživači su upozorili kako je hitno potrebno donijeti propise koji će, između ostalog, razjasniti pravnu odgovornost za pogreške.