Sad veliki jezični modeli otkrivaju pogreške drugih velikih jezičnih modela
Generiranje sadržaja koji je netočan ili besmislen trenutno je gorući problem. U tijeku je utrka tko će naći način kako što preciznije otkriti i eliminirati takve sadržaje.
Istraživači u računarstvu i lingvistici osmislili su novi način otkrivanja pogrešaka u velikim jezičnim modelima (large language model, LLM).
Na tome su zaposlili - druge LLM-ove.
Primjena statističkog strojnog učenja na jezike u sve većem opsegu postala je popularna kod dobavljača tehnologije i investitora. Ali, takvi su jezični modeli skloni pogreškama, koje se naziva i halucinacijama.
Generiranje sadržaja koji je netočan ili besmislen trenutno je gorući problem. U tijeku je utrka tko će naći način kako što preciznije otkriti i eliminirati takve sadržaje.
U članku objavljenom u časopisu Nature, Sveučilište Oxford, istraživač DeepMinda Sebastian Farquhar i kolege predložili su metodu za
kvantificiranje stupnja halucinacija koje generira LLM. uz prikaz koliko bi generirani sadržaj mogao biti točan.
Studija je nastojala riješiti podskup halucinacija poznatih kao konfabulacije, odgovor koji može biti netočan i proizvoljan, za koji istraživači kažu da se svodi na nedostatak znanja.
Novi pristup može pronaći konfabulacije u biografijama koje je izradio LLM i u odgovorima na pitanja o trivijalnostima, općem znanju i znanostima o životu.
Istraživački tim pokušao je iskoristiti učinak LLM-a na jednom od ovih zadataka kako bi otkrio halucinacije kod drugog LLM-a, oslanjajući se na logičko zaključivanje.
Ali, nisu stali na tome, već su angažirali i treći LLM-a za potvrđivanje nalaza drugog.
Otkrili su kako do čitave klase konfabulacijaa dolazi zbog nedovoljne količine informacija, što može biti korigirano prilagođavanjem upita, između ostalog.
