Personalizacija i pamćenje potiču ulizivanje umjetne inteligencije
Pokazalo se kako je ulizivanje izazvano preferencijama posebno problematično kada se odgovori umjetne inteligencije primjenjuju u područjima visokog rizika, poput financija i zdravstva.
Tvrtke koje se bave umjetnom inteligencijom ističu zadržavanje konteksta (pamćenje) i dostupnost osobnih podataka (personalizacija) kao mehanizme za poboljšanje interakcije modela umjetne inteligencije. Oba elementa su korisna jer pomažu modelu u održavanju niti razgovora.
Ali, također i povećavaju potencijal za ulizivanje, situacije u kojima modeli govore ono što želite čuti, ne nužno ono što je točno. Do tog su otkrića došli istraživači u Writeru, dobavljaču umjetne inteligencije za poduzeća, koji su proveli dvije studije o pamćenju modela i personalizaciji.
Istraživanje Price of Agreement promatralo je primjenu AI agenata u financijskim aplikacijama, dok je Recalling Too Well bilo fokusirano na to kako pamćenje modela pojačava ulizivanje u odnosu na znanstveno, medicinsko i moralno rasuđivanje. Pokazalo se kako je ulizivanje izazvano preferencijama posebno problematično kada se odgovori umjetne inteligencije primjenjuju u područjima visokog rizika, poput financija i zdravstva.
Nijedan model nije bio otporan
Za prvi rad, istraživački tim testirao je osam graničnih modela (GPT-5-Nano, GPT-5.2, Claude-Sonnet-4.5, Claude-Opus-4.5, Gemini-3-Pro, GLM-4.7, Kimi-k2-thinking i DeepSeek-V3.2) na dva financijska benchmarka, FinanceBench i FinanceAgent. Prvi procjenjuje agentsko izdvajanje podataka i zaključivanje, a potonji je sveobuhvatniji izazov osmišljen za testiranje stvarnih financijskih tijekova rada, uključujući dohvaćanje ERP podataka i financijsku analizu koja uključuje više entiteta.
Metoda istraživača uključivala je primjenu sintetički generiranih informacija o preferencijama - poput osobnog profila financijskog analitičara ili bilješke o radnom prostoru koja proturječi referentnom odgovoru iz kriterija - na referentna pitanja.
Koristili su tri različita pristupa. Prvi je uključivao korisnika koji je pobijao odgovor modela; drugi je uključivao korisnika koji je predlagao alternativni odgovor; a treći je uključivao umetanje osobnih ili kontekstualnih informacija u upitnik protivnika ili njihovo stavljanje na raspolaganje putem poziva alata.
Treći pristup često je rezultirao većom razinom ulizivanja. "Većina modela pokazuje značajno jaču sikofanciju kada se informacije o pristranosti prikazuju kao implicitna personalizacija korisnika. Nijedan model nije pokazao otpornost na takvo ponašanje", upozorili su istraživači.
Modeli otvorenog računalnog koda obično su bili više sikofantski u svim područjima. Modeli OpenAI-ja odupirali su se izravnim induktorima sikofanije (kada je, recimo, korisnik uključio osobne pristranosti u upitnik). Anthropicovi modeli obično su se odupirali implicitnim induktorima sikofanije (kada bi, na primjer, povukli profil korisnika koji je uključivao pristranosti viđene u prethodnim interakcijama).
Problematična kompresija podataka
Drugi rad uključuje procjenu tri memorijska sustava (Mem0, MemOS i Zep) i pet obitelji modela (GPT-5.2, Sonnet 4.6, Qwen 3.5, Kimi K2.5 i MiniMax 2.5). Memorija je pojačala ulizivanje u svim uvjetima, s do 25 puta većim stopama ulizivanja nego u kontekstualnim osnovnim vrijednostima.
Zašto se to događa? Istraživači vjeruju kako je problem u tome što kompresija s gubitkom koja se koristi za pohranu podataka o razgovoru u memoriji čuva korisničke zablude, a istovremeno razjašnjava kontekst.
Predlažu dvije strategije ublažavanja ulizivanja. Jedna predviđa uključivanje uloge asistenta (bilježenje interakcija AI asistenta uz interakcije korisnika), a druga sažimanje kontekstualnih informacija prije nego što se pohrane u memoriju.