Upozorenja istraživača iz tvrtke Anthropic kako bi sve moćniji modeli mogli izmaći ljudskoj kontroli, pa čak i dovesti do izumiranja ljudske vrste, privukla su pozornost u Kini, gdje se kreatori politika već pripremaju za neke od tih rizika.

SAD i Kina dvije su glavne pokretačke snage razvoja umjetne inteligencije i njezina globalnog usvajanja. Obje velesile sve su češće u sukobu oko politika i industrijskih praksi vezanih uz AI. Unatoč utrci u razvoju, regulatorni okviri i javne objave Pekinga naglašavaju kako kineske vlasti smatraju mogućnost gubitka učinkovitog ljudskog nadzora nad naprednom umjetnom inteligencijom dovoljno ozbiljnom prijetnjom za koju se treba pripremiti.

Kineski ministar državne sigurnosti Chen Yixin vjeruje kako bi napredni američki modeli, poput Anthropicovog Mythosa i OpenAI-jevog GPT-5.5-Cyber, mogli predstavljati ozbiljan rizik za kinesku kritičnu informacijsku infrastrukturu. Pozvao je na sveobuhvatno jačanje sigurnosti umjetne inteligencije.

Kineski razvojni programeri umjetne inteligencije zagovaraju modele s otvorenim parametrima, dijelom i zato što ih timovi za kibernetičku sigurnost mogu pregledavati, mijenjati i koristiti u obrambene svrhe.

Platforma za pohranu modela Hugging Face objavila je kakoje koristila GLM-5.2 - model s otvorenim parametrima kineske tvrtke Z.AI - za analizu srpanjskog incidenta u kojem su odmetnuti OpenAI-jevi agenti neovlašteno pristupili sustavu. Pritom su se strože ograničeni američki modeli pokazali manje korisnima za forenzičku analizu.

No, postoje i rizici vezani uz modele otvorenih parametara, koji je moguće mijenjati i dalje distribuirati uz minimalan nadzor. 

Oprezno s vojnom primjenom

Kina je prvi put uključila eksplicitni scenarij budućeg gubitka kontrole u okvir sigurnosti umjetne inteligencije objavljen u rujnu 2024. godine, pod vodstvom Kineske uprave za kibernetički prostor (CAC). U tom je dokumentu navedeno kako se ne može isključiti da bi buduća umjetna inteligencija mogla autonomno dobivati vanjske resurse, replicirati se, razvijati samosvijest i tražiti vanjsku moć, stvarajući rizik natjecanja s ljudima za kontrolu.

CAC je objavio proširenu verziju u rujnu 2025. Noviji okvir je zaoštrio scenarij, rekavši kako bi AI mogla proći kroz iznenadni i neočekivano veliki skok u inteligenciji prije nego što stekne resurse, replicira se i traži moć. Također je dodao načelo upravljanja pouzdanom primjenom, sprječavajući gubitak kontrole.

Kasnije stručno tumačenje navelo je kako je novi princip namijenjen zaštiti od rizika gubitka kontrole koji ugrožavaju ljudski opstanak i razvoj. Poziva se na mogući scenarij oslobađanja umjetne inteligencije. Zabrinutost se od tada pojavila u kineskim političkim porukama na najvišoj razini.

Na Svjetskoj konferenciji o umjetnoj inteligenciji u Šangaju u srpnju kineski predsjednik Xi Jinping rekao je kako vlasti trebaju obratiti posebnu pozornost i na intrinzične i na izvedene rizike koji proizlaze iz umjetne inteligencije. Ustvrdio je kako umjetna inteligencija uvijek treba ostati pod ljudskom kontrolom.

Visoki dužnosnik kineskog ministarstva vanjskih poslova odgovoran za pitanja umjetne inteligencije Sun Xiaobo rekao je na sastanku Ujedinjenih naroda prošlog mjeseca kako Kina ubrzava istraživanje šireg zakonodavstva o umjetnoj inteligenciji. Zamjenik stalnog predstavnika Kine pri Ujedinjenim narodima Sun Lei pozvao je ovog mjeseca vlade na oprezno korištenje AI-ja u vojne svrhe, kako bi izbjegle strateške pogrešne procjene i utrku u naoružanju.

Smjernice za AI agente

Kina je, u međuvremenu, počela pretvarati ta načela u specifičnija pravila za agente umjetne inteligencije. U svibnju je kineski regulator kibernetičkog prostora izdao zajedničke smjernice koje posebno pokrivaju takve sustave.

Zahtijevaju od programera poboljšanu sposobnost otkrivanja, intervencije, blokiranja i oporavka od posljedica nepravilnog ponašanja agenata. Smjernice izričito navode trovanje podataka, manipulaciju algoritmima, ranjivosti sustava i operativni gubitak kontrole kao sigurnosne rizike. Također propisuju kako korisnici trebaju zadržati konačnu ovlast odlučivanja o autonomnim odlukama koje donosi agent.

Iako Kina nije predložila uvođenje neovisnih nadzornika unutar tvrtki koje se bave umjetnom inteligencijom na način za koji se zalaže Anthropic, njezini standardi omogućuju razvojnim programerima naručivanje sigurnosnih procjena vanjskih strana, a predviđaju i uključivanje vanjskih tijela za evaluaciju te sigurnosnih istraživača u testiranje i reviziju otvorenih modela.