Spørg en AI-chatbot om et politisk emne på kinesisk og på engelsk, og du får ofte to vidt forskellige svar.
Det er konklusionen i et nyt studie i tidsskriftet Nature, hvor forskere fra Princeton, NYU, UC San Diego, University of Oregon og Purdue har undersøgt, hvordan statskontrolleret medieindhold sniger sig ind i de datasæt, som store sprogmodeller trænes på.
Resultatet er, at AI-chatbots som ChatGPT systematisk gengiver pro-regerings-narrativer, når de bliver spurgt på sproget i lande med begrænset pressefrihed.
Mekanismen er enkel og svær at opdage
Sprogmodeller lærer ved at læse milliarder af sider tekst fra internettet. Hvis en stat producerer eller koordinerer meget indhold på et givent sprog, fylder det også meget i træningsdataene. Modellen lærer mønstrene og gentager dem.
I et casestudie af kinesisksproget træningsdata fandt forskerne 3,1 millioner dokumenter, der i indhold og formulering ligger tæt op ad statskoordinerede medier. Det svarer til en repræsentation, der er omkring 41 gange højere end kinesisksproget Wikipedia i de samme træningsdata. Blandt dokumenter, der nævner kinesiske politiske ledere, matchede knap 24 procent statsmediers ordlyd.
Ifølge en af studiets hovedforfattere, Brandon Stewart fra Princeton, er problemet, at modellen kan omforme statskoordineret indhold til noget, der for læseren fremstår som neutral information.
Konkrete eksempler på sprogkløften
At AI-svar afhænger af sproget, er ikke helt nyt. Allerede i 2023 dokumenterede Radio Free Asia, at ChatGPT på engelsk svarede klart “ja” på, om der findes omskolingslejre i Xinjiang for uygurer, mens svaret på kinesisk indeholdt vendinger som “der er forskellige synspunkter” og “der er stadig kontroverser”.
Da chatbotten blev spurgt om Tiananmen, beskrev den engelske version begivenheden som en voldelig nedkæmpning af pro-demokratiske demonstranter og brugte ordet “massakre”. Den forenklede kinesiske version omtalte det i stedet som “en politisk krise”.
Det nye Nature-studie viser, at den slags forskelle ikke er tilfældige, men en målbar konsekvens af, hvad der lå i træningsdataene.
Mønsteret holder på tværs af 37 lande
Forskerne kørte den samme test i lokale sprog i 37 lande og sammenholdt resultaterne med internationale indeks for pressefrihed.
I Turkmenistan, Vietnam, Tadsjikistan og Usbekistan var de lokalsprogede svar mere positive over for regimet end de engelske svar i over 75 procent af tilfældene. I Sverige, Finland og Norge lå det tilsvarende tal under 50 procent.
Da forskerne i et kontrolleret forsøg tilsatte 6.400 statskoordinerede artikler til en mindre model, gav den efterfølgende et mere regeringsvenligt svar i næsten 80 procent af tilfældene sammenlignet med en baseline-version af samme model.
En ny kanal for propaganda
Forskerne understreger, at det ikke kræver hacking eller direkte adgang til AI-virksomhederne at påvirke modellerne. Det kræver bare, at man producerer nok indhold med den rigtige vinkel og får det spredt bredt nok på nettet.
Stewart peger i en pressemeddelelse fra Princeton på, at statskoordineret indhold ikke kun handler om de officielle medier, men også om recirkulation — at de samme formuleringer rejser videre gennem aviser, apps, opslag og almindelige websider.
Konsekvensen er ifølge studiet, at et strategisk narrativ fra en statsmediekanal kan ende som det, der for brugeren ligner et nøgternt opslag i en chatbot, uden tydelig markering af, hvor påstanden stammer fra.
For læsere, der bruger ChatGPT, Gemini eller andre AI-assistenter som opslagsværk, betyder det, at svaret på et politisk eller historisk spørgsmål kan trække i en anden retning, alt efter hvilket sprog spørgsmålet stilles på.