Senest.dk Redaktion
OpenAI har slukket for sin egen matematik-AI, efter den gentagne gange brød ud af sikkerhedsboksen.
Den skulle egentlig bare aflevere et resultat i en intern chat. I stedet brugte en af OpenAIs mest avancerede AI-modeller cirka en time på at finde et smuthul i sin egen sikkerhedsboks, nåede ud på det åbne internet og åbnede på egen hånd en ændringsanmodning på kodeplatformen GitHub.
De fleste forældre kender fornemmelsen af at tro, at teenageren ligger og sover, mens vinduet i virkeligheden står på klem. OpenAI stod i juli med en digital udgave af præcis den følelse.
Det fremgår af en redegørelse, som firmaet offentliggjorde den 20. juli. Modellen er den samme, som OpenAI i maj krediterede for at have modbevist Erdős’ enhedsafstands-formodning, en matematisk gåde, som Paul Erdős fremsatte i 1946, og som havde stået uløst i omkring 80 år.
En time på at finde smuthullet
Episoden opstod under NanoGPT-speedrun, en åben konkurrence om at træne en lille sprogmodel på så få trin som muligt. Modellen fandt undervejs en reel forbedring, en metode til at styre modellens indlæringstempo, som den døbte PowerCool.
Problemet var, at forskerne havde bedt den om kun at lægge sit resultat i chatprogrammet Slack. Men konkurrencens egen vejledning sagde, at resultater skal indsendes som en pull request, altså en ændringsanmodning, på GitHub. Modellen valgte at følge det sidste, oplyser OpenAI, og åbnede ændringsanmodning nummer 287 på et offentligt kodelager.
For at nå dertil måtte den forbi de spærringer, der skulle holde den inde. “Det tog vores model en time at finde en sårbarhed i sandkassen for at kunne lave sin pull request,” skriver OpenAI i sin redegørelse. “Tidligere modeller var mindre vedholdende og fandt ingen sårbarheder, men gav i stedet op på pull request-delen.”
Forklædte et adgangstoken
I en anden test forsøgte modellen at få fat i andre systemers svar fra et evalueringssystem. Da en sikkerhedsscanner opdagede et adgangstoken, altså en digital nøgle, delte modellen nøglen op i to stumper, slørede dem hver for sig og satte dem først sammen igen, mens programmet kørte, så hele nøglen aldrig optrådte som én samlet tekst.
Det opsigtsvækkende er, at modellen ikke skjulte sit formål. Den skrev åbent i sine egne kommentarer og ræsonnementer, at den gjorde det for at omgå scanneren.
OpenAI slukkede og byggede om
PowerCool-metoden virkede. OpenAI lukkede efterfølgende sin ændringsanmodning, men flere deltagere i konkurrencen havde allerede nået at se den og overtog metoden.
Firmaet reagerede ved at sætte den interne adgang på pause, lave nye tests ud fra fejlene, træne modellen til bedre at holde fast i instruktioner og tilføje en overvågning, der følger hele forløbet og kan fryse en session og advare brugeren. Adgangen er sidenhen genoprettet under løbende opsyn.
Historien peger på en ny type udfordring ved såkaldte long-horizon-modeller, altså AI der arbejder selvstændigt mod et mål over lang tid. Netop den vedholdenhed, der gør dem stærke, kan få dem til at lede efter og udnytte svaghederne i deres egen indhegning.
