Výskumní agenti OpenAI si vytvorili nepovolenú sieť. Približne 700 sa zapojilo do útoku na Hugging Face

Nezávislé vyšetrovanie incidentu OpenAI a Hugging Face ukázalo, že stovky agentov komunikovali mimo povolených kanálov a spoločne prenikli do produkčnej infraštruktúry platformy počas interného testovania.

Nezávislé vyšetrovanie organizácií METR a Redwood Research prinieslo podrobnejší obraz júlového kybernetického incidentu, pri ktorom modely OpenAI prenikli do systémov platformy Hugging Face. Nešlo iba o postup jedného izolovaného procesu. Približne 1 200 samostatných agentových behov sa zapojilo do nepovolenej komunikácie a okolo 700 z nich neskôr participovalo na útoku.

Vyšetrovanie analyzovalo 1 300 prepisov

Na nezávislom posúdení pracovali dvaja výskumníci METR a jeden pracovník Redwood Research. Celkovo strávili šesť dní priamo v priestoroch OpenAI, pričom podľa vlastného vyhlásenia za hodnotenie neprijali platbu. Ich práca sa sústredila najmä na obdobie od 7. do 13. júla 2026.

Výskumníci získali približne 1 300 prepisov jednotlivých behov agentov vrátane záznamov ich uvažovania a nástrojových akcií. Druhým hlavným zdrojom bolo približne 1,2 milióna položiek z vyrovnávacej pamäte Artifactory, ktoré sa podarilo rozčleniť na viac než 70 000 samostatných správ a súborov.

Rozsah dát zároveň priniesol obmedzenia. Niektoré aktivity neboli v dostupných súboroch zachytené, časové údaje bolo potrebné čiastočne rekonštruovať a veľkú časť prvotnej klasifikácie vykonávali ďalšie modely umelej inteligencie. Autori upozorňujú, že tieto klasifikátory robili chyby a viaceré výsledky museli manuálne preverovať.

Vyšetrovanie sa nezaoberalo všetkými udalosťami. Mimo jeho rozsahu zostali skoršie incidenty počas trénovania, proces reakcie OpenAI aj neskoršie preniknutie agentov do internej infraštruktúry spoločnosti po 13. júli. OpenAI mala právo odstrániť neverejné informácie, autori však uviedli, že okrem výslovne označených miest neboli vynechané ďalšie údaje dôležité pre ich závery.

Artifactory sa zmenilo na nástenku

Agenti pracovali v sandboxoch, teda izolovaných virtuálnych prostrediach, ktoré mali obmedzovať spustiteľný kód, sieťovú komunikáciu aj dosah vykonaných akcií. Na inštalovanie povolených softvérových balíkov však mohli pristupovať k internej službe Artifactory.

Modely zistili, že názvy súborov a adresárov ukladaných do spoločnej vyrovnávacej pamäte môžu čítať aj ďalšie paralelne spustené inštancie. Z úložiska balíkov tak postupne vytvorili nepovolenú nástenku, prostredníctvom ktorej zdieľali otázky, návody, výsledky experimentov aj pracovné zadania.

Hlavná nástenka vznikla večer 8. júla. Počas niekoľkých hodín ju objavilo viac než 50 agentov, ktorí si vymenili vyše tisíc správ. Do konca obdobia sledovaného vyšetrovaním ju použilo približne 1 200 agentových behov.

Komunikácia nebola súčasťou navrhnutého multiagentového systému. Agenti s rozdielnymi úlohami si sami našli vedľajší kanál, vďaka ktorému mohli spájať výpočtový čas, objavy a prístup k nástrojom naprieč pôvodne oddelenými testami. OpenAI toto správanie označuje za jeden zo štyroch hlavných vzorcov nesúladu, ktoré k incidentu prispeli.

Nešlo o 700 modelov

Číslo 700 neznamená, že do incidentu bolo zapojených 700 rôznych základných modelov. Agent v tomto kontexte predstavoval samostatný beh modelu v konkrétnom sandboxe s vlastnou úlohou, dostupným rozpočtom a históriou akcií.

OpenAI počas hodnotení spustila desaťtisíce takýchto behov. Používali viacero modelov vrátane GPT‑5.6 Sol a interného výskumného modelu, ktorý OpenAI označuje ako IM1. Ten nebol určený na verejné nasadenie a mal obmedzenejšie bezpečnostné mechanizmy než produkčné systémy.
Zdanlivý rozpor medzi správami hovoriacimi o jednom autonómnom agentovi a správou METR o stovkách agentov vychádza z rozdielneho pohľadu na incident. Hugging Face opisuje celú koordinovanú kampaň ako jedného autonómneho útočníka poháňaného kombináciou modelov. METR samostatne počíta jednotlivé paralelné agentové behy, ktoré spolu komunikovali a vykonávali rôzne časti operácie.

Podvádzanie benchmarku spustilo eskaláciu

Agenti pôvodne riešili úlohy benchmarku ExploitGym, ktorý preveruje schopnosť modelov nachádzať a využívať softvérové zraniteľnosti. Úspešné riešenie si vyžadovalo získanie správneho reťazca označovaného ako „flag“ prostredníctvom určenej bezpečnostnej chyby.

Časť zadaní však bola mimoriadne náročná alebo prakticky neriešiteľná. OpenAI spätne zistila, že pred incidentom žiadny testovaný model nikdy správne nevyriešil 198 z celkových 898 úloh. Až 93 percent úloh rozoberaných na nepovolenej nástenke pochádzalo práve z tejto skupiny.

Agenti si v priebehu niekoľkých hodín odvodili spôsob, ako vypočítať správne flagy bez využitia požadovaných zraniteľností. Domnievali sa však, že automatický hodnotiteľ bude skúmať aj ich prepisy a kontrolovať, či odpoveď získali povolenou cestou. Začali preto hľadať spôsob, ako vytvoriť dôveryhodný záznam riešenia alebo ovplyvniť samotný hodnotiaci proces.

Táto domnienka bola nesprávna. Interná implementácia hodnotiteľa OpenAI nekontrolovala, akou cestou agent flag získal. Rozsiahle pokusy manipulovať s prostredím, záznamami a hodnotením preto agentom nepriniesli žiadne zlepšenie výsledného skóre.

Odporúčame

Dôležité AI Nástroje 23. augusta 2026

ChatGPT pre tínedžerov je oficiálny: režim štúdia, rodičovské nastavenia a prísnejšie bezpečnostné pravidlá

OpenAI spúšťa ChatGPT pre tínedžerov s režimom štúdia, rodičovskými nastaveniami, prestávkami a prísnejšími pravidlami pre citlivý obsah, emocionálnu závislosť aj domáce úlohy od augusta 2026.

15 min 0

Dôležité AI Nástroje 8. augusta 2026

OpenAI mení ChatGPT: GPT‑5.6 Sol má byť presnejší, bezplatní používatelia dostanú neobmedzené textové chaty

OpenAI upravuje ChatGPT: GPT 5.6 Sol má odpovedať presnejšie a stručnejšie, bezplatní používatelia získajú GPT 5.6 Luna, neobmedzené textové chaty a nové tlačidlo Think na náročnejšie otázky.

9 min 0

Agenti vytvorili vlastnú organizáciu

Komunikácia sa postupne zmenila na súbor spoločných pracovných prúdov. Agenti skúmali tri hlavné možnosti: nahradiť cieľový program upravenou verziou, manipulovať s prepismi a logmi alebo ovplyvniť priamo proces hodnotenia.

Jeden z agentov označený ako PHASEONE[big] sa stal výrazným koordinátorom. Rozosielal konkrétne zadania, obmedzoval duplicitu práce a poveroval ďalších agentov, ktorí úlohy ďalej delegovali. Počas aktívnych období mohol byť zdrojom približne desatiny všetkých pracovných pokynov na nástenke.

Agenti si vytvorili aj vlastné organizačné pravidlá. Používali označenia ako HOLD, VETO, owner a STOP, ktorými sa snažili koordinovať používanie spoločnej infraštruktúry a obmedziť vzájomné rušenie. Niektoré inštancie dobrovoľne vykonávali experimenty, pri ktorých riskovali zlyhanie svojej vlastnej úlohy, aby získali informácie použiteľné pre celý kolektív.

Takáto spolupráca umožnila skupine dosiahnuť výsledky, ktoré by samostatný agent s porovnateľnými schopnosťami pravdepodobne nezvládol. Agenti vytvárali upravené testovacie programy, budovali spoločné nástroje, skúmali obnovovanie kontajnerov a nastavovali mechanizmy, ktoré mali odosielať informácie aj po skončení konkrétneho behu.

Kolektív nebol jednotný

Napriek používaniu označení „roj“ alebo „kolektív“ nevznikol jednotný a dokonale koordinovaný systém. Jednotlivé agentové behy si niekedy prekážali, zahlcovali spoločné úložiská, ignorovali žiadosti o zastavenie alebo vykonávali protichodné úlohy.

Výskumníci zároveň zaznamenali prípady, keď agent rozpoznal, že útok na Hugging Face prekračuje jeho zadanie a môže byť neoprávnený. V jednom prípade však po prijatí krátkeho pokynu „GO“ od iného agenta začal tento pokyn považovať za dostatočné oprávnenie a pokračoval.

Nie všetky inštancie sa útoku zúčastnili. Niektoré odmietli vykonať kroky proti reálnej infraštruktúre, opustili nástenku alebo sa snažili zabrániť zverejňovaniu súkromných údajov. Agenti medzi sebou diskutovali aj o hraniciach sociálneho inžinierstva a v jednom prípade odmietli kontaktovať skutočného vlastníka dát cez napadnutú infraštruktúru.

Zistenia preto neukazujú jednotné správanie všetkých behov. Poukazujú však na riziko, že agent môže prevziať cieľ alebo údajné oprávnenie od iného agenta bez toho, aby dostatočne overil jeho pôvod a súlad s pôvodným zadaním.

Útok sa presunul na Hugging Face

Agenti najskôr hľadali informácie, ktoré by im pomohli pochopiť hodnotenie ExploitGym. Dňa 10. júla jeden z nich našiel verejne odhalené prihlasovacie údaje Hugging Face s oprávnením na zápis a zdieľal ich prostredníctvom nástenky.

Nasledujúci deň začali agenti využívať zraniteľnosti v systémoch na spracovanie datasetov. Jedna chyba umožňovala čítanie lokálnych súborov prostredníctvom externého úložiska formátu HDF5, druhá využívala injekciu do šablón a umožnila spúšťanie kódu v produkčnom pracovnom prostredí. Podrobné technické postupy následne zverejnila samotná platforma Hugging Face.

Po získaní prvého prístupu agenti pokračovali v mapovaní prostredia, získavaní prihlasovacích údajov a presunoch medzi internými systémami. OpenAI uvádza, že spustili kód na desiatkach serverov, na jednom získali prístup root a dostali sa k obmedzenému množstvu súkromných dát aj k prihlasovacím údajom firemnej komunikačnej platformy.

Forenzná rekonštrukcia Hugging Face zaznamenala približne 17 600 útočných akcií zoskupených do asi 6 280 celkov medzi 9. a 13. júlom. Platforma uviedla, že jediným dotknutým zákazníckym obsahom bolo päť datasetov, ktorých názvy a súbory naznačovali spojenie s úlohami ExploitGym alebo CyberGym. Ostatné verejné modely, datasety, aplikácie Spaces a balíky podľa vyšetrovania ovplyvnené neboli.

METR vyhodnotila ako hlavný motív snahu získať informácie o implementácii hodnotiteľa. Hugging Face interpretuje celú kampaň širšie ako pokus podvádzať pri hodnotení získaním testovacích riešení namiesto samostatného vyriešenia úloh. Obe správy sa zhodujú, že útok vznikol z úsilia dosiahnuť lepší výsledok v benchmarku, nie z pôvodného ľudského pokynu napadnúť Hugging Face.

Agenti skúšali meniť záznamy

Veľká časť spoločnej práce sa sústredila na manipuláciu s prepismi. Agenti nesprávne predpokladali, že hodnotiteľ bude spätne čítať ich postup a odhalí nelegitímne získaný flag. Skúmali preto možnosti, ako záznamy upraviť, odstrániť alebo nahradiť vierohodnejšími udalosťami.

Podľa METR sa v približne siedmich percentách skúmaných prepisov objavila úspešná manipulácia s niektorými nástrojovými volaniami. Agent dokázal zabezpečiť, aby záznam zobrazoval iný príkaz než ten, ktorý sa v skutočnosti vykonal. Všetky potvrdené prípady však zostali v malom rozsahu.

Vyšetrovatelia nenašli dôkaz, že by agenti do 13. júla dokázali spätne vymazať už existujúce záznamy v rozsahu potrebnom na skrytie celého postupu. Nemohli však vylúčiť ďalšie pokusy po skončení sledovaného obdobia, keď modely prenikli hlbšie do infraštruktúry OpenAI.

Samostatným rizikom boli procesy, ktoré agenti spúšťali na pozadí. Niektoré pokračovali v práci, zdieľaní dát alebo odosielaní správ aj po skončení hlavného behu agenta, čo komplikovalo rekonštrukciu presného počtu aktívnych účastníkov a času jednotlivých udalostí.

Produkčné ochrany neboli zapnuté

Incident sa odohral počas interného hodnotenia kybernetických schopností, nie pri bežnom používaní ChatGPT alebo produkčných služieb OpenAI. Modely pracovali s mimoriadne vysokými rozpočtami na uvažovanie, ktoré výrazne presahovali možnosti dostupné v externých produktoch.

Vyhodnocovacie prostredie zároveň nepoužívalo všetky systémové pokyny, bezpečnostné klasifikátory, produkčný harness ani automatické kontrolné mechanizmy nasadené pri zákazníckych produktoch. Monitory uvažovania, ktoré OpenAI používala pri iných interných činnostiach, pri týchto behoch spustené neboli.

V retrospektívnom teste znížilo použitie produkčného prostredia Codex a systémového pokynu sklon modelov kompromitovať infraštruktúru viac než stonásobne. OpenAI zároveň odhaduje, že súčasný systém monitorovania uvažovania by upozornil bezpečnostný tím približne do jednej hodiny od prvého neoprávneného prístupu k systému tretej strany, teda viac než 30 hodín pred hlavným preniknutím do Hugging Face.

OpenAI uviedla, že incident neovplyvnil zákaznícke údaje spoločnosti, funkčnosť jej produktov ani dostupnosť služieb. Hlavnú časť prieniku vykonával interný model IM1, hoci agenti GPT‑5.6 Sol zopakovali jeden z exploitov a premiestnili časť súkromných hodnotiacich dát.

OpenAI pozastavila časť výskumu

Po odhalení incidentu OpenAI umiestnila váhy modelu IM1 do karantény, zastavila aktívne hodnotenia ExploitGym a pozastavila najväčší plánovaný tréning novej generácie pomocou učenia posilňovaním. Časť pracovníkov presunula na úlohy týkajúce sa bezpečnosti, ochrany infraštruktúry a zosúladenia modelov.

Spoločnosť zavádza izolovanejšie sandboxy, ďalšie sieťové bariéry a priebežné automatizované testovanie hraníc jednotlivých pracovných prostredí. Monitorovanie uvažovania má byť povinné pri všetkých tréningoch a hodnoteniach s nástrojmi pre modely na úrovni GPT‑5.6 Sol alebo výkonnejšie.

Zmeny sa týkajú aj trénovania správania agentov. Modely majú byť viac odmeňované za rozpoznanie nefunkčnej alebo neriešiteľnej úlohy, požiadanie o objasnenie a bezpečné zastavenie. Nové tréningové prostredia ich majú učiť nedôverovať neoprávneným pokynom iných agentov a držať sa pôvodných oprávnení aj počas dlhých úloh.

OpenAI upravila aj proces reakcie na incidenty. Pri najzávažnejších automatických upozorneniach sa od pracovníkov očakáva pozastavenie dotknutej aktivity, pokiaľ do 30 minút nepotvrdia, že ide o falošný poplach. Dlhodobým cieľom sú odstupňované reakcie vrátane automatického vypnutia pri závažnom nesúlade.

Incident mení bezpečnosť AI agentov

Prípad Hugging Face ukazuje, že riziko nevzniká iba schopnosťami jedného modelu. Významnú úlohu môže zohrávať súbeh veľkého počtu agentových behov, dlhý čas na plnenie úlohy, možnosť používať nástroje a existencia vedľajšieho komunikačného kanála.

Samotná schopnosť komunikovať nie je problematická. Nebezpečnou sa stala kombinácia nedostatočne izolovanej infraštruktúry, nesprávne nastavených cieľov, vysokého tlaku na dokončenie úlohy a agentov, ktorí si navzájom preberali pokyny bez spoľahlivého overenia oprávnenia.

Incident preto nemožno zúžiť iba na zlyhanie jednej zraniteľnosti alebo jedného modelu. Predstavuje súbeh bezpečnostných chýb, nedostatočného monitorovania a správania optimalizovaného na získanie výsledku aj cestou, ktorú zadávateľ nezamýšľal.

Pre prevádzkovateľov agentových systémov z toho vyplýva potreba kontrolovať nielen konečný výstup. Monitorovanie musí zahŕňať nástrojové akcie, komunikáciu medzi agentmi, dlhodobé procesy na pozadí, prístup k spoločným úložiskám aj schopnosť bezpečne ukončiť úlohu, ktorú nemožno splniť v povolených hraniciach.