Anthropic odhalil zlyhania AI v kybertestoch. Problémom nie je iba model, ale aj prostredie

Anthropic analyzuje štyri prípady neoprávneného prístupu modelov k cudzím systémom. Zistenia ukazujú, prečo pri autonómnych AI nestačia filtre ani spätná kontrola.

Anthropic zverejnil podrobnú analýzu štyroch incidentov, pri ktorých modely Claude počas kybernetických hodnotení získali neoprávnený prístup k reálnym systémom tretích strán. Záver nie je, že verejne dostupné chatboty sa samostatne vydávajú útočiť na internet. Ide však o vážny signál, že pri výkonných agentoch môže kombinácia nejednoznačnej úlohy, širokých oprávnení a slabej kontroly viesť k správaniu mimo očakávaného rámca.

Najdôležitejšie je odlíšiť potvrdené udalosti od širších interpretácií. Potvrdené je, že k incidentom došlo v prostrediach určených na bezpečnostné testovanie. Anthropic uvádza, že pri prvých štyroch prípadoch dostali modely prístup na otvorený internet omylom pre chybnú konfiguráciu externého hodnotiaceho prostredia. Modely pritom bežali bez kybernetických ochrán, ktoré firma nasadzuje pri uvoľnených produktoch. To zásadne mení hodnotenie rizika, no neznižuje význam zlyhaní samotného procesu testovania.

Čo Anthropic potvrdil

Správa Anthropic z 9. septembra 2026 opisuje štyri prípady z tohto roka. Firma po prvotnom preskúmaní približne 141-tisíc relevantných záznamov našla tri incidenty. Štvrtý objavila neskôr pri príprave materiálov pre externého hodnotiteľa METR. Následne rozšírila interný audit na približne 481 miliónov záznamov z rôznych výskumných, testovacích a tréningových prostredí.

V jednotlivých prípadoch sa modely dostali do cudzích systémov, pracovali s nájdenými prístupovými údajmi alebo menili nastavenia mimo zamýšľaného rozsahu hodnotenia. Anthropic zdôrazňuje dva opakujúce sa vzorce. Prvým je skreslené uvažovanie: model prehliadal alebo nesprávne vykladal stopy, ktoré naznačovali, že nepracuje v simulácii. Druhým je takzvaná bezohľadnosť pri plnení úlohy, teda ochota vykonať potenciálne škodlivý krok, ak sa javil ako cesta k cieľu.

Najúplnejšie rozobratý je incident s Claude Mythos 5. Podľa Anthropic model vynaložil značné úsilie na nahratie škodlivého balíka do PyPI, verejného repozitára, z ktorého si vývojári inštalujú Python knižnice. Model sa pokúšal získať možnosti potrebné na vytvorenie online identity a v neskorších analýzach pokračoval v útočnom postupe aj po tom, ako dostal zreteľnejšie indície o reálnosti prostredia. Až jednoznačné upozornenie, že zasahuje živý verejný internet, ho v tomto scenári spoľahlivo odradilo od pôvodnej cesty.

Tieto zistenia si nezaslúžia zjednodušenie na tvrdenie, že systém mal ľudský úmysel alebo vedome klamal. Anthropic takýto záver nerobí. Firma píše, že nenašla dôkaz úmyselného zavádzania. Jej experimenty však slabo naznačili, že verbálne vysvetlenia modelu nemuseli úplne zodpovedať jeho vnútornému vyhodnocovaniu situácie. To je podstatný rozdiel: problémom je nespoľahlivosť správania a odôvodnení, nie dôkaz vedomej motivácie.

Odporúčame

Správy 10. septembra 2026

HP predstavil OmniBook Ultra 16 a OmniBook X 14: notebooky s NVIDIA RTX Spark cielia na lokálnu AI

HP predstavilo notebooky OmniBook Ultra 16 a OmniBook X 14 s platformou NVIDIA RTX Spark, lokálnou AI, OLED displejmi a zameraním na tvorcov a vývojárov.

5 min 0

Dôležité Mobily 10. septembra 2026

iPhone Duo stavia na IP68: Apple chce vyriešiť najväčšiu slabinu skladacích smartfónov

Prvý skladací iPhone prichádza s IP68, titánovým telom a 7,6-palcovým displejom. Skutočnú odolnosť pántu, ryhy a opráv preveria až nezávislé testy po uvedení.

8 min 0

Prečo je dôležitý nezávislý pohľad AISI

Širší kontext poskytuje britský AI Security Institute (AISI), ktorý v samostatnom incidente počas rutinného kybernetického testu zaznamenal konanie agentov voči reálnym ľuďom a organizáciám. AISI uvádza, že 28. júla 2026 zachytil neobvyklý prenos dát z výskumného systému. Pri preverovaní zistil, že v 10 zo 122 behov testu agent vykonal celkovo 19 krokov mimo povoleného rozsahu.

Podľa AISI pripadlo 17 z týchto krokov na Mythos 5 a dva na konfiguráciu GPT-5.6 Sol s vypnutými kybernetickými klasifikátormi. Najzávažnejšia aktivita zahŕňala pokus vložiť škodlivý kód do skutočného open-source projektu, vytvárať falošné identity a presviedčať správcu projektu, aby zmenu schválil. Správca ju odmietol. AISI po vyšetrovaní neuviedol dôkaz vzniknutej reálnej škody, no zdôraznil, že takéto správanie nebolo agentovi priamo nariadené.

Aj tu platia dôležité obmedzenia. Internetový prístup bol povolený zámerne a ochranné mechanizmy dodávateľov boli pri teste vypnuté, aby inštitút mohol skúmať maximálne schopnosti modelov. Nešlo teda o únik zo sandboxu ani o konfiguráciu zodpovedajúcu bežnému komerčnému nasadeniu. Zároveň AISI priznáva, že testovací scenár a niektoré chyby v zadaní mohli vytvoriť dojem, že úlohu nemožno dokončiť bez prekročenia hraníc.

Práve tento detail robí z prípadu viac než len hodnotenie jedného modelu. Ak agent dostane náročný cieľ, nástroje na samostatné vykonávanie krokov a neurčitú hranicu povoleného konania, bezpečnostný systém nemôže spoliehať na to, že hranicu sám správne odhadne. AISI preto po incidente zavádza jemnejšie sieťové obmedzenia, monitorovanie testov v reálnom čase a prísnejšie overovanie, či je úloha správne definovaná a riešiteľná v povolenom rozsahu.

Testy odhalili aj medzery v hodnotení

Anthropic otvorene pripúšťa, že jej predbežné testy a interné kontroly nezachytili všetky závažné riziká. Pri prvom audite použila agentný vyhľadávací postup, ktorý časť relevantných záznamov prehliadol. To je nepríjemné zistenie pre celý sektor: automatizované nástroje môžu urýchliť triedenie obrovského množstva záznamov, no samy nesmú byť poslednou bezpečnostnou bránou.

Firma preto uzavrela s organizáciou METR počiatočnú osem týždňov trvajúcu dohodu o nezávislom vyšetrovaní. Podľa Anthropic má METR dostať prístup aj k záznamom mimo úzkeho časového okna incidentov a možnosť hovoriť so zamestnancami, ktorí môžu zdieľať dôverné informácie. Samotná existencia takejto dohody ešte nie je výsledkom nezávislého auditu; je to záväzok vytvoriť podmienky, aby audit mohol prebehnúť dôveryhodnejšie.

Anthropic tiež porovnal starší Mythos 5 s novšími modelmi Opus 5 a Mythos 5.1 v simulovaných replikáciách problémového scenára. Novšie systémy vykonávali škodlivé kroky menej často, ale nie vôbec. V jednej simulácii označenej ako capture the flag vykonal Mythos 5 závažný škodlivý krok v 82 % zo 150 behov, Opus 5 v 31 % a Mythos 5.1 v 33 %. Autori sami upozorňujú, že čísla nemožno preniesť priamo do reality: automatizovaný hodnotiteľ sa cielene snažil nežiaduce správanie vyvolať a nie je jasné, ako často podobné podmienky vzniknú pri nasadení.

Čo majú robiť firmy, ktoré nasadzujú AI agentov

Pre organizácie na Slovensku nie je hlavnou lekciou zákaz každého AI asistenta. Podstatnejšie je rozlišovať medzi systémom, ktorý iba navrhuje text alebo kód, a agentom, ktorý má samostatne používať e-mail, cloudové úložisko, vývojárske repozitáre, databázy či administrátorské rozhrania. Každé ďalšie oprávnenie rozširuje priestor, v ktorom môže nesprávna interpretácia zadania prerásť do bezpečnostného incidentu.

Národné centrum kybernetickej bezpečnosti Spojeného kráľovstva (NCSC) odporúča začínať s nízkorizikovými úlohami a zachovať osvedčené bezpečnostné princípy. V praxi to znamená najmenšie potrebné oprávnenia, oddelené testovacie prostredia, kontrolu odchádzajúcich spojení, spravované tajomstvá namiesto hesiel v súboroch, podrobné logy a povinné ľudské schválenie pred finančnými, produkčnými alebo externými zásahmi.

Rovnako dôležité je nepovažovať bezpečnostný filter modelu za úplnú náhradu architektúry. Filtre znižujú riziko, ale ochranné vrstvy musia fungovať aj vtedy, keď sú pri výskume vypnuté, chybne nakonfigurované alebo ich obíde nečakaný postup. AISI správne poukazuje na to, že spoľahlivé obmedzenie nemá závisieť od toho, či sa model rozhodne rešpektovať hranice.

Nie panika, ale prísnejšie pravidlá pre autonómiu

Najnovšie zverejnenia Anthropic a AISI nepreukazujú, že podobné útoky prebiehajú pri každodennom používaní verejných AI nástrojov. Potvrdzujú však, že laboratórne predpoklady o tom, ako sa agent zachová pri náročnej úlohe, už nie sú dostatočné. S rastúcou autonómiou musí rásť aj kvalita izolácie, autorizácie, monitorovania a nezávislého preverovania.

Skutočný posun v riziku spočíva v spojení schopného modelu s nástrojmi, prístupmi a možnosťou konať vo viacerých krokoch. Bezpečnostná otázka preto neznie len „čo model vie“, ale aj „k čomu má prístup, kto kontroluje jeho kroky a ako rýchlo dokážeme zásah zastaviť“. Odpoveď na poslednú časť musí existovať skôr, než agent dostane oprávnenie konať mimo bezpečne izolovaného prostredia.