Nvidia predstavila platformu na dohľad nad AI agentmi
Nvidia predstavila Open Agent Safety Platform, riešenie určené na monitorovanie AI agentov a presadzovanie pravidiel ich prístupu k dátam a nástrojom.
Platforma využíva open-source softvér OpenShell, ktorý beží na procesore Nvidia Vera AI CPU. Používateľ má určiť, k akým informáciám môže agent pristupovať; systém tieto obmedzenia kontroluje pred vykonaním úlohy aj počas nej.
Ďalšiu vrstvu dohľadu má zabezpečovať technológia Sentry na samostatnom čipe. Nvidia tvrdí, že pri pokuse agenta prekročiť povolené hranice ho dokáže izolovať v priebehu milisekúnd.
Spoločnosť uvádza podporu viacerých technologických firiem vrátane Anthropic, Microsoftu a SpaceX. Oznámenie prichádza v období zvýšenej pozornosti venovanej správaniu AI modelov mimo testovacích prostredí.
OpenAI pozastavila prácu s najvýkonnejšími modelmi využívajúcimi nástroje. Incident s DNS ukázal, že bezpečnostné hranice aj postup pri reakcii na upozornenie mali slabiny.
ZdrojAk chcete naše rýchle správy vidieť v Google častejšie, pridajte si SmartArena medzi preferované zdroje.