Výskumníci Anthropic varujú pred rizikami nekontrolovateľnej AI

Diskusia o bezpečnosti umelej inteligencie sa vyostrila po verejných vyjadreniach dvoch ľudí spojených s firmou Anthropic. Bývalý výskumník Jacob Coxon oznámil odchod zo spoločnosti a kritizoval súťaž technologických firiem pri vývoji čoraz výkonnejších modelov.

Coxon upozornil najmä na ambíciu vytvárať systémy schopné vlastného zlepšovania. Obáva sa, že vývoj napreduje rýchlejšie než mechanizmy, ktoré by takéto systémy spoľahlivo udržali pod ľudskou kontrolou.

Evan Hubinger, ktorý v Anthropicu vedie jeden z bezpečnostných tímov, podľa zdroja zdieľa vážne obavy z tohto smerovania. Uviedol, že spoločnosť zatiaľ nemá pripravený plán, ako dlhodobo zaručiť bezpečnosť a súlad veľmi pokročilej AI s ľudskými hodnotami.

Vyjadrenia predstavujú hodnotenie jednotlivých odborníkov, nie istý scenár. Zároveň ukazujú, že otázka bezpečnostných opatrení zostáva predmetom sporov aj priamo vo firmách, ktoré vyvíjajú najpokročilejšie modely.