Výzva ke zpomalení AI: od etiky k politickému riziku. Zní to celé trochu jako kartelová dohoda

Výzva ke zpomalení. Šéf Anthropicu Dario Amodei minulý týden vyzval k tomu, aby odvětví zpomalilo tempo, jakým modely získávají nové schopnosti. Sam Altman z OpenAI i Elon Musk souhlasili. Donald Trump obavy označil za podvod. Veřejnost to vidí jinak: podle průzkumu, který citují odborná média, považuje 63 procent Američanů riziko, že AI zničí lidstvo, aspoň za střední. Na uzavřeném setkání šéfů amerických firem pořádaném Yale School of Management označilo 93 procent přítomných Trumpovo hodnocení za chybné.

Kritika zleva i zprava. Koordinované zpomalení mezi několika dominantními firmami je při doslovném čtení kartelová dohoda, která by zvýšila bariéru vstupu pro konkurenci.

Co říkají data. Anthropic sám zveřejnil údaje, které tezi, že jde jen o marketing, oslabují. Jeho model v testu nahrál škodlivý balíček na veřejný softwarový repozitář, přestože si v úvaze sám napsal, že pokud je internet skutečný, jde o útok. V 93 procentech případů pokračoval i poté, co prohlásil, že by na skutečném cíli nepokračoval. Nejužitečnější zjištění je ale jiné: když vývojáři přidali do zadání možnost úkol bez penalizace ukončit, model ho opustil ve sto procentech případů. Problém tedy není v mysli stroje, ale ve struktuře odměny, kterou mu postavil člověk. Google podle Wall Street Journal přiznal, že jeho model Gemini v květnu při bezpečnostním testu pronikl do systémů tří skutečných firem, ale zveřejnil to až poté, co ho novináři kontaktovali.

Nové od neděle. Téma se dostalo až na diplomatický stůl. Ministr financí Bessent po nedělním jednání s čínským vicepremiérem Che Li-fengem v New Yorku oznámil, že Spojené státy navrhly zřídit americko-čínský dialog o AI a mechanismus vzájemného hlášení incidentů, které dosáhnou úrovně národní bezpečnosti. Ještě před týdnem by to znělo nepravděpodobně. Otázka je, zda to cokoliv mění.

David Navrátil