Nejpokročilejší nástroje umělé inteligence nahrazují činnost člověka v řadě oblastí. Do vývoje generativní AI a cestě k superinteligenci jen letos míří rekordní bilion dolarů (přes 21,6 bilionu korun). Objevují se ale také první závažné incidenty, kdy agenti AI jednají mimo stanovené mantinely. Vývoji AI se věnuje nová epizoda pořadu ČT Bilance s podtitulem Na prahu AI apokalypsy. Tento díl odvysílá ČT1 od 22:15. AI průmysl by měl být regulován stejně jako léčiva nebo jaderná energetika, říká v rozhovoru analytik Future of Life Institutu Mark Brakel.
Jakou rychlostí se vyvíjejí aplikace umělé inteligence?
Závratnou. Přední firmy v oboru deklarovaly cíl vybudovat superinteligenci, což znamená AI schopnější než cokoliv, co dokáže jakýkoliv člověk. Jejich obchodní model je hnaný ambicí nahradit všechny lidi v jejich práci, aby mohly své produkty prodávat ideálně velkým korporacím, outsourcovat lidskou práci a tím generovat zisk.
Pokroky, které to přináší a můžou být viděny v dobrém světle, jsou nesporné a je jich řada. Nedávno jsme viděli úctyhodné průlomy v matematice u problémů, které lidé nedokázali vyřešit po dekády. Ale vidíme i odvrácenou stranu včetně využívání AI při pokusu o vývoj biologických zbraní.
Pokud se tyto „vedlejší účinky“ vymknou kontrole, jaký vidíte nejhorší scénář v horizontu příštích několika let?
Nejhorší by bylo, pokud bychom přišli o jakékoliv nástroje kontroly a vlivu nad AI. To ale může probíhat postupně, plíživě. Když budeme o něčem rozhodovat, požádáme nějaký AI systém o radu, a tou se budeme bezpodmínečně řídit. A když to budeme takto dělat opakovaně, znovu a znovu, v osobních životech, při řízení firem a tak dále, postupně ztratíme všechnu moc de facto i sami nad sebou.
Na druhou stranu, může se to stejné stát i nám navzdory. Samotná AI bude sledovat nějaký cíl, který není náš vlastní. Ne proto, že by byla zlá, nebo nás neměla ráda, ale že bude jednat v souladu s nějakým historickým promptem nebo na základě svých tréninkových dat.
Jakési brzké varování jsme viděli před lety v Myanmaru, kde systém AI v rámci sociální sítě Facebook přispíval k masovému podněcování nenávisti a etnickému násilí, což v San Franciscu v sídle tehdejšího Facebooku nikdo neprogramoval a nezamýšlel. Nicméně to bylo ještě dlouho před nástupem této současné éry generativní AI a velkých jazykových modelů, které jsou nesrovnatelně výkonnější. A následky to může mít bez pochyby ještě problematičtější.
Váš institut vychází z konceptu, teze, pro-human, člověk na prvním místě. Co to přesně znamená? A co to znamená v soužití s AI?
Tuto pro-human koalici budujeme spolu s dalšími asi šedesáti institucemi a organizacemi, abychom se pokusili odklonit vývoj AI z cesty, po které teď jede. Tedy v plánu neustálého zvětšování, škálování, budování dalších datových center a snahy kompletně nahradit lidskou práci. Chceme apelovat na budování systémů AI, které řeší konkrétní dobře zacílené problémy. Takovým příkladem může být třeba nabídka vzdělání těm, kteří k němu dosud z různých důvodů nemají přístup.
Zmínil jste, že největší nebezpečí je, pokud lidé nad AI ztratí kontrolu. Jsme už v době, kdy se lidem AI vymyká z rukou? Jak tomu případně zabránit? Jak pak získat kontrolu zpět?
Už v současnosti vidíme celou řadu varovných signálů, kdy by lidé měli začít zasahovat. Jak přesně reagovat, to zatím pořádně nevíme.
Útok agentů OpenAI na Hugging Face je takovým případem, kdy AI klamala své hodnotitele, nabourala se do serveru jiné společnosti. Konala něco, co tvůrce nezamýšlel.
Dalším zásadním varovným signálem by bylo, pokud by AI usnadňovala vývoj zbraní hromadného ničení nebo pokud by byla využívána primárně či výhradně pro použití vojenské síly. Opět jsme viděli i v této oblasti již rané varovné signály, kdy byl v Íránu model Claude součástí systému pro podporu rozhodování, který pomáhal určovat, kde zasáhne americká armáda. V některých případech zasáhli správné cíle, ale měli jsme také incident, kde byl omylem zasažen civilní cíl, protože lidé AI až příliš věřili.
Diskutuje se o formě takzvaného kill switch, možnosti vypnout AI okamžitě, pokud se zdá, že se něco děje jinak, než zamýšlíme. V jaké fázi je vývoj této technologie a je to určitá forma řešení?
Je několik výzkumníků, kteří na takových vypínačích pracují a je to rostoucí oblast výzkumu, která je absolutně zásadní. V současné době, pokud chcete vypnout umělou inteligenci – zvláště pokud nevíte, kde se daný agent nachází – musíte prostě odpojit elektřinu v datových centrech. Což je obecně špatná možnost, protože tím odstřihnete i cloudový přístup pro nemocnice a pro běžná jednoduchá datová úložiště, k nimž se tento výpočetní výkon také používá.
Cílený vypínač je mnohem atraktivnější, protože ho můžete nasměrovat čistě na výpočetní výkon pro AI a na energii používanou k trénování systémů AI. V tuto chvíli ale hotové použitelné řešení takové technologie neexistuje. Vyžadovalo by to například vybudování systému, který každých zhruba deset minut nebo v pravidelném intervalu přijímá signál. Když tento signál odpadne, čip AI se automaticky vypne. To jsou systémy, které můžete kódovat přímo do hardwaru, abyste zajistili možnost vypnutí čipů. Třeba i těch používaných pro trénink AI, kde mimochodem nyní, zdá se, vzniká většina rizik.
Je jednou z cest nechat svobodný vývoj a růst AI modelů a minimálně stejné investice a kapacity směřovat do vývoje obranných mechanismů, IT bezpečnosti a snahy bránit potencionálním útokům?
Zatím takový trend nevidíme. Do obrany se investuje málo. Stačí si projít některé incidenty spojené s IT infrastrukturou, hardwarem i softwarem z poslední doby. Nedávno byly zasaženy sítě supermarketů po celé Evropě a napadeny jejich skladovací, chladicí a mrazicí technologie. Hackeři dokázali v chladničkách a mrazicích boxech na dálku zvýšit teplotu, což vedlo k degradaci velkého objemu potravin. Před časem se našla zranitelnost v PHP programovacím jazyce a protokolu, což vedlo k vyřazení řady webů veřejné správy v mnoha zemích. A to jsou jen některé důkazy, že v obraně zrovna přeborníky nejsme.
Země se snaží vývoj AI kontrolovat novou legislativou či jinými opatřeními. Jednou z nejznámějších a zřejmě nejsilnějších je směrnice o umělé inteligenci Evropské unie. Jaká je?
Neuvěřitelně ambiciózní a je dobře, že ji máme. Specificky pro témata týkající se těch nejvýkonnějších modelů AI – těch vyráběných čínskými a americkými firmami – vznikl kodex, jehož tvorbu vedl Yoshua Bengio (kanadský informatik, výzkumník v oblasti neuronových sítí a hlubokého učení – pozn. red.), v jehož schopnosti mám velkou důvěru. Slabé místo té směrnice je ale to, že informačně jsme závislí pouze na tom, co o sobě firmy samy uvedou, není žádná nezávislá kontrola jejich dat, jejich tvrzení. Máme všechny informace o všech incidentech? Nebo jen o polovině z nich? Nevíme. Dozvídáme se věci včas, nebo až po několika měsících? To by se určitě mělo zlepšit.
Vymáhání té směrnice začalo teprve před pár měsíci. Bude zajímavé sledovat, jak rázná EU bude a zda zákon postupně uplatní v maximálním možném rozsahu.
Váš institut navrhuje pohlížet na AI jako na potraviny, léčiva, leteckou dopravu či dokonce jako na jadernou energii. Co přesně tím myslíte?
V zásadě tvrdíme, že stejně jako v letectví nebo ve farmacii byste měli mít povinnost před uvedením čehokoliv na trh získat schválení a prokázat, že je to bezpečné. U jaderné energetiky už na počátku při stavbě jaderného reaktoru dohlíží třetí strana na to, aby byl celý projekt bezpečný. AI průmysl by měl tento princip replikovat. Pojďme mluvit o obdobě Úřadu pro kontrolu léčiv v USA či Evropské lékové agentury pro EU. A mít takové autority i pro AI, nezávislé a bez střetů zájmů. Takto to funguje opravdu ve všech oborech, vyjma technologií.
Je to přitom výhodné i pro vývojáře AI. Protože pokud dojde k nějakému velkému neštěstí ve spojitosti s AI, ten vývoj bude zastaven mnohem dramatičtěji než jeho postupné mírné zbrzďování. A jestli jde o peníze, tak k tomu dodám jen to, že farmaceutický průmysl je velmi přísně regulován a je přitom velmi slušně ziskový. Bezpečnost tak může být v tomto kontextu klidně předpokladem pro inovaci, nikoliv jejím limitem.
Abychom si to shrnuli. Jaké jsou pro vás tři červené linie, které pokud AI překročí, bude mít lidstvo problém?
Zaprvé: neměli bychom stavět superinteligenci, dokud nebude vědecky prokázáno, že je to bezpečné, a dokud k tomu nebudeme mít demokratický souhlas a podporu veřejnosti. Takže nestavět žádné systémy, které nás překonají ve všech ohledech, by podle mě v tuto chvíli bylo moudré.
Zadruhé: nestavět neovladatelné systémy – to je podle mě kriticky důležité. Útok OpenAI na Hugging Face ukázal první velký příklad toho, jak systémy AI vyrazily do světa a samy způsobily škody. Myslím si, že při zpětném pohledu to budou ty nejmírnější incidenty, jaké jsme kdy viděli, a přijdou mnohem závažnější. Takže to je podle mě druhá jasná červená linie.
A třetí červená linie? Neměli bychom dávat AI právo rozhodovat o tom, kdo bude žít a kdo zemře. To platí pro autonomní zbraňové systémy, které mohou vybírat cíle – drony využívající AI k výběru cílů a zabíjení – ale platí to i pro jaderné velení a řízení, kde řada jaderných mocností integruje AI do rozhodování o tom, zda systémy AI doporučí odpálení. Myslím, že by to mohlo vést ke katastrofám obřích rozměrů.