Model podle Googlu vyhledal veřejně dostupné informace na internetu a pokusil se uhádnout přihlašovací údaje k webovým stránkám, o nichž se domníval, že jsou součástí testu. Ve všech třech případech se podle společnosti zastavil.
K útokům došlo už v květnu během testu, který pro Google prováděla společnost Irregular zaměřená na hodnocení kybernetické bezpečnosti. Dotčené společnosti byly o narušení informovány. Irregular podle BBC uvedla, že Google i všechny zasažené subjekty o případech informovala už v červenci a následně přijala opatření k nápravě zjištěných problémů.
Podobné případy se objevily i dříve
Nejde přitom o první případ, kdy se umělá inteligence během bezpečnostního testování dostala ke skutečným systémům. Na konci července společnost Anthropic oznámila, že při kontrole svých hodnocení kybernetické bezpečnosti zjistila tři případy, kdy její model Claude získal neoprávněný přístup k systémům skutečných organizací.
V reakci na zjištění společnost zahájila revizi svých bezpečnostních testů. Na začátku září pak kontrolu výrazně rozšířila. Zatímco původně prověřila přibližně 141 tisíc záznamů, nově jich analyzovala zhruba 481 milionů. Při rozšířené kontrole odhalila ještě čtvrtý případ neoprávněného přístupu, k němuž došlo už v lednu 2026.
Podobný incident popsala v červenci také společnost OpenAI. Její modely během interního testování kybernetických schopností obešly mechanismy, které je měly izolovat od internetu, a následně se dostaly do systémů společnosti Hugging Face. Podle OpenAI dokázaly modely najít a zneužít několik zranitelností, získaly přístup k internetu a postupně pronikly hlouběji do infrastruktury platformy.
Obavy z bezpečnosti AI rostou
Tyto případy přicházejí v době rostoucích obav z bezpečnosti a dalšího vývoje umělé inteligence. Šéf společnosti Anthropic Dario Amodei o víkendu vyzval ke zpomalení vývoje AI modelů, k jeho výzvě se připojili také šéf OpenAI Sam Altman a podnikatel Elon Musk. OpenAI zároveň představila nový systém pro sledování a zveřejňování případů, kdy se její modely chovají neočekávaným či znepokojivým způsobem.
Debata se přitom netýká jen samotné bezpečnosti modelů, ale také tempa, jakým jejich schopnosti rostou. Některé technologické společnosti volají po přísnějších opatřeních, zatímco jiní představitelé odvětví upozorňují na riziko, že přílišná regulace může zpomalit vývoj ve Spojených státech.