Chybná identifikace předmětu umělou inteligencí a následná lidská rozhodnutí proměnila běžný večer v traumatizující konfrontaci.
Není to ojedinělý exces tohoto typu. V červenci téhož roku policisté s pistolemi v rukou zatkli Angelu Lippsovou, babičku z Tennessee, zatímco hlídala svá čtyři vnoučata. Software pro rozpoznávání obličeje ji nesprávně spojil s podvodnými trestnými činy v Severní Dakotě, kterou přitom nikdy nenavštívila. Přesto strávila ve vězení pět měsíců a propuštěna byla až na Štědrý den.
Případů, kdy na základě omylu umělé inteligence byli zadrženi, a někdy dokonce dlouhé měsíce vězněni lidé, zmapoval americký list Washington Post celkem osm. A dost možná jich bude víc. Jak totiž novináři zjistili, z 23 zkoumaných policejních útvarů jich 15 zadrželo lidi, kteří byli identifikováni umělou inteligencí jako podezřelí, aniž by zkoumali, zda existují jakékoli jiné nezávislé důkazy spojující je s trestným činem.
I stroj se může splést
Jak je možné, že k podobným přešlapům dochází? Kámen úrazu spočívá v diametrálním rozdílu mezi tím, k čemu byla technologie rozpoznávání obličejů navržena a jak je reálně využívána v terénu. Téměř každá oficiální policejní směrnice, stejně jako metodické příručky technologických firem, výslovně uvádí, že výsledky generované umělou inteligencí mají sloužit výhradně jako nezávazná vyšetřovací stopa, nikoli jako samostatný důvod k zatčení.
Algoritmus neurčuje identitu pachatele s absolutní jistotou; pouze na základě matematických modelů porovnává geometrii obličeje a nabízí seznam osob s nejvyšší procentuální shodou.
Analýza The Washington Post nicméně ukazuje, že většina policejních oddělení běžně využívá umělou inteligenci jako hlavní a usvědčující důkaz. Detektivové často nepodnikají žádné další kroky, aby prověřili, zda se vytipovaný člověk mohl v době činu na místě nacházet.
Jakmile počítač „ukáže prstem“ na konkrétní tvář z databáze, vyšetřování se de facto uzavírá a pravděpodobnost vypočítaná umělou inteligencí je v soudních síních a policejních protokolech prezentována jako nezvratný fakt.
Proč kriminalisté tak snadno podléhají verdiktům softwaru? Odborníci tento fenomén nazývají automatizačním zkreslením – lidé mají přirozenou tendenci důvěřovat rozhodnutím elektronických systémů a považovat je za objektivnější než lidský úsudek.
V momentě, kdy systém rozpoznávání obličejů policistovi nezobrazí pouze samotnou tvář, ale doprovodí ji i biografickými údaji (například trestní minulostí dotyčného), dochází navíc k takzvanému potvrzovacímu zkreslení.
Detektiv, který zjistí, že daná osoba byla před pěti lety zadržena za drobný delikt, přestane hledat jiné podezřelé a veškeré své úsilí zaměří pouze na shromažďování indicií, které teorii o vině podporují. Tento proces navíc infikuje i následné tradiční vyšetřovací metody.
Pokud policie ukáže fotografii vygenerovanou AI očitému svědkovi v rámci rekognice, pak svědek, často ovlivněn autoritou policie a sugestivním výběrem, chybné určení potvrdí. Tím se kruh uzavírá: uměle vytvořený omyl stroje je legitimizován lidským svědectvím, které by bez prvotního zásahu AI vůbec nevzniklo.
Rasistická AI?
Jak ukazují výsledky studie zveřejněné loni v časopise Psychological Trauma, existují tři hlavní proměnné, které u technologie rozpoznávání obličejů zvyšují pravděpodobnost falešných výsledků. Ukázalo se, že s rostoucím objemem srovnávací databáze stoupá riziko nalezení náhodné vizuální shody.
Studie také prokázala, že algoritmy často chybují při identifikaci příslušníků etnických menšin, zejména osob s tmavou pletí. Souvisí to s tím, že byly trénovány primárně na fotografiích lidí s pletí bílou. Konečně za třetí spolehlivost systému dramaticky snižuje špatná kvalita zdrojové fotografie.
