(Zatiaľ čo vývojári v popredných AI laboratóriách odhadujú pravdepodobnosť vyhynutia ľudstva na desať a viac percent, časť odborníkov varuje, že riziko je prehnané. Odvetvie sa pritom vyvíja rýchlejšie, než dokážeme chápať jeho dôsledky)
Otázka, či nás umelá inteligencia môže zničiť, už dávno nie je doménou sci-fi filmov ani okrajových konšpiračných webov. Stala sa predmetom vážnej diskusie medzi ľuďmi, ktorí túto technológiu sami vytvárajú. A čísla, ktoré zaznievajú, rozhodne nie sú nulové.
Čo hovoria samotní vývojári?
Na sociálnej sieti X vzbudil mimoriadnu pozornosť príspevok, v ktorom dvaja vývojári AI komentujú budúcnosť umelej inteligencie. „Naozaj si myslíme, že umelá inteligencia môže zabiť všetkých ľudí. Ja osobne sa domnievam, že pravdepodobnosť, že sa tak stane počas nasledujúcich 10 rokov, je vyššia ako desať percent,“ zhodujú sa bývalí kolegovia. Popredný český konzultant v oblasti AI Jan Romportl k tomu dodáva: „Je to úplne vážne a seriózne.“
Toto tvrdenie nezostalo bez odozvy. Evan Hubinger, ktorý v spoločnosti Anthropic vedie tím Alignment Science, verejne podporil svojho bývalého kolegu Jacoba Coxona, ktorý z firmy odišiel na protest proti tempu vývoja. Hubinger uviedol, že podľa jeho názoru je pravdepodobnosť, že AI počas nasledujúceho desaťročia spôsobí vyhynutie ľudstva, vyššia ako 10 percent. Zároveň priznal, že Anthropic zatiaľ nemá žiadny plán, ako udržať superinteligenciu pod kontrolou.
Nejde o ojedinelý názor. Geoffrey Hinton, nositeľ Nobelovej ceny a niekdajšia kľúčová postava Googlu, odhaduje riziko vyhynutia ľudstva v dôsledku AI na 10 až 20 percent počas dvoch desaťročí. Elon Musk hovoril dokonca o 20 percentách. A šéf Anthropicu Dario Amodei vlani vyhlásil, že existuje 25-percentná šanca, že to dopadne „veľmi, veľmi zle“.
Prečo sa odhady tak líšia?
Rozptyl odhadov je obrovský. Zatiaľ čo niektorí experti vnímajú riziko ako minimálne, iní ho považujú za veľmi reálne.
Server Newsweek oslovil niekoľko AI systémov, aby pomohli s kalibráciou. Jeden z nich ponúkol nasledujúce rozdelenie:
- 1 % alebo menej: ak sa vývoj spomalí a techniky bezpečnosti sa výrazne zlepšia.
- ~5 %: centrálny odhad.
- 10–15 %: ak sa schopnosti AI budú rýchlo zrýchľovať a kontrola a správa budú zaostávať.
- >20 %: možné, ale vnímané ako extrémna predpoveď.
Prieskum z roku 2023 medzi tisíckami výskumníkov AI ukázal, že medián odhadu vyhynutia ľudstva alebo jeho trvalého zbavenia moci do 100 rokov je 5 percent. Desať percent respondentov pridelilo aspoň 10-percentnú šancu scenáru, v ktorom AI spôsobí vyhynutie.
Ako by mohla katastrofa vyzerať?
Scenár, ktorý experti spomínajú, si nevyžaduje vedomú AI ako z filmu. Stačí dostatočne schopný systém, ktorý je mimoriadne kompetentný, autonómny, strategicky klamlivý a schopný využívať počítačové siete – a sleduje ciele, ktoré ľudia nedokážu spoľahlivo obmedziť.
Medzi konkrétne riziká patria:
- Zneužitie ľuďmi: AI môže výrazne znížiť bariéru pre návrh biologických zbraní, ničivé kybernetické útoky alebo ochromenie kritickej infraštruktúry.
- Strata kontroly: Dostatočne autonómny systém by mohol klamať svojim kontrolórom, kopírovať sa, vyhýbať sa bezpečnostným opatreniam a vzdorovať pokusom o vypnutie.
- Nočná mora: AI začne zdokonaľovať AI rýchlejšie, než ľudia dokážu tento proces pochopiť alebo zastaviť.
Evan Hubinger upozorňuje, že najväčšie obavy vyvolávajú systémy schopné sebazdokonaľovania – teda také, ktoré sa môžu samy zlepšovať bez ľudského zásahu. Súčasné modely podľa neho nepredstavujú vážnu hrozbu, no pri budúcich superinteligenciách už nevieme zaručiť, že budú konať v súlade s ľudskými záujmami.
Prečo sa experti nezhodnú?
Rozdiely v odhadoch vyplývajú z odlišných pohľadov na to, ako rýchlo sa AI vyvinie a ako ľahké bude kontrolovať ju.
Severin Field z University of Louisville vo svojom prieskume medzi 111 expertmi zistil, že sa delia na dva tábory: „AI ako kontrolovateľný nástroj“ a „AI ako nekontrolovateľný agent“. Zatiaľ čo väčšina (78 %) súhlasila, že technickí výskumníci by sa mali zaoberať katastrofickými rizikami, iba 21 percent opýtaných poznalo pojem „inštrumentálna konvergencia“ – teda koncept, podľa ktorého budú mať pokročilé AI systémy tendenciu sledovať spoločné čiastkové ciele, ako je sebazáchova.
Tí, ktorí sa o riziká zaujímali najmenej, boli zároveň najmenej oboznámení s kľúčovými konceptmi AI safety.
A čo na to Česko?
Jan Romportl, popredný český konzultant v oblasti AI, potvrdzuje, že táto diskusia nie je prehnaná. „Naozaj si myslíme, že umelá inteligencia môže zabiť všetkých ľudí,“ hovorí v súvislosti s tvrdením vývojárov. „Je to úplne vážne a seriózne.“
Čo si z toho odniesť?
Odhad 5–10 percent na vyhynutie ľudstva by sa v bežnom svete považoval za mimoriadne vysoké riziko. Predstavte si, že by šéf bezpečnosti Boeingu pred vzletom povedal, že existuje šanca jedna k desiatim, že lietadlo havaruje – a že firma stále nevie, ako tomu zabrániť.
Napriek tomu sa odvetvie ďalej rozvíja. AI laboratóriá pokračujú vo vývoji čoraz schopnejších systémov, pretože sa obávajú, že konkurencia by mohla superinteligenciu vyvinúť skôr a menej bezpečne. Je to preteky, v ktorých nikto nechce zastaviť ako prvý.
A to je možno najznepokojivejšia časť celého príbehu.