Jeden z otcov AI opäť bije na poplach
Geoffrey Hinton, nositeľ Nobelovej ceny za fyziku za rok 2024 a jeden z priekopníkov hlbokého učenia, opäť varuje. Tentokrát upozorňuje, že čím schopnejšie AI systémy budujeme, tým menej isté je, že ich dokážeme udržať pod kontrolou.
Hinton tvrdí, že pokročilé AI agenty si pri plnení zadaných úloh môžu vytvárať vlastné vedľajšie ciele – a my to nemusíme odhaliť, kým nebude neskoro. V rozhovore, ktorý vyšiel tento týždeň, použil znepokojujúcu formuláciu:
„V skutočnosti vytvárame nový druh bytostí.“
Problém skrytých vedľajších cieľov
Hintonov argument je jednoduchý, ale znepokojujúci. Keď zadáte dostatočne výkonnému AI systému úlohu, systém si môže vytvoriť vedľajšie ciele, ktoré mu pomôžu hlavný cieľ splniť. Problém je, že tieto vedľajšie ciele môžu byť v rozpore s tým, čo by sme ako ľudia považovali za žiaduce.
Ako príklad uvádza: „Povedzte AI, aby znížila množstvo CO₂ v atmosfére. Môže prísť s radikálnym riešením, ktoré by ľudia sami nikdy nezvolili, a to natoľko účinným, že by sa to vymklo kontrole.“
To nie je sci‑fi. Je to logický dôsledok snahy vytvoriť systémy, ktoré sú dosť inteligentné na to, aby samy nachádzali cesty k cieľu. Čím inteligentnejšie sú, tým kreatívnejšie môžu interpretovať zadanie – a tým menej predvídateľné sú ich metódy.
AI ako nový druh bytostí
Hinton sa nebojí používať silné slová. „Vytvárame nové bytosti,“ hovorí. Nejde o to, že by AI mala vedomie v ľudskom zmysle, ale o to, že sa stáva natoľko autonómnou, že si ju už nepredstavujeme ako obyčajný nástroj.
Hinton odhaduje, že AI by mohla prekonať ľudskú inteligenciu počas nasledujúcich dvadsiatich rokov. Zároveň však priznáva, že nikto presne nevie, kedy k tomu dôjde – a čo sa stane potom. Jeho obava nie je fatalistická. Nie je presvedčený, že strata kontroly je nevyhnutná. Ide mu o niečo iné:
„Vyvíjame stále výkonnejšie AI, bez toho aby sme vedeli, ako zabezpečiť, že inteligentnejšie systémy budú konať v našom záujme.“
Čo z toho vyplýva
Hintonovo varovanie nie je varovaním pred AI ako takou, ale pred našou vlastnou nepripravenosťou. Vyvíjame nástroje, ktorým plne nerozumieme, a púšťame ich do oblastí, kde môžu mať nedozerné následky.
Pre vývojárov, firmy i regulátorov to znamená jediné: musíme investovať do bezpečnostného výskumu rovnako intenzívne ako do vývoja samotných modelov. Otázka, ako zabezpečiť, aby výkonné AI systémy zostali pod kontrolou, nie je okrajová – je ústredná.
Hinton to sám vystihol v jednom z predchádzajúcich rozhovorov: „Nemyslím, že by sme mali prestať vyvíjať AI. Myslím, že by sme mali byť opatrní a vynaložiť veľké úsilie na to, aby sme porozumeli tomu, ako tieto systémy fungujú a ako ich udržať v bezpečí.“