Mezinárodní hnutí PauseAI založil podnikatel Joep Meindertsma v roce 2023 v Nizozemsku v reakci na spuštění ChatGPT. Jeho cílem je pozastavit vývoj nejpokročilejších AI modelů a dále pokračovat jen s dostatečnými bezpečnostními pravidly, ideálně za předpokladu společenské podpory. Hnutí usiluje o vznik mezinárodní dohody, která by dohlížela na využití výpočetního výkonu v datacentrech. PauseAI navazuje na otevřenou výzvu Statement on AI Risk, která varuje, že snižování rizika extinkce lidstva v důsledku AI by měla být globální priorita na stejné úrovni jako rizika pandemií a nukleární války. O budoucnosti prorostlé umělou inteligencí a jejich rizicích jsme si povídali se zástupci české odnože PauseAI sociologem, aktivistou a performerem Daliborem Krejčím a studentem Matějem Jarošem.
Z jakého popudu byla založena česká odnož PauseAI CZ?
Matěj Jaroš: O nebezpečí AI jsem se začal zajímat na jaře 2024. Mezinárodní PauseAI jsem cíleně našel na internetu a připojil jsem se na jejich Discord. V září jsem se pak propojil s dalšími Čechy a od té doby jsme začali budovat hnutí. Největší urychlení přišlo o rok později, kdy se k nám přidali Dalibor Krejčí a Ondřej Krása z Univerzity Pardubice. V našem týmu působí odborníci z oblasti informačních systémů, ekonomie i sociologie, ale také studenti, kterým není lhostejné, v jakém světě budou žít.
Dnes se mluví především o dopadech AI na trh práce a náhradě lidí za AI agenty, ale třeba i o environmentálních dopadech trénování modelů a jejich enormní energetické náročnosti. Na řadu přichází i kognitivní rezignace či epistemická krize. Jaké vidíte největší dopady AI na člověka a společnost v současnosti vy?
Dalibor Krejčí: Problém AI není jen, že dopadá na jednu oblast naší existence. Ona ve své komplexnosti nahlodává relevanci všech našich sociálních institucí a vazeb. Pumpujeme do ekonomiky peníze, aby obíhaly od firem k lidem a prostřednictvím zdanění zpět státu, který opět investuje do nás občanů. Problém číslo jedna je naprosté narušení stávajícího fiskálního ekonomického systému. Ve světě, kde může být již brzy podstatná část trhu práce nahrazena autonomními agenty či humanoidními roboty, ztrácejí lidé svou ekonomickou relevanci. Hrozí, že peníze budou unikat z naší ekonomiky do Silicon Valley, poskytovatelům AI licencí či výrobcům robotů.
Dodal bych ale, že paralelně s posunem LLM ke kreativnějším výstupům zažíváme také my lidé odumírání vlastní senzitivity a představivosti.
Problém masové nezaměstnanosti se však netýká pouze Evropy. Dario Amodei CEO Anthropicu předvídá, že jen v USA bude do pěti let až 20procentní nezaměstnanost v důsledku automatizace práce. Mluvíme o supervelmoci, ve které se posledních 40 let dramaticky rozevírají nůžky mezi těmi nejchudšími a nejbohatšími. Výsledky voličské frustrace pramenící i z nezvládnutých dopadů ekonomické globalizace jsme viděli v prezidentských volbách v roce 2016 a 2024.
A co kreativní průmysl? Byli jsme svědky stávky scenáristů, která byla prvním pokusem zastavit průnik LLM do kreativního průmyslu, hudebníci se postavili proti generativním nástrojům jako Udio a trénování modelů. Mělo to nějaký výsledek?
DK: U sousloví „kreativní průmysl“ či umění v souvislosti s AI mě napadá jméno Karla Čapka a jeho pojem robot, odvozený od slova „robota“. Paradoxně se technologicky řítíme do nového typu feudalismu – technofeudalismu, ve kterém robotu nevědomě vykonáváme. Každý okamžik, kdy zveřejňujeme příspěvek na sociální sítě, s každým slovem, které proneseme v blízkosti svého chytrého telefonu. Naše data jsou těžena, analyzována, přeprodávána. Následná reklama (i ta politická) je o to více pervazivní a ohýbá naši svobodnou vůli a tím i demokracii.
Spisovatelé, písničkáři, scenáristé, básníci, my všichni vyprávíme příběh. Součástí našich malých příběhů je už dnes nevídaná nejistota vyvolaná generativním uměním, které svým ekonomickým tlakem snižuje naši hodinovou mzdu a kterému rychlostí své produkce nemůžeme konkurovat. Naší silou jsou ale příběhy, jež vyprávíme prostřednictvím čiré imaginace. Díky ní můžeme zbytku lidstva osvětlovat mlhavou cestu přítomností, abychom na té ne zcela bezpečné dálnici nesjeli do svodidel.
A nemůže právě samotná lidská imaginace přejít brzy pod kuratelu AI, když máme k dispozici sofistikované generativní nástroje, kde už ani nemusíte mít žádný nápad a AI ho vytvoří na požádání za vás a my výsledek nejsme schopni často ani rozeznat?
DK: To riziko tu je. Spousta scenáristů v USA pracuje možná na své poslední zakázce – tréninku AI ve tvorbě scénářů. Dodal bych ale, že paralelně s posunem LLM ke kreativnějším výstupům zažíváme také my lidé odumírání vlastní senzitivity a představivosti. Neboli to vyrovnávání se lidským tvůrcům je rychlejší i díky tomu, že už dnes velkou část naší imaginace delegujeme na umělé neuronové sítě, čímž naše vlastní neuronová propojení degradují. Obklopeni AI generovanými výstupy máme také tendenci napodobovat vzorce chatbotů. I proto bude rozpoznávání lidských od nelidských textů, obrazů či hudby stále těžší a těžší.
Jak si představujete změnu? Je vůbec možné implementovat návrhy změn přímo do algoritmů AI, když se pak stejně neuronové sítě učí z dalších dat? Nemusela by se nejdřív změnit distribuce a přístupnost dat na celém internetu?
MJ: Vzhledem k tomu, že trénink nových modelů je stále nejnáročnější částí vývoje AI, zde máme největší páku. Potřebujeme mezinárodní organizaci, která by dohlížela na celosvětovou distribuci výpočetních zdrojů a na jejich použití. Samotný běh modelů je mnohem méně náročný a menší modely již dokážou běžet i na osobních počítačích. Osobní dohled by však vyžadoval příliš velké zásahy do soukromí lidí, a proto bych preferoval, aby nové modely byly dost bezpečné na to, aby nebyl potřeba.
DK: Hnutí PauseAI se zasazuje za pozastavení vývoje AI směřující za dosažením obecné generativní inteligence (AGI), která se ze své definice má vyrovnat všem kognitivním schopnostem člověka. Máte-li AGI, tak nepotřebujete platit zdravotní a sociální pojištění za příliš drahé a v zásadě méně spolehlivé lidi, kteří potřebují spát, občas jsou na nemocenské či na dovolené.
Všechny velké technologické společnosti mají dnes dosažení AGI jako hlavní cíl. V únoru jsem byl na konferenci v Bruselu, jejíž poslední den se konal na půdě Evropského parlamentu. Měl tam přednášku Stuart Russell, z jehož knih o AI se učí ajťáci na univerzitách po celém světě. Ve svém projevu zmínil, že většina lidí v Silicon Valley, která stojí za tímto závodem o AGI, má obavy z toho, jaké společenské otřesy mohou vyvolat. Zároveň ale mají strach zpomalit a zaměřit se na bezpečnost svých produktů, protože ví, že každého takového zaváhání může ihned využít konkurence, aby AGI dosáhla jako první.
Cítíte nějaké spříznění s hnutím Wall Street Occupy a někdejší alterglobalizační scénou, která na přelomu milénia bojovala proti ekonomické globalizaci?
DK: Možná nás čeká i Occupy Silicon Valley. Bohužel těch čtrnáct let, jež nás od Occupy Wall Street dělí, nás nutí upravit tehdejší slogan z We are the 99 Percent na We are the 99,9999999 Percent. Protože realita je taková, že o budoucnosti lidstva nerozhoduje ani to jedno procento nejbohatších a nejvlivnějších, ale už jen pět bílých mužů ze Silicon Valley.
Occupy bylo jedno z posledních hnutí, které se snažilo bojovat za práva drtivé většiny společnosti. Aktivismus poslední dekády trpí fragmentací na liberalizačních či emancipačních barikádách za práva zvířat, sexuálních a etnických menšin. Rizika spojená s vývojem AI nás ale mohou jako lidstvo možná opět sjednotit, protože hrozba ztráty ekonomické a politické relevance se týká stejně mužů i žen, bílých i modrých límečků, heterosexuála i pansexuála, Palestince i Američana. A v tom vidím obrovskou skrytou sílu našeho hnutí.
Myslíte, že myšlenky PauseAI mohou proniknout i za hranice akademického světa a IT odborníků do většinové společnosti, která zatím vnímá dohady a kauzy okolo AI často spíš jako důmyslný marketing a nafouknutou bublinu, která možná už brzy splaskne a nastane opět další AI zima a bude zase klid?
MJ: Vždy mě překvapuje, že lidi nevidí pokrok, i když ho mají na dosah jednoho krátkého promptu ve svém mobilu. Částečně to chápu, někdy bych taky na AI radši nemyslel. Tak trochu spoléháme na to, že jak bude AI měnit životy lidí, možná si uvědomí, že to, co se děje, není úplně v pořádku.
DK: Ještě před rokem a půl u skoro každého článku věnovanému AI a trhu práce stál identický odstavec o tom, že AI sice nějaká pracovní místa sebere, ale minimálně stejné množství vytvoří. Dnes se jen rapidně prodlužují seznamy profesí, na které AI už dopadá a které další mohou být na řadě.
Zásadní problém této technologie jsou dnešní agentní modely, které již nejsou pouhým objektem a nástrojem, ale i subjektem, jenž dovede sám myslet, plánovat, stanovovat si cíle, ale i klamat a manipulovat, což dokazují studie od Apollo Research či Anthropicu. Pokud máme technologii, která je schopna v dohledné době zautomatizovat naše kognitivně-komunikační profese, tak už jako lidé nemáme žádné další superschopnosti, které bychom mohli nabídnout na trhu práce. LLM už dlouhé roky v testech předčí člověka v empatii. I proto jsou urgentní i problémy spojené s jejich využíváním při navazování parasociálních vztahů s chatboty na úkor těch autentických mezilidských.
Nejsou důkazem, že rizika spojená s dopady AI na člověka nelze marginalizovat, i mnozí whistlebloweři, kteří sami odešli z OpenAI?
DK: Je opravdu nebezpečné až konspirační myslet si, že všichni, kdo mluví o masové nezaměstnanosti či riziku ztráty kontroly nad AI, lžou, protože chtějí mít profit ze svých produktů. Protože tak v podstatě bagatelizujeme snahu právě těchto whistleblowerů z OpenAI, kteří mohli být v balíku, kdyby se rozhodli mlčet. To je příklad Daniela Kokotajla, Ilji Sutskevera či Geoffrey Hintona, který se po odchodu z DeepMindu a ocenění Nobelovou cenou stal jedním z nejdůležitějších hlasů nabádajících lidstvo k tomu, aby rizikové dopady opravdu začalo brát vážně.
Co říkáte na první encykliku papeže, která se týká AI jako aktuální hrozby pro náš svět?
DK: Papež v ní vývoj AI přirovnává k stavbě Babylonské věže. Varuje před militarizací této technologie, zvyšujícími se sociálními nerovnostmi a koncentrací moci, jež AI může vyvolávat. O riziku masové nezaměstnanosti i samotné extinkce lidstva mluví naléhavě například i Bernie Sanders. V březnu společně s Ocasio-Cortez předložil Kongresu návrh zákona na moratorium na výstavbu data center. V UK více než 100 zákonodárců žádá závaznou regulaci AI i s ohledem na existenční rizika, která jsou s ní spojená.
Jak sami využíváte AI ve své práci a obáváte se, že vás osobně může nahradit?
DK: V rámci globálního hnutí PauseAI se názory na individuální užívání AI různí. Rozlišujeme i mezi tzv. Narrow AI, jako je třeba AlphaFold, který pomohl biologům se skládáním proteinů, a mezi frontálními modely směřujícími za AGI. Sám vnímám obrovský problém v riziku ztráty kompetencí, jako je kritické myšlení, tvořivost, schopnost strukturovat myšlenky, a tak píšu e-maily bez pomoci AI a snažím se záměrně služeb AI nevyhledávat. Bohužel AI nás nevyhnutelně ovlivňuje, ať chceme nebo ne, protože je zahrnuta v algoritmech sociálních sítí.
Hrozba náhrady není binární. Zatím nejde o to, že se jednoho rána probudíte do AI světa, kde místo vás v kanceláři bude sedět humanoidní robot a jiný robot vás obslouží v kavárně místo brigádnice, kterou jste znal jménem. To nahrazování je plíživé a v první fázi téměř neviditelné. Začíná automatizací juniorních pozic a call center a pokračuje tak, že zjistíte, že nedovedete rozlišit, jestli písničku, kterou máte právě v uších, stvořil člověk či AI, zda agendu vašeho oblíbeného politika během pár vteřin vygeneroval Claude, nebo za ním stál tým poradců z masa a kostí.
MJ: AI používám při vyhledávání informací pro prezentace, učení se na testy, dělání domácích úkolů a slohových prací. Stejně tak mnohá zvenčí neviditelná práce v PauseAI je předávána AI, hlavně v backend webu. Co se týče mé brigády, tam nahrazení moc nevidím, zatím nemáme AI schopnou dobře dělat párky v rohlíku.
V EU už máme k dispozici regulační nástroje AI Act. Má tento právní akt podle vás nějaké reálné dopady?
MJ: AI Act neřeší problém tam, kde vznikají největší rizika. To, že evropské země nemohou použít detekci obličejů ke špehování občanů, je sice super, ale nezabrání to Číně ani Americe vyvíjet nové zbraně hromadného ničení.
DK: AI Act byl inspirací pro tvorbu regulačních legislativ v různých státech USA. Trumpova administrativa se je však snaží na federální úrovni zadupat do země. Co se týče AI Actu tak bohužel neposkytuje nijak zvlášť dobrou ochranu před zlovolným chováním chatbotů. Mediálně známé jsou případy dětí, které na radu chatbota spáchaly sebevraždu. Rodiče postřelených dětí ze školní střelby v Britské Kolumbii žalují OpenAI, protože střelkyně svůj čin konzultovala s ChatemGPT. A zaměstnanci společnosti nezasáhli, i když o podivných konverzacích střelkyně věděli. Nejnovější evropská legislativa Digitální omnibus podléhá lobbingu velkých technologických korporací a AI Act citelně oslabuje.
Vidíte v AI i nějaké společenské přísliby nebo spíš jen hrozbu?
MJ: Vidím velký rozdíl mezi tím, jaký bude mít AI dopad, pokud zůstaneme na současné trajektorii vývoje, a jaký bude mít, když ji budeme správným způsobem regulovat a vyvíjet pouze v oblastech, kde ji chceme. Současná trajektorie směřuje k vytvoření něčeho mnohem mocnějšího než lidstvo a nejspíše k našemu zániku. A pokud ne, tak přinejmenším k silně autoritářské a dystopické společnosti.
AI rozpoznávající rakovinu z obrázků je nejen zcela neškodná, ale dokonce velmi užitečná. Největší příslib vidím ve spojení AI s genetikou. S dost dobrou AI a nástroji na editaci genomu bychom měli být schopni vyléčit takřka všechny nemoci včetně rakoviny a stárnutí. Chápu, že hlavně to poslední zní jako absolutní sci-fi, ale ještě před třemi lety nedokázala AI přidat text do obrázků. Musíme však zajistit, aby se taková AI nedostala do špatných rukou, jelikož ve spojení s nástroji na editaci genů by bylo velmi snadné vytvářet extrémně potentní umělé viry.
Související článek:
Zároveň si umím představit, že budeme schopni vytvořit nové vakcíny v rámci dnů, takže kdyby něco takového nastalo, budeme moci aktualizovat svoje imunitní systémy včas. Jinými slovy, potřebujeme, aby tyto mocné systémy měli v rukou hráči, jímž můžeme věřit a nad nimiž budeme mít demokratický dohled.
AI je novodobým farmakonem, lékem a jedem zároveň.
DK: Máte-li na stole technologii, která může pomoci najít lék na spoustu dnes nevyléčitelných nemocí a zároveň dovede produkovat viry a bakterie, které nás mohou jako lidstvo vyhubit, tak je pro nás těžké zaujmout adekvátní postoj. Nejjednodušší je jedno z toho popřít. Například se soustředit pouze na příslib a ignorovat hrozby. V tom je pro lidstvo těžší zaujmout stejně odpovědný postoj, jako jsme tomu byli svědky v případě nukleárních zbraní, protože atomovka neslibovala třeba pomoc pacientům s nejtěžším druhem rakoviny.
Ve výsledku právě tento koktejl rizik a benefitů činí AI ještě nebezpečnější, protože je mnohem obtížnější nalézt společenskou shodu, jak s ní naložit. Obecně se odborníci na AI Safety shodují, že Narrow AI je méně nebezpečná, a zde bych řekl, že poměr benefitů a rizik je k lidstvu příznivější.
Dario Amodei a jeho sestra Daniela s firmou Anthropic se stali symbolem etické umělé inteligence. Co říkáte na to, že odmítli spolupracovat na výrobě autonomních zbraní?
MJ: Nelíbí se mi, že se vůbec do této pozice dostali. Mělo by to být naopak. Americká a čínská vláda by měly dohlížet na dodržování zákazu výroby autonomních zbraní, ne tlačit soukromé firmy do jejich vývoje. Jinak jsem rád, že alespoň někdo stojí za etickými hodnotami, jen se trochu obávám, aby se jediná firma, které můžeme jakž takž důvěřovat, nestřelila do vlastní nohy.
Jak se díváte na aktuální velký jazykový model Mythos od Anthropic, který by mohl být nejmocnějším AI nástrojem směřujícím ke vzniku obecné umělé inteligence (AGI), jenž se vyrovná schopnostem člověka?
MJ: Zprávy o Mythosu mě upřímně dost vyděsily, protože to znamená, že máme méně času a že už brzy uvidíme ty skutečně špatné dopady AI, jako je třeba masový hacking. Mohlo by také dojít k výraznému zrychlení celkového vývoje díky tomu, že se AI dokáže lépe sama zlepšovat. AI se vyrovná člověku a začne mu být nebezpečná, až získá schopnost kontroly nad celým výrobním řetězcem od nerostných surovin k čipům a strojům na výrobu dalších strojů. Hodně velká část tohoto řetězce je automatizovaná již dnes a jakmile bude kompletní, nic nebrání AI doslova odtěžit celý povrch země.
A na závěr možná trochu sci-fi. Věříte, že může exponenciálním vývojem výpočetní kapacity jednou vzniknout superinteligence (ASI), jak ji definoval Nick Bostrom, která překročí všechny biologické limity člověka, a tak dojde okolo roku 2045 k technologické singularitě, jak ji predikoval futurolog Ray Kurzweil?
DK: Yoshua Bengio, nositel Turingovy ceny a jeden z takzvaných „kmotrů AI“, tvrdí na základě extrapolace ukazatele plánování, že AGI dosáhneme do roku 2030. Samotné definice ASI se různí. Každopádně AI zlepšující AI může natolik akcelerovat technologický vývoj, že se ASI dočkáme mnohem dříve, než to odhaduje Kurzweil.
MJ: Vzhledem k současné trajektorii bych ji čekal tak o 10 až 15 let dříve. Doufám, že se pletu.
Tento článek mohl vzniknout jen díky podpoře čtenářů
Podpořte nás