Stroj na propagandu za 400 dolarů postavili dva lidé za měsíc

Výzva, aby se přestala trénovat AI, byla firemní tisková zpráva

Když svět překvapily schopnosti GPT-4, objevila se řada otevřených dopisů, které žádaly zastavení dalšího vývoje. Časopis Time otiskl úvahu, podle níž by Spojené státy nebo NATO měly bombardovat datová centra, kde se jakákoliv AI trénuje, protože je to příliš nebezpečné. Think tank Center for AI Safety vydal jedinou anglickou větu bez jakéhokoliv kontextu, kterou podepsaly stovky lidí včetně Sama Altmana z OpenAI: předcházení riziku vyhynutí ze strany AI by mělo mít stejnou prioritu jako pandemie nebo nukleární válka. Josefa Holého, který se s Alexandrou Alvarovou věnuje propagandě a emoční manipulaci, na té větě zaujalo něco jiného než obsah. Jsou v ní tři silně emočně nabité pojmy, vyhynutí, pandemie a nukleární válka. Podle Holého jde o čítankový příklad emoční manipulace a hlavně o něco úplně jiného než o záchranu lidstva.

Ten účel se jmenuje regulatory capture. Firmy vědí, že regulace přijde, a chtějí u jejího psaní sedět. Podařilo se: na senátním slyšení se sešly hlavy největších technologických firem a zákonodárcům se to líbilo. „Je potřeba se na to koukat jako na korporátní komunikaci, na nějakou snahu dosáhnout obchodních cílů," říká Holý.

Kolik hmoty spotřebuje jedna otázka položená ChatGPT?

Mnohem víc, než se zdá. Holý ukazuje vizualizaci hlasového asistenta Amazon Alexa od srbského umělce, která rozkresluje, co všechno musí existovat, aby jedna krabička odpověděla na dotaz o počasí. Aby vznikly čipy, dráty a paměti, potřebujete drahé kovy. Velká část se jich těží v subsaharské Africe a v Číně, tedy často v nestabilních režimech. Právě na subsaharskou Afriku se v posledních letech vojensky i propagandisticky soustředila Wagnerova skupina, která tam ovládla několik režimů kvůli dolům s drahými kovy. Páteř internetu tvoří 900 tisíc kilometrů optického kabelu položeného napříč světem, tedy kritická infrastruktura zranitelná stejně jako plynovod Nord Stream. Datová centra se staví u velkých vodních elektráren kvůli levné energii a Microsoft s Billem Gatesem investuje do modulárních jaderných reaktorů.

Nejnázornější je voda. V Ohiu, kde OpenAI provozuje datové centrum, začala farmářům chybět spodní voda, protože chlazení při trénování GPT-4 ji vysálo rychleji, než se stíhá doplňovat. „Z té eterické úrovně sestupujeme úplně hluboko do špinavých dolů, kde je dětská práce," shrnuje Holý.

ChatGPT nic neví, jenom předpovídá další slovo

Dnešní generativní modely stojí na třech krocích. V roce 2012 ukázali Geoffrey Hinton, Ilja Sutskever a Alex Krizhevsky, že hluboká neuronová síť natrénovaná na velkém množství obrázků pozná, jestli je na fotce kočka, nebo pes. V roce 2013 publikoval Tomáš Mikolov, tehdy v Googlu, práci Word2Vec: slova se převedou na čísla v mnohorozměrném prostoru, blízká slova leží blízko sebe a najednou lze s jazykem počítat. Odtud pochází slavný příklad, kdy král minus muž plus žena vrátí královnu. V roce 2017 přidal Google transformery a OpenAI z toho postavila velké jazykové modely. Jejich funkce ale není být chytrý. Model jen predikuje statisticky nejpravděpodobnější další slovo. Praha je hlavní město Česka proto, že to tak stojí v dostatečném množství textů, ne proto, že by to stroj věděl.

Proto modely halucinují. Holého kamarád nechal ChatGPT napsat medailonek k úmrtí režiséra Juraje Jakubiska, aby mohl vyrazit s dětmi na výlet. Text vypadal dobře, byly v něm důležité filmy i zmínka o zákazu v sedmdesátých letech. Když si pak ověřil dva dokumenty, které měl Jakubisko v té době točit, Geparda na střeše a Život mezi vagony, zjistil, že ani jeden film neexistuje. „Je to celý jenom statistika, čili zajištěný to není," říká Holý. I Stephen Wolfram v obsáhlé práci o fungování GPT přiznává, že tomu empiricky nerozumíme.

Jak z vašich textů na internetu vznikne manipulace na míru?

Základem každé digitální manipulace je behaviorální profil. Připomeňme kauzu Cambridge Analytica, kde posloužila data zhruba 230 milionů Američanů k cílení politické reklamy Donalda Trumpa i kampaně za brexit. Profily pracují s modelem osobnosti, obvykle s velkou pětkou, tedy s mírou neuroticismu, otevřenosti nebo extroverze. Josef Šlerka ukázal v článku Manipulace na míru pomocí AI na webu Investigace.cz, jak levné to dnes je. Vytvořil promptem o velikosti zhruba dvaceti kilobajtů virtuální personu doktorky Emily Thomson, zkušené psychoanalytičky. Té pak předložil text Václava Klause a nechal si vrátit jeho osobnostní profil. Vyšla konzervativní osobnost s vyhraněnými názory a narcistními rysy. V dalším kroku model napsal Klausovi na míru phishingový e-mail jménem zahraničního think tanku se studií, která podpoří jeho názory.

Stejný trik funguje na skupiny. MIT a Harvard nakrmily model články z Foxu a z liberálních médií a zjistily, že odpovědi dobře odpovídají tomu, co by řekli skuteční příznivci republikánů a demokratů. Politický marketér tak nemusí platit focus groupy, stačí mu znát mediální dietu cílové skupiny. „Pokud vím, co čteš, tak vím, kdo jsi," komentuje to Holý. Stanford s Googlem šel ještě dál a nechal jazykový model řídit postavičky ve hře podobné Sims. Jedné z nich zadali jedinou větu, ať kandiduje na starostu. Od té chvíle o tom mluvila s každým, koho potkala, objevil se protikandidát, postavy si začaly vyměňovat pomluvy a jedna uspořádala večírek, na který někoho schválně nepozvala.

Dva lidé postavili stroj na propagandu za měsíc a 400 dolarů

Projekt CounterCloud vznikl jako varování. Dvojice autorů, kteří odmítají odkrýt svou identitu a z nichž programoval jen jeden, postavila za měsíc práce a 400 dolarů za výpočty systém, který si sám hlídá zadanou množinu zdrojů. Jakmile vyjde nový článek nebo tweet někoho vlivného, model k němu vygeneruje oponentní text, do kterého lze podle potřeby přimíchat fake news. Nemusíte mu zadat, ať dělá ruskou propagandu, stačí říct, ať napíše protiklad. Autoři nechali stroj běžet měsíc a hotové články ukládali do šuplíku, aby veřejný prostor neovlivnili. Ukázky jsou dodnes na countercloud.io. Holý dodává, že do systému chybí jediný díl. Kdyby texty někdo pouštěl ven a měřil, co lidé lajkují a sdílejí, a tuhle zpětnou vazbu vracel zpátky do modelu, propagandistický stroj by se učil sám a šel by ladit směrem k větší radikalizaci.

Deepfakes jsou podle Holého jen vrcholek ledovce

Aféra s vygenerovanými pornografickými obrázky Taylor Swift, které zaplavily internet, konečně přiměla zákonodárce, aby si problému všimli. Jenže obrázky s šesti prsty a špatně poskládanými končetinami jsou to nejmenší. Pár dní před přednáškou představila OpenAI model Sora, který z jednoduchého textového zadání generuje až minutová videa. Průlom není v ostrosti, ale v konzistenci: postavy a předměty se v čase nerozpadají, kamera se hýbe, scéna rozumí prostoru. Podle všeho k tomu posloužila i syntetická data z herního enginu Unreal Engine 5, který umí fotorealistickou kvalitu. Holý u toho podotýká, že během pěti let bude muset radikálně změnit fungování řada reklamních agentur a produkčních firem, protože přesně tuhle kvalitu dnes prodávají za velké peníze.

„Najednou se zdemokratizují, zkomoditizují nástroje pro vytvoření jakékoliv reality, abych to řekl úplně jasně," říká Josef Holý.

Obrana zatím pokulhává. Detektory generovaného obsahu fungují, ale je to závod ve zbrojení podobný virům a antivirům. Neviditelné vodoznaky obejde každý, kdo si stáhne otevřený model a dotrénuje si vlastní. Schůdnější cesta podle Holého vede opačně. Vlády, instituce i velké firmy by měly svá vlastní videa a prohlášení neměnně označovat, aby si divák mohl ověřit, že premiér opravdu řekl to, co slyší.

Facebook smazal za jediný rok 5,8 miliardy falešných účtů

Tohle číslo Holý uvádí za rok 2022 s poznámkou, že možná platí jen pro Facebook. V jedné chvíli firma odstraňovala kolem dvou miliard účtů za čtvrtletí. Slabá identita přitom není technická nemohoucnost, ale rozhodnutí. Silné ověření by bylo bariérou pro nové uživatele, tak platformám stačí telefon nebo e-mail a obrázkovou kapču za vás vyřeší klikací farma. Vedle krize identity běží krize kvality. Center for Informed Public analyzovalo nejvlivnější účty na síti X během prvních tří dnů po útoku Hamásu na Izrael. Mezi první desítkou nebylo jediné tradiční médium, žádná Reuters ani AP News, zato anonymní účty. Dohromady nasbíraly 1,6 miliardy zhlédnutí. Důvěryhodná média měla za stejnou dobu 112 milionů, tedy patnáctkrát méně.

Za tím vším stojí algoritmy stavěné na pozornosti. Prioritu nedostává pravdivý obsah, ale emoční. „Pokud jste ten manipulátor, tak vy tu lež obalíte správnou emocí," popisuje Holý mechaniku, která rozhoduje o tom, co se šíří. Lež letí rychleji než pravda, protože pravda je zpravidla nudná a skládá se z faktů. Výsledek shrnuje jednou větou: „Nám se rozbíjí sdílená realita."

Co dělat, když příbuzný přeposílá řetězové e-maily?

Jeden z posluchačů popsal, že mu dvě vrstevnice pravidelně posílají řetězové zprávy proti demokracii a Evropské unii, on jim to vyvrací a stejně vidí, že tomu věří dál. Holý radí na to neplýtvat energií. Babička dostává deset až dvacet takových zpráv denně, zatímco vnuk zavolá jednou za měsíc a přijede na oběd jednou za čtvrt roku. Není to výčitka, tak to prostě je, jenže poměr sil je předem daný. Kdo spadne do alternativní reality, potřebuje spíš deprogramování jako člověk vytažený ze sekty, metody manipulace jsou v obou případech hodně podobné. Praktická rada zní předplatit takovému člověku noviny s dobrou křížovkou, aby aspoň jednou týdně přišlo do domu něco jiného.

A hlavně si tím nenechat rozbít rodinu. „Krev není voda, to je výhoda proti těm dezinformátorům," říká Holý. Je poctivé oznámit, že tohle mi neposílej, myslím si něco jiného, a pak si Vánoce užít u Popelky místo hádky o Ukrajinu. Systémové řešení vidí jinde. Evropská unie zakázala v AI Actu praktiky, které jdou přímo proti demokracii, mezi nimi biometriku v reálném čase a čínský sociální kredit. Sám sebe označuje spíš za zastánce trhu, přesto se nejvíc bojí centralizace moci. Standard Oil kdysi rozřezali na kusy a Holý čeká, že totéž nakonec bude potřeba udělat i s dnešními technologickými koncerny.