Již je to víc než rok, kdy společnost OpenAI představila svou umělou inteligenci (AI) ChatGPT a laická veřejnost si poprvé uvědomila možnosti této technologie. Ta se od té doby zlepšuje mílovými kroky. Stále dokonalejší generátory obrázků i videí, napodobování hlasu, ale třeba i strach z ideologické manipulace, to vše je již součástí veřejného diskurzu.

O zdánlivě rapidním vývoji umělé inteligence a dopadech na společnost debatovali Josef Šlerka, vedoucí oboru studia nových médií v Ústavu informačních studií a knihovnictví na Filozofické fakultě UK, Marian Kechlibar, matematik a publicista, Tomáš Rosa, hlavní kryptolog kompetenčního centra skupiny Raiffeisen Bank International, a David Herel, student na Českém institutu informatiky, robotiky a kybernetiky na ČVUT.

Stáhnout MP3

Před pár týdny OpenAI, lídr ve vývoji umělé inteligence, představil Soru, program, který dokáže textové zadání převádět přímo na video. Jen tři dny předtím Yann LeCun, šéf vývoje v Metě neboli Facebooku, tvrdil, že něco takového je v blízké době nemožné. Překvapil vás rychlý vývoj umělé inteligence zhruba v posledním roce?

Herel: Nejsem si jist, v jakém kontextu to řekl, podobné technologie jsou tu již pár let a na konferencích jsem to vídal relativně často. Ale jinak mě to nepřekvapilo. Je to další inkrementální vývoj té technologie. Podle mě se tam nic revolučního nestalo a jenom se inkrementálně zlepšila kvalita dat, víc tréninkových dat, víc anotátorů a možná malinko lepší hyperparametry, ale střeva strojových učení jsou pořád stejná.

Rosa: Tak já si dovolím být obecnější a říct, že mě za posledních několik let v AI nepřekvapilo nic. Překvapila mě reakce lidí na to, co se stalo.

Šlerka: A to já to mám obráceně. Mě reakce lidí nepřekvapila. Mě nejvíc překvapila míra demokratizace té technologie. Já jsem si na začátku minulého roku říkal, že ta chvíle, kdy nějaké snesitelné obecné jazykové modely budeme schopni pouštět víceméně na noteboocích, je ještě daleko, a zdá se, že není.

Rosa: Moje pozadí je matematické modelování bezpečnosti a v tomto kontextu jsme zvyklí na ledacos. To, jak rychle se AI vyvíjí, má ve svém genomu. Překotné skoky nahoru, pak také přichází něco, čemu se říká zima v AI, a já už začínám cítit, že fouká ze strnišť. Vždy se to překotně pohne kupředu, lidé si k tomu dosadí spoustu poněkud nereálných očekávání a potom jsou zklamaní.

Herel: Myslím si, že rozdíl proti jiným AI zimám nyní je, že umělá inteligence generuje miliardy dolarů a firmy jako Google ji používají k doporučování reklam, videí. Takže si myslím, že taková zima, jako nastala, dřív rozhodně nebude, a jestli bude, tak mírnější.

Kechlibar: My jsme se dnes bavili mezi programátory o použití ChatGPT-4 a musím si říct, že jsem byl překvapen, jak starší veteráni tím byli nadšení, že oproti 3,5 když tomu člověk zadá prostředí PHP 7, nikoli 8, a potřebuju roztáhnout tady to políčko bootstrapu…

Prosím o vysvětlení některých termínů pro čtenáře, kteří nejsou zběhlí v programování.

Kechlibar: To bude poměrně obtížné, bavit se na totální metaúrovni, ale prostě tomu programátorovi to může i dvakrát zvyšovat produktivitu.

Rosa: Otázka je, co to přinese vedle toho a jak k tomu přistoupit racionálně. Já se snažím tvrdit, že v podstatě máme tady dva extrémní pohledy. Jedni by nejradši zakázali všechno a druzí se chovají jako šaman, který právě objevil zázračnou bylinu a domnívá se, že vyléčí úplně všechno.

Šlerka: Můžeme se bavit o tom, jestli očekávat nějaké průlomy v samotných technologiích, které by skokově něco zase změnily, nebo jestli znalostně přijde zima. Ale to, co se přihodilo, je demokratizace té technologie, která vlastně proniká skrz společnost. A vlastně i kdyby se v tuto chvíli vývoj zastavil, tak ta disrupce, kterou to přináší na trh, začíná být vidět a nevím, kdy se to zastaví. To, že to vstoupilo tak radikálně do společnosti, kdy si každý za 20 dolarů může tu věc pořídit, to je srovnatelné s nástupem internetu do domácností nebo smartphonu iPhone, který předefinoval užívání. To mám na mysli.

Rosa: Mě překvapuje, že to lidé chtějí. Mě překvapovalo, jak lidé chtěli moc GPT 3,5, kterou když si člověk vyzkoušel, tak pro dva večery dobrá zábava, ale pak zjistil, že má lepší věci na práci. Ale lidi to prostě omámilo. Já tomu říkám efekt plyšáka. Jak kdyby malé dítě vidělo plyšáka a najednou si myslí, že to je živý tvor, který si s ním bude hrát a povídat.

Herel: My jsme věděli, že GPT má schopnost těchto věcí, ale nikdo, ani tvůrci OpenAI, si nemyslel, že to bude tak populární a že to během noci vystřelí do oblak.

Mluvíme tu o nějaké technologické zimě, ale můžeme říct, kde jsou limity té technologie? Je to pouze nedostatek výpočetního výkonu? Mezi laickou veřejností jsou přítomny hlavně dvě velké obavy. První z masivní ztráty zaměstnání, že AI nahradí nejrůznější profese. A druhá, že se z toho stane cosi jako Skynet z Terminátora, který bude ohrožovat lidstvo.

Kechlibar: Mám takový mírný pocit, že jeden bottleneck je hardware, že opravdu budou potřeba výkonnější procesory. A druhá věc je (obrací se na Davida Herela), že není dostatek doktorandů jako vy. Fakt těch lidí je málo a na starém kontinentě extra málo. Upřímně si myslím, že větší dopad než text bude mít obraz. A to i zpracování obrazu nebo analýza obrazu. Včera jsem seděl na nějakém semináři o korespondenční volbě a říkal jsem právníkům, že si nejsem jist, zda bude ještě existovat něco jako neprosvítitelná obálka, když už teď je možno vzít spálený svitek z Herculanea, totální uhel na uhlu, který je starý 2000 let, a přečíst ho. Takže za pět či deset let může nějaký Írán, který s tím nebude mít žádné morální problémy, skenovat veškerou fyzickou poštu a pomocí AI ji zanalyzovat a roztřídit. Z hlediska StB nebo Stasi je to splněný sen. Ještě si ani neumíme představit všechny důsledky této skutečnosti. Věci, které se daly dělat manuálně, ale extrémně pomalu, by teď šly automatizovat. Stejně tak se mluví o takzvaném planetárním vyhledávači. Budete mít dejme tomu Starlink, plánovaný na 30 až 40 tisíc satelitů a osazený v dalších generacích kamerami. Myslím, že už druhá generace má kamery. Nevidí všechno, ale když je jasno, tak mu můžete zadat, kam se pohnulo určité auto za posledních čtrnáct dní. To je docela velká síla.

Herel: Široká veřejnost má často problém rozlišovat mezi tím, co o AI říkají PR lidé, a tím, co to ve skutečnosti znamená. To, co si široká veřejnost představuje pod umělou inteligencí, ve skutečnosti nemáme. Máme strojové učení, to může být hodně užitečné například ve zdravotnictví nebo v generování obrázků. Tam je obrovský potenciál, ale něco jako Skynet nebo nějaká samovyvíjející se umělá inteligence to rozhodně není a máme k tomu strašně daleko. Muselo by dojít k několika skokovým zlepšením v mnoha oborech a nikdo neví, jak toho dosáhnout. Takže umělá inteligence rozhodně ne, Skynet ne.

Šlerka: Je mnohem lepší o tom uvažovat jako o nějakém novém druhu počítače. Počítač není nástroj, který plní určitou úlohu. Kdybychom se před čtyřiceti lety ptali, jakou práci nám vezme počítač, tak to bude znít podobně, jako když se dnes ptáme, jak to dopadne s velkými jazykovými modely. Protože teprve teď se ukazuje, co s tím jde dělat, do jakých oblastí to může zasáhnout, do jakých ne. Může to taky spoustu pracovních míst třeba i vytvořit. Není to nástroj jako foťák nebo hoblík, je to metanástroj.

Kechlibar: Je to multiplikátor duševní síly.

Rosa: Pro mě to vyžaduje chápat počítač jako součást hardwaru a softwaru dohromady, protože jinak je pro mě AI jen způsob programování počítače. A to ne z toho důvodu, že bych vaši analogii chtěl bořit, ale proto, abych rezervoval místo pro kvantové počítače, které podle mého názoru jsou ten nový typ počítače. A pokud ten bude takhle demokraticky přijat a každý si bude moct faktorizovat doma velká čísla, tak si myslím, že se s kolegou Kechlibarem teprve zapotíme. Co se týká té zimy, tak ta vždy byla odstartovaná spíš zklamáním z výkonu než strachem. Takže já si nemyslím, že zimu tady nastartuje strach. To je vlastně to, co tady rezonuje od začátku té debaty asi nejvíc. Vezměme si třeba výkonnost takové architektury typu Transformer, která má překládat texty. Když se dostane třeba na 75% úspěšnost sémanticky správného překladu, tak dnes budeme velmi pravděpodobně slavit. Ale když si vezmete, že by to měla být nějaká služba v oblasti, kde musíte poskytovat velmi přesné informace, tak 75 % je strašně málo.

Kechlibar: Na jednu stranu ano, jakmile na tom záleží skutečně byznysové rozhodování, tak máš jednoznačně pravdu. Ale když jsem turista a nacházím se někde v Ománu a vidím arabský nápis a naskenuju si ho a ono mi to přiloží „Nevěřící pse, nechoď sem“, tak tam nejdu a ušetřil jsem si problémy. To je silný způsob využití, protože i když ten překlad nebude stoprocentní, patrně nebude takový, aby člověka zabil. A z tohoto hlediska je to pořád ještě vysoká přidaná hodnota.

Pan Herel nás bohužel musí opustit. Chcete něco říct, než odejdete?

Herel: Myslím si, že hodně kontroverze vyvolává to, že společnosti, které vyvíjejí tuto umělou inteligenci, to strojové učení, tam mohou propagovat svoji ideologii. To znamená, že pokud se zeptáte jazykového modelu na něco, tak neodpoví, jak to viděl v tréninkových datech, ale odpoví tak, jak vlastně chce ta společnost. To znamená, že bych úplně nevěřil všemu, co generuje, protože oni mohou ten model modifikovat tak, aby se choval tak, jak chtějí. Takže na tohle bych si dával pozor a tohle nás možná přiblíží víc té zimě než nějaký technologický nedostatek.

Šlerka: Já navážu na to, co říkal Marian, protože mi to přijde vlastně důležité v jednom momentu. My jsme se dostali do oblasti, kdy se rozchází pohled na to, jak změřit, jestli je to udělané dobře, nebo ne. Akademická a bezpečnostní sféra má své metriky, tak v měkké oblasti, třeba v tom příkladu, co uvedl Marian, najednou nemáme v tuhle chvíli žádný obecně sdílený standard, jak měřit, jestli je to dobře, nebo ne, kromě nějaké intuice.

Byl jsem před pár týdny v USA, kde jsem mluvil s lidmi, kteří se věnují diplomacii a umělé inteligenci. Mluvili tam o tom, jak jezdí po světě a snaží se o nějakou standardizaci a regulaci se svými partnery. Já jsem jim položil otázku, jak donutí Čínu, aby souhlasila s americkými standardy a regulacemi, a na to neměli odpověď.

Šlerka: Možná ji i donutí souhlasit, ale nedonutí ji to dodržovat.

Tak jsem se chtěl zeptat, jestli je nějaká regulace umělé inteligence podle vás nevyhnutelná? Je nutná? A je prosaditelná?

Rosa: Máme tady evropský AI Act, který brzy spatří světlo světa a kolem roku 2026 bude i účinný, což je takové poměrně komplexní právní opatření, které vzniklo ještě mnohem dřív, než byly popularizovány velké jazykové modely. Ta regulace se soustředila čistě na zneužití umělé inteligence proti lidem. Ona definuje několik kategorií podle rizikovosti a některé jsou naprosto zakázány, například je zakázáno, aby si soukromý subjekt udělal síť kamer, která bude rutinně sledovat dění a identifikovat obličeje osob. Naproti tomu, jestli se nepletu, modely na zpracování přirozeného jazyka patří do druhé nejméně rizikové kategorie.

Šlerka: Problém je, že AI dneska nevysílá ve vzduchoprázdnu. Je součást nějaké světové geopolitiky. Počínaje tím, že výroba čipů je koncentrovaná na Tchaj-wanu. Najednou se z Tchaj-wanu stává boj o vodu. Nikoli ideologická záležitost, ale velmi praktická záležitost. Adekvátní odpovědí v té regulační oblasti by bylo zajistit plnou transparentnost trénovacích dat modelů. Jenže tohle prudce naráží na to, že se z toho stala zbraň, kterou mají v ruce Spojené státy a západní svět ve sporu primárně s Čínou, protože Rusko je v tomhle ohledu mimo tu geopolitickou hru. V tu chvíli přichází názor Nic zveřejňovat nebudeme, protože tím budeme akcelerovat výzkum protivníka.

Rosa: Když budete něco publikovat, tak můžete významně nahrát konkurenci a poškodit tím sebe. Google by o to mohl vyprávět. Protože dva stěžejní články, na kterých je současné GPT postaveno, jsou z výzkumného týmu Google.

Kechlibar: Už teď se tvrdí, že Číňani do svých modelů velice selektivně ládují data, aby tam nebyla ani zmínka o tom, že se někdy něco stalo na Tchien-an-men. A bude docela zajímavé sledovat tenhle vývoj. Podle mě bude tlak na to, budovat alternativní světy a nasazovat je do škol. Protože jedna z věcí, které se obecně ukázaly, je, že jeden z nejúčinnějších způsobů, jak učit děcka, je školení jeden na jednoho, proto aristokrati zaměstnávali guvernantky. A v budoucnosti může umělá inteligence hrát i roli školitele. Dokud bude jenom učit, jak se dělají Thaletovy kružnice, tak nemám obav. Ale jakmile bude nalévat do nových generací dětí jediný správný světonázor, tak to může být fakt docela šílené.

Šlerka: Jiná věc je, že základem toho je nějaká univerzální distribuce řetězců v celkovém prostoru. A je otázka, jestli když z něj zmizí jenom Tchien-an-men, tak jestli vlastně v těch vektorech nezaujme jeho místo nějaký jiný. A zrovna v Číně, která je pověstná schopností převádět symboly mezi sebou, si trošku myslím, že je to úsilí, které bude naprosto k ničemu.

Rosa: Mohlo by se to obrátit nakonec proti nim podobně jako přeškolení Gemini.

Možná přibližme čtenářům, o co jde. Gemini je nová umělá inteligence od Googlu, která má konkurovat ChatuGPT od OpenAI. Ukázalo se ale, že je ideologicky zatížená a posedlá diverzitou, až je v podstatě nepoužitelná. Například na příkaz generovat obrázky vojáků wehrmachtu generovala černochy a Asiatky v nacistických uniformách. Jak naznačoval pan Herel před svým odchodem, nemáte právě z tohoto strach, že umělá inteligence dokáže ovlivňovat naši realitu? Jistě, Gemini je nyní smíchu, ale viděl jsem již lidi odkazovat se na umělou inteligenci jako na zdroj pravdy.

Šlerka: To jsou podle mě dvě různé věci. To, co se stalo s Gemini, je normální korporátní selhání, které bylo vedené možná nějakými úmysly, ale vlastně naprosto nedomyšlenými. Byl to manipulativní vstup do hry. Při pohledu na pětiprocentní propad akcií Googlu si spousta lidí rozmyslí tato rozhodnutí dělat.

Rosa: Velmi paradoxní je, že v učebnici moderní umělé inteligence, jejímž spoluautorem je současný šéf výzkumu Googlu, se hned na začátku zmiňuje takzvaný Midasův problém, s nímž se často setkáváme v oblasti AI. Čili že naše přání je splněno beze zbytku a pak se sami divíme, co to vlastně znamená. A tady bylo patrně přání, poměrně korektní a bohulibé, prosadit diverzitu. Ale ten výsledek byl přesně, jako když se král Midas dotkl všeho a ono se mu to změnilo ve zlato.

Šlerka: Problém je, že to, co se děje v těch velkých jazykových modelech, jsou komplexní procesy, nikoli komplikované. Inženýři nedomýšlejí míru komplexity toho systému. Nikoli že je to jenom komplikované, tak to přesně vyprecizujeme. Ne, naopak, s každým vyprecizováním se otvírají další a další dveře do mnohem obskurnějších a větších průšvihů.

Rosa: Tohle ale není první takový případ. Už se to stalo mnohokrát, jen to nebylo tak na očích.

Šlerka: Dlouhodobě víme, že ty různé systémy strojových učení mají tendenci reprodukovat zkreslení. Bodejť by to nedělaly, když je to přítomné v těch datech. A v oblasti AI etiky se o tom vedou roky debaty. Takže ve chvíli, kdy se zjistí, že jsou tam předpojatosti, tak se přijde s nápadem: Tak to vyřešíme tím, že se těch předpojatostí zbavíme. Akorát tím se vyřeší přesně jako co? Tím se vytvoří představa, že svět je, jaký má být, místo toho, jaký je. Jeden z výzkumů ukazoval, že když se požádá jeden z těch generátorů, aby vygeneroval obrázek Američana, který dostává potravinovou pomoc, tak v 70 % vygeneruje černocha, nechytejte mě za čísla, ve 30 % bělocha. Přičemž ten poměr v USA je obrácený. A to je průšvih. No jo, ale tak se pojďme bavit o tom, proč je to přítomné v trénovacích datech. Bavme se o tom, že ta trénovací data jsou nějakou reprezentací světa. Ale nevyřešíme to tím, když řekneme Drž diverzitu za každou cenu.

Rosa: Ale to není první situace, kdy si lidé mysleli, že jednoduchým zásahem do komplexního systému se dá něco spravit.

Šlerka: Kolem AI a velkých jazykových modelů jsme nyní svědky toho, jak politika vrací úder. Ty firmy mají tendenci to chápat jako inženýrský problém. I v odpovědi se šéf Googlu omlouvá, že Gemini generovalo široké spektrum ras i v případech, kdy to nebylo žádoucí. Jako kdyby říkal: Máme různé typy proměnných, na některé typy reagujeme škálou a na jiné kategoriemi. Problém je, že jsme to špatně jako nadefinovali. Ale ve skutečnosti je to otázka jak politiky, tak policy. Nějak se řešit musí. Kdyby OpenAI nezakázalo ChatuGPT poskytovat návody, jak uvařit piko, tak bude mít velmi rychle poměrně solidní problém s FBI. Takže něco udělat musí, ale kde je ta hranice? A druhá věc, ty stroje nemají žádnou etiku, ty stroje nemají žádnou morálku, to je tam vtěleno potom a lidé mají pocit, že ten počítač něco říká. Ne, neříká, on neví o světě nic, to je jenom snílek, kterému dáváme pokyn. On nemyslí, on odhaduje.

Možnost, kdy se mluví o zneužití umělé inteligence, je generování falešných obrázků. Viděli jsme to třeba již nyní ve válce v Gaze, některé vygenerované obrázky byly předkládány jako zaznamenání skutečnosti. Dá se s tím něco dělat, nebo se s tím prostě musíme naučit žít?

Kechlibar: Je to reálný příklad, jak skoro každou technologii dokážou využít podvodníci. Takové ty případy, že falešný ředitel volá: Proveďte okamžitě převod za 20 milionů, už byly i u nás. Tomuto typu podvodu se bude poměrně těžce bránit, protože jsme intuitivně zvyklí, že když je to na obrazovce a mluví to hlasem naší mámy, že je to naše máma. Ale už to tak nutně nebude.

Šlerka: Obrazy nejsou pravdivé nebo nepravdivé. Obraz nic netvrdí. Obraz něco vyobrazuje. A problém je, že my máme mentální návyk, že když je to na obrazovce, tak to chápeme jako tvrzení. To nás velmi rychle přejde. Během pár let ztratí obraz v mediální gramotnosti tento status a to bude také řešení problému s fenoménem deepfake a podobně. Lidé postupně přestanou věřit obrazu jako něčemu, co reálně popisuje skutečnost. Já budu happy, protože to prostě tak není. Do té doby, než se to stane, umím si představit, že to může přinést spousty problémů.

Nebude nakonec větší problém, že lidé nebudou věřit pravdivým obrázkům a rozšíří se všeobecná nedůvěra ve společnosti, kdy všechno bude nazíráno jako možný fake?

Rosa: To je problém statistického testování hypotéz a problém kompromisu mezi chybami prvního a druhého druhu. Toho se nezbavíte. Akorát se budete bavit o tom, jestli budete spíš důvěřivější, nebo spíš opatrnější. Ale principiálně se dá dokázat, že když budete potřebovat klasifikovat věci na pravda, nepravda nebo falešná pravdivá informace, tak se prostě nezbavíte toho, že můžete udělat jednu nebo druhou chybu, a nezbavíte se toho, že nemůžete nezávisle na sobě obě libovolně minimalizovat. To prostě v té přírodě je.

Kechlibar: Ano, ale na frekvenci záleží.

Rosa: Vybereš si svůj bod na křivce.

Kechlibar: Jedno falešné video za měsíc se skousne, 90 falešných videí za den už je šílenství.

Šlerka: Držel bych se toho, že důvěra je levnější náhražka kontroly. Důvěřujeme, protože je to levnější. To je celkem jednoduché. A občas tu kontrolu outsourcujeme na nějaké vedlejší služby. Spam filtr v mailu je outsourcing kontroly na nějakou službu, která to dělá. Takže já si myslím, že to, co se bude objevovat, budou nějaké služby typu spam filtru. Čili jedna reakce bude, že to nakonec stejně bude rozhodovat AI. Takže to bude AI proti AI a v zásadě to je v pořádku. A ta druhá věc je, myslím si, že dojde k většímu nárůstu otázky důvěry ve zdroj. Pozornost se přesune na zdroj, a ne na zprávu. Čili já si myslím, že to bude kombinace těchto dvou věcí. To znamená zvýšení důvěry ve zdroje a zároveň nějaké varianty spam filtru.

Kechlibar: Čekal bych, že filtry, pokud si to budou lidi upravovat, tak to nebudou spam filtry, ale předpojaté filtry. Budou si volit, co chtějí číst.

Šlerka: Hele, ale to už ti dneska stejně dodává Facebook.

Rosa: Ano. To dělá ten systém za tebe. To můžeš být v klidu.

Blížíme se ke konci. Chcete dodat něco, co tady nezaznělo?

Rosa: Nedostali jsme se k útokům na AI samotnou, protože úmysl do toho robota, aby vám nějakým způsobem škodil, nemusí nutně totiž vnést jeho autor, ale může ho tam vnést nějaký útočník a o to to bude horší, protože ten autor může být i důvěryhodná instituce a na první dobrou nepoznáte, že ten jeho model je takzvaně „otrávený“. Když teď po nadšení z chatbotů přichází vystřízlivění, tak se domnívám, že během tohoto roku ještě přijde i téma, jak napadnout AI samotnou a co to pro nás může znamenat.

Kechlibar: Škoda že už tu není David, protože by bylo zajímavé se ho zeptat, jak se aktuálně pracuje na tom, aby nešlo z těch AI třeba zpětně vytáhnout nějaké informace. Představte si, že advokát napíše do AI „Voráček zabil Nováka, ale policie mu sežrala falešné alibi“. A o čtrnáct dní později to někomu skončí na stole v Echu24. Nejsem si jist, jestli tomu půjde úplně zabránit, jestli tu nastane „chirurgie“, která se bude snažit z těch modelů vytáhnout informace.

Rosa: Donutit model, aby se něco naučil, není zdaleka tak složité jako donutit model, aby něco zapomněl. To prakticky nejde.

Kechlibar: My ani nevíme, co umí. Zatím neumíme zjistit, jak se něco ty věci naučily, to je docela znepokojující. Někdy jsou to úplné záhady. Třeba AI model se naučil rozeznávat ženské a mužské sítnice u zdravých lidí. A neví se proč. My vůbec nevíme, že by byly anatomicky rozlišné, ale on si něčeho všiml, jenže to nedokáže vysvětlit.