REPCO

Paul Nemitz je vedoucím poradcem generálního ředitelství Evropské komise pro spravedlnost a profesorem práva na Collège d'Europe. Je považován za jednoho z nejuznávanějších evropských odborníků na digitální svobodu a vedl práce na obecném nařízení o ochraně osobních údajů. Spolu s Matthiasem Pfefferem je také autorem Člověčí imperativ: moc, svoboda a demokracie ve věku umělé inteligence, eseje o dopadu nových technologií na svobody jednotlivce a společnosti. 

Voxeurop: Řekl byste, že umělá inteligence je pro demokracii příležitostí nebo hrozbou a proč?  

Paul Nemitz: Řekl bych, že jedním z velkých úkolů demokracie v 21. století je kontrola technologické moci. Musíme si uvědomit, že moc je třeba kontrolovat. Existují dobré důvody, proč máme právní historii kontroly moci společností, států nebo v exekutivě. Tento princip se jistě vztahuje i na umělou inteligenci.

Mnohé, ne-li všechny technologie v sobě nesou prvek příležitostí, ale také rizika: známe to z chemických látek nebo atomové energie, a právě proto je tak důležité, aby demokracie převzala odpovědnost za to, jakým způsobem se technologie vyvíjejí, jakým směrem by se měly inovace ubírat a kde mohou být hranice inovací, výzkumu a využití. Máme za sebou dlouhou historii omezování výzkumu, například v oblasti nebezpečných biologických látek, genetiky nebo atomové energie: to vše bylo velmi silně zarámováno, takže není nic neobvyklého, že se demokracie podívá na nové technologie, jako je umělá inteligence, zamyslí se nad jejich dopadem a převezme odpovědnost. Myslím, že je to dobře.

Jakým směrem by tedy měla být umělá inteligence regulována? Je možné regulovat umělou inteligenci pro obecné blaho, a pokud ano, jaké by to mělo být?

Paul Nemitz: V první řadě je to otázka nadřazenosti demokracie nad technologiemi a obchodními modely. O tom, jak vypadá společný zájem, se v demokracii rozhoduje právě prostřednictvím tohoto procesu v demokracii. Parlamenty a zákonodárci jsou místem, kde se rozhoduje o tom, jakým směrem se má společný zájem ubírat: zákon je nejvznešenějším mluvícím aktem demokracie. 

Před několika měsíci, když byla řeč o regulaci a umělé inteligenci, napsali někteří technologičtí magnáti dopis, v němž varovali vlády, že umělá inteligence může zničit lidstvo, pokud nebudou existovat žádná pravidla, a žádali o regulaci. Mnozí kritičtí odborníci jako Evgenij Morozov a Christopher Wylie však ve dvou článcích, které jsme nedávno zveřejnili, tvrdí, že tito technologičtí giganti hrozbou zániku způsobeného umělou inteligencí ve skutečnosti odvádějí pozornost veřejnosti a vlády od aktuálních problémů s umělou inteligencí. Souhlasíte s tím?

Musíme se zabývat jak bezprostředními výzvami dneška, digitální ekonomikou, tak i výzvami pro demokracii a základní práva: koncentrace moci v digitální ekonomice je aktuálním problémem. Umělá inteligence k této koncentraci moci přispívá: spojuje všechny prvky umělé inteligence, jako jsou výzkumní pracovníci a začínající podnikatelé, do fungujících systémů. Dnes máme před sebou bezprostřední výzvu, která vychází nejen ze samotné technologie, ale také z důsledků tohoto doplnění koncentrace moci.

A pak tu máme dlouhodobé výzvy, ale musíme se zabývat obojím. Princip předběžné opatrnosti je součástí inovací v Evropě a je to dobrá součást. Stal se principem legislativy a primárního práva v Evropské unii a nutí nás zabývat se dlouhodobými dopady technologií a jejich potenciálně hrozivými důsledky. Pokud nemůžeme s jistotou vyloučit, že tyto negativní důsledky nastanou, musíme dnes přijmout rozhodnutí, která zajistí, aby nenastaly. Právě o tom je zásada předběžné opatrnosti a k tomuto účelu částečně slouží i naše právní předpisy. 

Elon Musk na Twitteru uvedl, že je potřeba komplexní deregulace. Je to cesta k ochraně práv jednotlivce a demokracie ? 

Podle mého názoru ti, kteří už před uvedením inovací jako ChatGPT na trh psali knihy, v nichž tvrdili, že umělá inteligence je jako atomová energie, a poté volali po regulaci, z toho nevyvodili důsledky. Když si vzpomenete na Billa Gatese, Elona Muska, když si vzpomenete na prezidenta Microsoftu Brada Smithe, ti všichni měli o rizicích a možnostech AI jasno. Microsoft nejprve koupil velkou část otevřené AI a prostě ji uvedl na trh, aby vyinkasoval pár miliard, a teprve pak vyšel a řekl "teď potřebujeme zákony". Kdyby se však brala vážně paralela s atomovou energií, znamenalo by to počkat, až bude zavedena regulace. Když byla atomová energie v naší společnosti zavedena, nikoho nenapadlo ji začít provozovat, aniž by tyto regulace byly zavedeny. Podíváme-li se do historie právní regulace technologií, vždy se setkáváme s odporem podnikatelského sektoru. Trvalo deset let, než byly v amerických a evropských automobilech zavedeny bezpečnostní pásy, lidé umírali, protože automobilový průmysl tak úspěšně lobboval, přestože všichni věděli, že počet úmrtí by se zavedením bezpečnostních pásů snížil na polovinu. 

Takže na mě nedělá dojem, když někteří podnikatelé tvrdí, že nejlepší na světě by bylo neregulovat zákonem: to je vlhký sen kapitalistů a neoliberalistů této doby. Ale demokracie ve skutečnosti znamená pravý opak: v demokracii nelze důležité společenské záležitosti, a UI je jednou z nich, ponechat na firmách a jejich komunitních pravidlech či samoregulaci. Důležité záležitosti ve společnostech, které jsou demokratické, musí řešit demokratický zákonodárce. O tom je demokracie. 

Jsem také přesvědčen, že představa, že všechny problémy tohoto světa lze vyřešit pomocí technologií, jak jsme slyšeli od exprezidenta Trumpa, když USA opustily klimatické dohody v Paříži, je v klimatické politice i ve všech velkých otázkách tohoto světa ve skutečnosti chybná. Koronavirus nám ukázal, že klíčová jsou pravidla chování. Musíme investovat do toho, abychom se dokázali na věcech dohodnout: nejvzácnějším zdrojem pro řešení problémů dnes není další skvělá technologie a všechny ty ideologické řeči. Nejvzácnějším zdrojem je dnes schopnost a ochota lidí dohodnout se, a to v demokracii i mezi zeměmi. Ať už je to v transatlantických vztazích, ať už je to v mezinárodním právu, ať už je to mezi stranami, které mezi sebou vedou válku, aby se znovu dohodly na míru, to je největší výzva naší doby. A řekl bych, že ti, kteří si myslí, že technologie vyřeší všechny problémy, jsou vedeni určitou nadutostí.

Jste optimistou, že regulace prostřednictvím demokratického procesu bude dostatečně silná, aby omezila deregulační síly lobbistů?

Řekněme to takto: v Americe má lobby navrch. Pokud si poslechnete vynikajícího profesora ústavního práva Lawrence Lessiga o moci peněz v Americe a jeho analýzu, proč už z Kongresu nevychází žádný zákon omezující velké technologie, peníze hrají velmi vážnou roli. V Evropě se stále ještě dokážeme dohodnout. Lobby v Bruselu je samozřejmě velmi silná a musíme o tom otevřeně mluvit: o penězích, které velké technologické firmy utrácejí, jak se snaží ovlivňovat nejen politiky, ale i novináře a vědce.

Existuje GAFAM kultura snahy ovlivňovat veřejné mínění a ve své knize jsem jejich sadu nástrojů popsal poměrně podrobně. Jsou velmi přítomné, ale řekl bych, že náš demokratický proces stále funguje, protože naše politické strany a naši poslanci nejsou závislí na penězích velkých technologických firem jako američtí poslanci. Myslím, že můžeme být hrdí na to, že naše demokracie je stále schopna inovovat, protože tvorba zákonů v těchto špičkových otázkách není technologickou záležitostí, ale skutečně jádrem společenských otázek. Cílem je přetvořit tyto myšlenky v zákony, které pak fungují tak, jak fungují běžné zákony: neexistuje zákon, který by byl dokonale vymahatelný. I to je součástí inovace. Inovace nejsou jen technologickou záležitostí.

Jedním z velkých leitmotivů pohledu Jevgenije Morozova na umělou inteligenci a velké technologie obecně je poukazování na solutionismus, tedy to, co jste zmínil jako myšlenku, že technologie může vyřešit všechno. V současné době Evropská unie projednává zákon o umělé inteligenci, který by měl umělou inteligenci regulovat. Kam tato regulace směřuje a víme, do jaké míry ji ovlivnila technologická lobby? Víme, že jde o největší lobby z hlediska rozpočtu v rámci institucí EU. Můžeme říci, že zákon o umělé inteligenci je dnes nejkomplexnějším zákonem na toto téma?"

Abychom měli v Evropě rovné podmínky, potřebujeme jeden zákon, nechceme mít 27 zákonů ve všech různých členských státech, takže jde o rovné zacházení. Řekl bych, že nejdůležitější na tomto zákoně o umělé inteligenci je to, že opět zakládáme zásadu nadřazenosti demokracie nad technologiemi a obchodními modely. To je klíčové, a co se týče ostatního, jsem přesvědčen, že Rada a Evropský parlament budou schopny dohodnout se na konečné verzi tohoto zákona ještě před příštími evropskými volbami, tedy nejpozději v únoru.

Evgenij Morozov říká že právě vzestup umělé obecné inteligence (AGI), tedy v podstatě umělé inteligence, kterou není třeba programovat, a která se tak může chovat nepředvídatelně, dělá většině odborníků starosti. Příznivci, jako je zakladatel openAI Sam Altman, však tvrdí, že by mohla nastartovat ekonomiku a "povznést lidstvo zvýšením hojnosti".  Jaký je na to váš názor?"

Nejprve se podívejme, zda se všechny sliby specializované umělé inteligence skutečně naplní. Nejsem o tom přesvědčen, není jasné, kdy krok k AGI vznikne. Stuart Russell, autor knihy "Human Compatible: Umělá inteligence a problém kontroly", říká, že AI nikdy nebude schopna operacionalizovat obecné principy, jako jsou ústavní principy nebo základní práva. Proto vždy, když je třeba učinit rozhodnutí o nějakém hodnotovém principu, musí být programy navrženy tak, aby se vrátily zpět k člověku. Myslím, že tato myšlenka by nás a ty, kdo vyvíjejí AGI, měla prozatím vést. Také se domnívá, že než budeme mít AGI, uplynou desítky let, ale uvádí paralelu se štěpením atomu a tvrdí, že mnoho velmi kompetentních vědců tvrdilo, že to není možné, a pak jednoho dne překvapivě vystoupil v Londýně vědec a druhý den ukázal, jak to skutečně možné je. Proto si myslím, že se na to musíme připravit, a nejen to. Existuje mnoho fantazií o tom, jak se bude technologie vyvíjet, ale myslím si, že důležité je, aby veřejná správa, parlamenty a vlády zůstaly v kurzu a velmi pečlivě to sledovaly. 

Potřebujeme povinnost pravdy od těch, kteří tyto technologie vyvíjejí, často za zavřenými dveřmi. V právu EU existuje ironie: když řešíme případy hospodářské soutěže, můžeme uložit pokutu, pokud nám velké korporace lžou. Například Facebook dostal pokutu více než 100 milionů za to, že nám neřekl celou pravdu o převzetí WhatsApp. Neexistuje však žádná povinnost dodržovat pravdu, když jako Komise konzultujeme přípravu legislativního návrhu nebo když Evropský parlament konzultuje přípravu svých legislativních debat či procesů. Bohužel existuje dlouhá tradice, kdy digitální podniky, stejně jako jiné podniky, v průběhu tohoto procesu lžou. To se musí změnit. Myslím, že potřebujeme právní povinnost pravdy, která musí být také sankcionována. Potřebujeme změnu kultury, protože jsme stále více závislí na tom, co nám říkají. A pokud je politika závislá na tom, co říkají podniky, musíme být schopni je přimět k pravdě. 

Mají tyto pokuty nějaký dopad? I když Facebook dostane pokutu ve výši jedné miliardy dolarů, změní to něco? Začnou se chovat jinak, co to pro ně znamená z hlediska peněz, nebo dopadu? Je to všechno, co máme?

Myslím si, že pokuty nejsou všechno, ale žijeme ve světě obrovské koncentrace moci a potřebujeme protisílu. A tu protisílu musí mít stát, takže musíme být schopni vymáhat všechny zákony, v případě potřeby i tvrdou rukou. Bohužel tyto společnosti z velké části reagují pouze na tvrdou ruku. Amerika ví, jak se vypořádat s kapitalismem: lidé jdou do vězení, když vytvoří kartel, když se dohodnou na cenách, v Evropě ne. Takže si myslím, že se v tomto ohledu musíme od Ameriky učit, musíme být připraveni a ochotni prosazovat naše zákony tvrdou rukou, protože demokracie znamená, že se zákony tvoří, a demokracie také znamená, že se zákony dodržují. A v případě velkých technologických firem nemůže být žádná výjimka. 

Znamená to, že bychom měli směřovat k američtějšímu způsobu života?

To znamená, že musíme brát prosazování našich zákonů vážně a bohužel je kvůli tomu často nutné pokutovat. V oblasti práva hospodářské soutěže můžeme pokutovat až 10 % celkového obratu velkých společností, myslím, že to má svůj efekt. V zákoně o ochraně osobních údajů jsou to jen 4 %, ale myslím, že tyto pokuty mají stále účinek, protože motivují členy představenstev, aby zajistili, že jejich společnosti budou dodržovat předpisy.

To však nestačí: musíme mít na paměti, že v demokratické společnosti přichází protisíla od občanů a občanské společnosti. Nemůžeme nechat jednotlivce samotné bojovat za svá práva tváří v tvář velkým technologiím. Potřebujeme veřejné prosazování a musíme posílit občanskou společnost, aby bojovala za práva jednotlivců. Myslím si, že toto je součástí kontroly nad silou technologií v 21. století a bude řídit inovace. Není to překážka pro inovace, ale vede je směrem k veřejnému zájmu a zákonnosti uprostřed cesty. A to je to, co potřebujeme ! Potřebujeme, aby se velké mocné technologické společnosti naučily, že není dobré postupovat rychle a rozbíjet věci, pokud "rozbíjení věcí" znamená porušování zákona. Myslím, že všichni jsme pro inovace, ale podkopává to naši demokracii, pokud dovolíme silným hráčům narušovat a porušovat zákony a procházet jim to. To není pro demokracii dobré. 

Thierry Breton, evropský komisař pro průmysl, napsal Elonu Muskovi dopis, ve kterém mu sdělil, že pokud bude X nadále upřednostňovat dezinformace, může se setkat s určitými sankcemi ze strany EU. Musk odpověděl, že v takovém případě by mohli Evropu opustit a že i další technologičtí giganti by mohli být v pokušení udělat totéž, pokud se jim nelíbí regulace, kterou Evropa nastavuje. Jaký je tedy poměr sil mezi nimi? 

Řekl bych, že je to velmi jednoduché, já jsem v tomto ohledu velmi jednoduchý člověk: demokracii nelze nikdy vydírat. Pokud se nás pokusí vydírat, měli bychom se jim prostě vysmát: pokud chtějí odejít, mohou odejít, a já přeji Elonu Muskovi hodně štěstí na burze, pokud opustí Evropu. Naštěstí jsme stále velmi velký a ziskový trh, takže pokud si může dovolit odejít: sbohem Elone Musku, přejeme ti vše nejlepší.

A co nebezpečí nekonvenčního využití umělé inteligence?

Ano, "nekonvenční" znamená použití pro válku. To samozřejmě představuje nebezpečí, v OSN se na tom pracuje a zbraně, které se vymykají kontrole, jsou problémem pro každého člověka, který rozumí bezpečnosti a fungování armády: armáda chce mít své zbraně pod kontrolou. V minulosti jsme nechali země podepsat mnohostranné dohody nejen o nešíření atomových zbraní, ale také o malých zbraních a zbraních, které se vymknou kontrole, jako jsou nášlapné miny. Myslím, že ve společném zájmu světa, lidstva a spravovatelnosti potřebujeme pokrok v oblasti pravidel pro používání UI pro vojenské účely. Tato jednání jsou obtížná, někdy může trvat roky, v některých případech dokonce desetiletí, než dojde k dohodě, ale nakonec si myslím, že pravidla pro autonomní zbraně rozhodně potřebujeme, a v této souvislosti také pro UI.

Vrátím se k tomu, co řekl Chris Wiley ve zmíněném článku: současný regulační přístup nefunguje, protože "s umělou inteligencí zachází jako se službou, nikoli jako s architekturou". Sdílíte tento názor? 

Řekl bych, že laťka toho, co funguje a co nefunguje a co se považuje za fungující a nefungující v oblasti technického práva, by neměla být vyšší než v jakémkoli jiném oboru práva. Všichni víme, že máme daňové zákony, a snažíme se je prosazovat, jak nejlépe umíme. Ale víme, že existuje mnoho lidí a společností, kterým prochází, že neplatí daně.  Máme zákony o duševním vlastnictví a ty se ne vždy dodržují. Vražda je něco, co se přísně trestá, ale lidé jsou denně vražděni.

Takže si myslím, že v oblasti technického práva bychom neměli spadnout do pasti, kterou je diskurz technického průmyslu, podle kterého "raději žádný zákon než špatný zákon", přičemž špatný zákon je takový, který nelze dokonale vymáhat. Moje odpověď na to zní: neexistuje zákon, který by fungoval dokonale, a neexistuje zákon, který by bylo možné dokonale vymáhat. Ale to není argument proti existenci zákonů. Zákony jsou nejvznešenějším mluvícím aktem demokracie, a to znamená, že jsou kompromisem.

Jsou kompromisem s lobbistickými zájmy, které tyto společnosti vnášejí do parlamentu a které některé strany přebírají více než jiné. A protože zákony jsou kompromisem, nejsou dokonalé ani z vědeckého, ani z funkčního hlediska. Jsou výtvorem demokracie a nakonec bych řekl, že je lepší, když se na zákoně shodneme, i když ho mnozí považují za nedokonalý. V Bruselu říkáme, že pokud na konci všichni křičí: podniky říkají "tohle je příliš velká překážka pro inovace" a občanská společnost si myslí, že je to úspěch lobby, tak jsme to asi dostali víceméně přesně doprostřed.

Podívejte se na video z Voxeurop Live s Paulem Nemitzem zde.