Chyby umělé inteligence a jejich dopady na občany

V tomto článku nepopisuji současnou právní úpravu umělé inteligence v Česku (například GDPR) ani v zahraničí. Domnívám se, že se u nás na umělou inteligenci a její dopady musíme začít dívat nejprve pohledem praxe, bez formulování právních pravidel. Přesto jsem se nevyhnul několika právnickým pohledům. V tomto textu neužívám termín „etika“, i když se o etické otázky často jedná. Umělá inteligence již nyní významně ovlivňuje naše životy a veřejnou správu v České republice a tento trend se dále významně urychlí. Je třeba si uvědomit, že umělá inteligence není jen věcí technickou a ekonomickou, ale především věcí občanskou i sociální.

Umělá inteligence neboli AI (od Artificial Intelligence) může být definována různě, v tomto článku je chápána ve smyslu strojového učení. AI může mít, a v praxi často má, příznivé dopady na efektivní řešení řady procesů, kdy přispívá k úspoře nákladů a ke zlepšení životů lidí. AI spolu s datově řízenými procesy se využívá stále více po celém světě, včetně Česka. Oblasti využití AI se neustále rozšiřují jak v soukromém, tak ve veřejném sektoru.

V České republice se AI již několik let využívá v průmyslové výrobě (průmysl 4.0), začíná se široce využívat ve finančních službách (například při posuzování žádostí o půjčky a jiné finanční služby), ve zdravotnictví (například při prevenci výskytu některých onemocnění a všeobecně pro zlepšení zdravotní péče v nemocnicích), v rámci činnosti policie (například k detekování jízd v protisměru nebo pro rozpoznání obličejů na kamerových záznamech), AI se začíná využívat ve školství (při posuzování kandidátů na studium nebo predikcích jejich úspěšnosti) a v řadě dalších oblastí. Rozsah využití AI se u nás bude rychle rozšiřovat, a to zejména ve veřejném sektoru, v souvislosti s Fondem obnovy i s dalšími připravovanými finančními výzvami a programy z EU i z tuzemska.

Co je to vlastně taková AI? Je to něco víc, než strojové (počítačové) zpracování dat v rámci automatizovaného postupu? Určitě ano, i když využitím možností automatizovaného zpracování se obvykle začíná. Například u finančních institucí se jedná nejdříve o nějaký automatizovaný postup, kde si systém vytahá data z různých interních i externích zdrojů, vyhodnotí kritéria, sečte body a na základě výsledku určí, zda a jaký produkt je pro příslušného klienta možné poskytnout. To však ještě umělá inteligence není. AI je až taková fáze automatizace, která dokáže na základě zpracovávaných dat sama upravovat své algoritmy za účelem odhalování nových rizik, sledování nových potenciálních trendů, nových argumentů, nebo efektivnějšího či správnějšího zpracování vstupních dat.

Zatím se u nás nemluví o potenciálních či skutečných negativních dopadech AI systémů na občany. Setkávám se často se svérázným přístupem, jako by AI byla dalším všelékem na cokoliv prostě proto, že jde o novou technologii, která je jednoduchá a vede k okamžitým výsledkům. Současně se ale o AI systémech nemá moc mluvit – a i když se již v Česku rozsáhle využívají, oficiálně se o tom moc nemluví. Dokonce jsem opakovaně slyšel a četl, a to i v době napsání tohoto článku, vyjádření dodavatelů AI systémů z tuzemska i ze zahraničí svým potenciálním zákazníkům - společnostem a institucím z tuzemska, že pro rozvoj AI a její využití je velmi výhodný nedostatek transparentnosti, že transparentnost rozvoji AI škodí, že jejich systém je tak výborný proto, že mohl být trénovaný v nedemokratických státech, které se s transparentností AI tolik nemažou, že jejich společnost teprve připravuje svoji strategii pro demokratické státy (které rozvoji AI tolik nepřejí, protože vyžadují nebo budou vyžadovat víc transparentnosti) a podobně. Jsem přesvědčený, že tento stav je znakem naší zaostalosti v rozvoji AI. Velmi nahrává dodavatelům, kteří nepředstavují best practice, a škodí prakticky všem ostatním.

Ve vyspělých demokratických státech světa se již několik let vedou diskuse o tom, že AI by měla být především prospěšná lidem, tedy neměla by vést výlučně k technickým zlepšením (například ve výrobě) nebo k ekonomickým úsporám, ale na prvním místě by měla vést ke zlepšení života všech občanů. Například v rámci současné konzultace NIST (National Institute of Standards and Technology) v USA se uvádí, že většina Američanů se domnívá, že by pro AI měly být použity vyšší etické standardy než pro jinou technologii, zejména kvůli zvýšeným rizikům ztráty kontroly a soukromí.

V souvislosti s AI je složité posuzovat etické principy, které by best practice pro AI mělo splňovat, protože tyto principy zatím moc neznáme, tedy neznáme všechny. Proto se odborné diskuse vedou zejména o těch zásadách, které již začínáme znát. Jde zejména o zásadu nediskriminace, dále o důvěryhodnost pro občany, jejíž klíčovou součástí je vysvětlitelnost a konečně o právní nezávadnost. Lze asi uvést, že ty AI systémy, které jsou technologicky výborné a současně jsou nediskriminační a navíc vzbuzují důvěru občanů kromě jiného tím, že jsou pro ně v principu srozumitelné a jsou jednoznačně v souladu s platným právem, velmi pravděpodobně splňují cíl zlepšit život všech občanů. Ve vyspělých demokratických státech současně platí, především ve vztahu k veřejnému sektoru ale víc a víc i v soukromém sektoru, že neplnění některé z těchto tří zásad se začíná považovat za chybu AI.

Ve světě již existuje rozsáhlá odborná literatura o chybách AI systémů, včetně chyb vedoucích k diskriminaci anebo ztrátě důvěryhodnosti AI systémů. Níže uvedu jen několik příkladů, některé znám z osobní zkušenosti, jiné z článků.

Taxikář, který si nikdy nepůjčoval. Před časem mě vezl taxikář, který mi vyprávěl o své zkušenosti, když si žádali se ženou o středně velkou půjčku. Do té doby neměli nikdy žádné půjčky ani jiné dluhy, řádně a včas platili všechny daně a poplatky, byli klienty jedné banky po řadu let. Přesto byla jejich žádost o půjčku zamítnuta, bez sdělení důvodů. Taxikáři to nedalo, a když mu důvody nebyly sděleny ani na písemnou žádost, postupoval „českou“ metodou – poprosil známou, která měla známou v té příslušné bance. Jako velkou tajnost se dozvěděl, že důvodem neodsouhlasení půjčky bylo to, že si dlouhou dobu nic nepůjčil.

Strojové učení na základě údajů ze zdravotní dokumentace pacientů. V mnoha nemocnicích v ČR se ke zlepšování zdravotní péče již několik let využívají modely strojového učení. Jde o velmi užitečnou praxi, která může zabránit řadě zdravotních komplikací pacientů. Pro modelování jsou nutná data ze zdravotní dokumentace pacientů. Přístup k datům ze zdravotní dokumentace pacientů je podle českého práva restriktivní a současné české právo neobsahuje ustanovení, která by bezpečné využití takových potřebných dat pouze v nezbytném rozsahu a pod regulatorní kontrolou umožňovala. Nicméně se zdá, že tato data jsou přesto (pravděpodobně široce) využívána postupy, které minimálně vzbuzují otazníky ohledně jejich souladu s platným právem. Přesto se zdá, že (kromě autora článku) o těchto praktikách, snažících se „nějak“ překlenout zjevný nedostatek legislativy, nikdo nepíše. Samozřejmě ani pacienti nejsou nijak informováni, že jejich léčba se řídí v určitých aspektech systémy AI a současná situace nahrává těm dodavatelům a jejich zákazníkům, kteří se nechtějí nijak snažit a spoléhají na „šedou“ zónu a „kreativní vykladače“ platného práva.

Detekce jízdy v protisměru. Policie ČR podle mnou neověřených informací z důvěryhodného zdroje již využívá systém AI, který pomáhá s rychlou detekcí jízd v protisměru. Při určitých typech předjíždění tento systém identifikuje předjíždění jako jízdu v protisměru.

Zvýšené poplatky za přistavení vozu do vybraných oblastí. Zákazníci v zahraničním státě platili vyšší poplatky za přistavení taxi do oblastí, které systém identifikoval jako rizikové. Rizikovými byly oblasti s vyšším podílem menšinové populace. Zákazník nevěděl o vyšších poplatcích ani o tom, že jediným důvodem je, že bydlí v příslušné oblasti.

Systém pro posuzování přihlášek na doktorské studium, kterému nikdo nerozuměl. Úředníci jedné zahraniční univerzity upozornili na diskriminační výstupy AI systému, který posuzoval vhodnost kandidátů na studium Ph.D. Úředníci vůbec nerozuměli důvodům, které systém uváděl. Zjistilo se, že koncepce systému byla vadná – neobsahovala optimální profil uchazeče o studium, ale byla postavená pouze na minulých rozhodnutích přijímajících úředníků.

Zajímavé je, že před čtyřmi lety podle jednoho výzkumu studentů Oxfordské univerzity nerozuměla naprostá většina předních světových společností, jak pracují AI systémy, které tyto společnosti využívaly. Navíc prakticky žádná ze sledovaných společností, dodávající AI systémy, nebyla schopná vysvětlit „srozumitelně pro běžného člověka“ jak jejich AI systémy fungují. Za poslední čtyři roky se tento stav začíná v prvních vyspělých státech měnit k lepšímu, ale stále je zde mnoho otázek k prozkoumání a ke zlepšování. Trend k transparentnosti a zaměření se na všechny občany bez rozdílu ve vztahu k AI je však v demokratických státech zcela zřejmý.

Nedokonalý systém rozpoznávání obličejů. Při testování jednoho zahraničního systému AI pro analýzu kamerových záznamů bylo zjištěno, že při jeho koncipování byl „obličej“ definován pouze podle omezených dat o osobách jen jednoho etnika. Systém se ukázal jako chybový pro ostatní etnika.

V příkladech chyb AI systémů bych mohl dlouho dál pokračovat. Je zřejmé, že některé z těchto chyb vedou k porušení zásad nediskriminace a ke ztrátě důvěryhodnosti.

Příčin chyb AI systémů je mnoho a v tomto článku jich zmíním jen několik. Zaměřuji se na chyby, které jsou způsobené tím, že AI systémy v mnoha případech navrhují IT inženýři a experti na aplikovanou matematiku, kteří přirozeně používají metody, které používali při navrhování a vývoji softwaru. Mnoho AI systémů se však od běžného softwaru podstatně liší tím, jak významné mohou mít dopady na životy občanů, protože jejich využívání má silný sociální dopad.

Odborná literatura, která se snaží chyby AI systematizovat, obvykle rozděluje chyby podle etap vývoje AI systému, během kterého vznikly – jde o (i) koncept; (ii) návrh a vývoj; a (iii) provoz. Toto dělení je vhodné, protože zdůrazňuje, že předcházet chybám AI systémů je třeba od úplného začátku, kdy někdo dostane nápad a připraví koncepci AI systému. Současně se však příčiny chyb opakují a pokračují z jedné etapy do druhé a pak do třetí.

Kdybych naznačenou kategorizaci v tomto článku opustil a snažil se o určitou zkratku, lze napsat, že k hlavním příčinám mnoha chyb AI systémů patří následující:

Zobecnění specifického modelu a pro zvláštní účel

Tato chyba nastane, když je pomocí úzkého okruhu dat trénovaný AI systém s širokým modelem vytvořeným pro široký účel. To se stalo hned v několika případech uvedených výše, např. u systému, který odmítne půjčku jen proto, že si někdo již dlouho nic nepůjčí, přestože nemá žádné jiné dluhy. Nebo v případě systému na rozpoznávání osob, kdy byla virtuální podoba obličeje pro účely modelu nastavena pouze podle dat o bílých mužích, nebo naopak např. podle dat osob asijského původu.

Neznámé dopady

Často se stává, že pro první ověřování konceptu se použijí jen omezená data nebo omezené uživatelské průzkumy, většinou ty, které nejlépe potvrzují úvodní myšlenku konceptu. V dalších etapách se však často žádné další zkoumání dopadů neprovede, s odkazem na to, že toto již bylo provedeno v první etapě formulování konceptu. Tím se stane, že po uvedení AI systému do provozu se projeví překvapivé dopady, které nikdo nečekal – např. že zatímco pro úzkou skupinu osob, dotčených AI systémem je zkušenost s jeho využitím výborná, pro jiné osoby třeba i výrazně zhoršuje jejich situaci před využitím takového AI systému. Např. pokud jsou dopady AI systému zkoumané na online průzkumu uživatelů (protože je to levnější a rychlejší) a systém má být využitý pro všechny občany např. pro účely žádostí o sociální dávky, výsledek v Česku podle mého nyní může reálně vést ke zhoršení situace řady starších občanů a občanů s některými omezeními, protože řada z nich se online komunikace bojí, neumí ji atd.

Využití jednoho AI systému pro řadu různých účelů

Často se v praxi stává, že úspěšný AI systém jeho tvůrci a prodejci nabízejí pro co nejširší využití. Toto je výborná praxe u běžného software, kdy se dobrý kód dá použít jako rámcový model pro řadu situací. V případě AI systémů to však velmi často není možné, právě kvůli netestovaným a neznámým sociálním dopadům v různých situacích a pro různé dotčené sociální skupiny. Přesto se toto v praxi často děje. Například (nevymýšlím si), před asi měsícem se mě jeden můj známý, výborný vývojář z Rakouska, zcela vážně zeptal, jestli by se jejich AI systém pro optimalizaci zdravotního stavu rakouských krav, který má v jeho regionu velký úspěch mezi místními zemědělci, dal nějak využít v oblasti online řešení sporů.

Model pro jeden účel je trénovaný a finalizovaný s využitím dat pro jiný účel

Příkladem této chyby je výše uvedený systém pro hodnocení uchazečů o studium Ph.D. Při přípravě konceptu nebyl precizně formulován žádoucí profil úspěšných uchazečů a následně byl model trénován pouze na minulých rozhodnutích o přijetí uchazečů, tedy na datech pro jiný než původně zamýšlený účel. V této souvislosti se v odborné literatuře soustavně zdůrazňuje, že objektivní optimalizace hodnocení osob v prostředí, které je diskriminační, nevede k odstranění diskriminace, ale může vést k silnější diskriminaci. Proto se do modelů AI systémů pro účely hodnocení žadatelů o studium v USA, Kanadě i v dalších vyspělých státech přidávají určité kompenzační mechanismy.

Společné chyby dodavatelů AI systémů a jejich zákazníků:

Řada chyb AI systémů má základ v nesprávných postojích jak dodavatelů, tak jejich zákazníků, využívajících konkrétní AI systém. Uvedu jen dva časté typy chyb:

• AI systémy jsou významně přeceňované zákazníky a obchodníky dodavatelů; tento přístup velmi dobře znám z praxe v ČR, kdy AI se dneska stává synonymem pro rychlé a levné, „zázračné“ řešení. Bohužel, není tomu tak. AI systémy, které mají sociální dopady a mají zlepšovat život občanů a být důvěryhodnými, vyžadují složité testování a přípravu a nejsou vůbec levné; a
• jak uvádím výše, většina společností, které AI systémy využívají nebo se je chystají využívat, vůbec netuší, na základě čeho příslušný AI systém pracuje, nerozumí jeho konceptu a neumí jej interpretovat ani pro své koncové zákazníky (např. žadatele o půjčku), ani pro regulátory. Obvykle argumentují tím, že AI je „černou skříňkou“ která je pro lidi nevysvětlitelná. Jde o argumenty osob bez minimálních znalostí toho, jak se AI vytváří. Je sice pravda, že pouze u těch opravdu nejsložitějších globálních systémů využívaných největšími společnostmi může být v současném stavu poznání pro lidi překvapivé, jak „stroj“ řeší nějaké své úkoly, ale i v těchto výjimečných případech je příslušný úkol a jeho podrobné zadání lidským dílem. Jsem optimistou a pevně věřím, že tomu tak bude i nadále. Navíc již nyní platné právo obsahuje v některých případech např. finančních služeb požadavek na rekonstruovatelnost a pro tyto služby tak je argument o černé skříňce již nyní v rozporu s platným právem. Možná i to je jedním z důvodů snahy „utajovat“ využití AI v současné praxi v ČR.

Zásada vysvětlitelnosti je velmi zajímavá a klíčová do budoucnosti. Jde o to, jak tuto zásadu nejlépe zajistit. Je možné, že nejlepší cestou bude naučit systémy AI jako součást strojového učení, aby uměly lidsky srozumitelným způsobem samy vysvětlit své akce. Tento přístup je již součástí současných výzkumů.

Žádná nebo omezená údržba AI systému zaměřená na eliminaci nežádoucích dopadů

Konečně, firmy dodávající AI systémy a bohužel ani jejich zákazníci velmi často zatím nezkoumají, jaké má daný systém dopady potom co byl zprovozněný a jak by se nechtěné dopady mohly eliminovat – údržba je stále v mnoha případech chápána ve smyslu udržování technické funkčnosti software. To je klíčový nedostatek ve vztahu k údržbě AI systémů, u nichž není podstatou jejich údržby jen technická funkčnost, ale především to, jak plní svůj účel a jaké mají reálné dopady.

Řada firem, v tuzemsku např. v průmyslu, má již zavedené metody a standardizované postupy, které výše uvedené chyby minimalizují. Níže uvedu opět jen vybrané metody nebo zásady, které se používají, a to nejen pro AI systémy se sociálními dopady:

• Sledování potenciálních negativních dopadů AI systému ve všech třech fázích jeho vývoje, od nápadu a konceptu po jeho provoz – takovémuto sledování se říká v angličtině Impact Assessment;

• Interdisciplinární vývojářské týmy, v případě AI systémů se sociálními dopady jsou týmy s účastí právníků, právních sociologů a etiků; interdisciplinární týmy nicméně jsou stále častější i pro průmyslové AI systémy, v praxi to funguje zejména různost pohledů a zkušeností bývá důležitým přínosem;

• Aktivní zapojení expertů na příslušný obor nebo oblast;

• Využití AI systému jen pro účel, pro který byl koncipován, modelován a trénován;

• Zkoumání možných dopadů se zapojením různorodých sociálních skupin;

• Důkladné testování, audit a průběžné sledování chování AI systému po jeho nasazení;

Výše uvedené postupy mají v zahraničí dokonce již své „nové“ termíny, jako např. „cultural effective challenge“ nebo „counterfactual fairness“ aj.

To, jaký obsah (ve smyslu intenzity opatření) mají výše uvedené a další best practice metody je dáno tím, jak silné sociální dopady konkrétní AI systém může potenciálně mít nebo již fakticky má. To je podobné jako u kybernetické bezpečnosti, kdy jsou odpovídající opatření více či méně silná podle dopadů, které narušení kybernetické bezpečnosti může způsobit.

Je možné předpokládat, že za AI systémy se silnými nebo velmi silnými sociálními dopady budou považovány prakticky všechny AI systémy, které se u nás již využívají nebo jejichž využití se plánuje, s výjimkou průmyslových AI systémů. Příloha III návrhu Nařízení EU o regulaci AI (z jara 2021)[1] obsahuje výčet takových vysoce rizikových systémů a tento výčet je podle mého v souladu s přístupem v jiných vyspělých demokratických státech (např. Kanada nebo USA). Výčet zahrnuje např. systémy pro kritickou infrastrukturu, zpracování biometrických dat pro identifikaci, vzdělávání, zaměstnání, rozhodování o veřejných benefitech včetně zdravotních priorit, hodnocení pro účely půjček, soudnictví a policie, migrace aj.

Z mých několika málo dotazů na firmy a instituce, které v ČR již AI systémy využívají, bohužel vyplývá, že se zatím dělá dost málo k zajištění hlavního cíle – zlepšení života dotčených občanů. Zatím se prakticky zcela dává přednost pouze technickému posuzování kvality AI systémů a tomu, kolik AI systém ušetří peněz. To se však bude muset změnit, pokud se ČR má stát postupně alespoň průměrem mezi vyspělejšími státy, využívajícími AI systémy. Bude tedy podle mého názoru třeba změnit současné postupy, resp. napravit jejich absenci. Jaké změny by se měly připravit a postupně zavést na úrovni objednatelů AI systémů?

Otevřenost vůči dotčeným osobám

Objednatelé AI systémů se sociálními dopady by měli již nyní začít vyžadovat od dodavatelů předložení výše uvedených „Impact Assessmentů“ neboli Analýz dopadů. Součástí Analýzy dopadu by mělo být minimálně následující:Myslím si, že objednatelé AI systémů by měli porozumět konceptům systémů, které si vybírají nebo které již používají. Jen tak mohou posoudit rizika nasazení konkrétního systému. Také jen pokud budou rozumět AI systémům, které využívají, budou schopni odpovídat na dotazy osob, které jsou těmito systémy výrazně ovlivněni. Toto se podle mých informací nyní v ČR prakticky vůbec neděje a je třeba tuto otevřenost a informovanost dotčených osob do praxi postupně zavádět, začít je třeba podle mého okamžitě. V tomto ohledu nám jinak bude rychle ujíždět vlak při srovnání s vyspělými demokratickými státy.

Např. v Kanadě již několik let platí, že ve vztahu k jakémukoliv AI systému, používanému federálními úřady, který pravděpodobně bude mít mírné a vyšší sociální dopady na dotčené osoby (tedy jakékoliv dopady s výjimkou nicotných sociálních dopadů), musí být zajištěno srozumitelné vysvětlení pro dotčené osoby, kterým s využitím AI systému bylo něco zamítnuto.

Otevřenost vůči dotčeným osobám má vztah k právům k AI systémům. Někdy se setkávám s tím, že dodavatelé proprietárních AI systémů vyžadují od uživatelů závazek dodržovat důvěrnost o konceptech a algoritmech těchto systémů. Příliš široce koncipované závazky v tomto ohledu by pak neumožnili uživatelům dostatečně konkrétně a srozumitelně informovat dotčené osoby. Je proto důležité na potřebu otevřenosti vůči dotčeným osobám myslet při přípravě smluv s dodavateli AI systémů.

Požadavek na předložení Analýzy dopadů a její ověřování

Objednatelé AI systémů se sociálními dopady by měli již nyní začít vyžadovat od dodavatelů předložení výše uvedených „Impact Assessmentů“ neboli Analýz dopadů. Součástí Analýzy dopadu by mělo být minimálně následující:

• Srozumitelný popis konceptu systému;
• Informace o testování konceptu, návrhu AI systému a hotového systému budoucími dotčenými osobami; Tímto způsobem objednatel uvidí, zda bylo testování dostatečně obsáhlé a také zda objednávaný AI systém není „předělávkou“ systému pro jiné účely;
• Informace o budoucí údržbě systému; a
• Analýza rizik zaměřená na rizika dopadů systému na občany a popis opatření k minimalizaci rizik.

Doporučuji, aby tato Analýza byla ověřena experty objednatele, kteří o oblasti, na níž se AI systém má nasadit, „vědí všechno“. Např. u AI systémů pro posuzování kvality uchazečů o studium by to měli být pracovníci, kteří dosud žádosti uchazečů posuzovali.

V případě AI systémů, které pravděpodobně budou mít nebo mají vysoké nebo velmi vysoké sociální dopady, lze doporučit, aby Analýza dopadů byla ověřena nejen interními experty objednatele, ale alespoň 1-2 nezávislými experty, nebo dokonce zveřejnění specifikace takového systému v odborném časopise. Jde v podstatě o formování budoucí veřejné kontroly nad těmi AI systémy, které budou náš život stále více ovlivňovat. Zdá se, že v budoucnu významné AI systémy budou muset projít certifikací pod veřejnou kontrolou. V USA se již diskutuje o tom, jak by měl budoucí certifikační úřad vypadat, jaké by měl mít know-how včetně schopnosti vysvětlit žadateli, proč konkrétní systém vydal doporučení nějakého rozhodnutí, které pak ovlivnilo život tazatele (např. mu odmítl přístup k nějakému veřejnému benefitu). V EU již také probíhají přípravy na budoucí certifikační schéma pro AI v rámci EU organizace ENISA (Evropská agentura pro bezpečnost sítí a informací), což je EU orgán pověřený koordinací a vytvářením systematického přístupu EU ke kybernetické bezpečnosti. Podle mých informací se zatím jedná spíš o interní diskuse v rámci vyčleněné skupiny expertů ENISA na tuto oblast, tato skupina však již existuje delší dobu a je aktivní.

Zajištění aktivní lidské kontroly

U systémů s potenciálně vyššími dopady na dotčené lidi se objevuje konzistentně požadavek, aby uživatelé těchto systémů zajistili aktivní kontrolu interních pracovníků nad výstupy příslušného AI systému. U nás z mé zkušenosti dochází k tomu, že pracovníci se již nesnaží prověřit, zda nějaký systém, posuzující např. žádosti o půjčky, leasing aj. posoudil všechny důvody ve prospěch žádosti. Úspěšné „protažení“ žádosti AI systémem považují za nutnou podmínku dalšího jednání s uchazečem. Podle mého názoru bude postupně třeba i tyto postupy změnit a v prvních vyspělých státech světa se již diskutuje o potřebných standardních compliance postupech v tomto ohledu.

Podle mého názoru by již nyní měli uživatelé AI systémů připravit a zavést minimálně možnost referentů nebo obchodníků žádat o posouzení jiných variant, než předkládá AI systém. Postupným vyhodnocováním takovýchto interních postupů se společnosti a instituce dozvědí více o kvalitě AI systému, který využívají, a dospějí postupně k interním postupům, které budou využití AI optimalizovat. Toto chce čas a „právo na omyl“, ale je třeba s tím u nás začít.

Právní audit

Doporučuji, aby si objednatelé AI systémů vyžádali od dodavatele také právní audit souladu jejich systémů s platným právem. Minimálně to je cesta, jak zjistit oblasti, které musíme legislativně upravit – viz výše uvedená oblast dat ze zdravotní dokumentace.

Odstraňování nechtěných negativních dopadů

Doporučuji, aby smlouvy s dodavateli AI systémů obsahovaly řešení toho, jak bude zajištěna průběžná údržba, včetně průběžného vyhodnocování úspěšnosti AI systému a odstraňování nechtěných nepříznivých dopadů. Objednatelé by se měli na vyhodnocování dopadů AI systémů aktivně podílet.

Výše uvedená opatření nejsou zdaleka vyčerpávající. Jde o opatření, která by se podle mého názoru již měla začít objevovat např. ve výběrových řízeních a výzvách na projekty financované z veřejných prostředků, protože stát a veřejné instituce jednak již vypsaly a budou dále vypisovat množství veřejných soutěží na AI systémy. Zatím podle mých omezených informací výše uvedená opatření a požadavky nebyly zahrnovány do podmínek soutěží nebo výzev na AI systémy. Toto je třeba rychle změnit. Čím dřív se domácí dodavatelé AI systémů adaptují na současnou best practice ve vyspělých demokratických státech, tím větší šanci budou mít uspět na mezinárodním trhu a být úspěšnými firmami. Příležitost v tomto ohledu v EU podle mého názoru stále je a bude.

Vláda podle mého názoru má jasně a srozumitelně pro všechny občany stanovit svůj hlavní cíl v oblasti AI, jde o velmi významné dopady na každodenní život nás všech. Doufám, že hlavním cílem se stane zlepšení života všech občanů, což by mělo mít přednost dokonce před zvýšením konkurenceschopnosti našeho průmyslu – ono se však ukazuje, že tyto cíle nejsou v rozporu, pokud je zlepšení života všech občanů hlavním cílem. Spolu s cílem by vláda měla stanovit a zveřejnit, jak chce ověřovat naplnění cílů, které si v této oblasti dává. Nic podobného jsem bohužel zatím od naší administrativy neviděl.

Dále si myslím, že by vláda měla postupně vědět víc o AI systémech, které se u nás již využívají a budou se využívat. Vláda by měla zavést co nejdříve systém sledování a vyhodnocování toho, jak jsou AI systémy využívané v rámci veřejné správy. Současně má vláda podpořit sdílení informací mezi sektory a jejich vyhodnocování. To je důležité pro to, aby vláda po nějaké době začala rozhodovat o AI a jejím rozvoji v zájmu všech občanů se znalostí věci. Vědoucí vláda pak také bude moci lépe vyjednávat v rámci EU o uvažované EU regulaci. Jak je uvedeno výše, tento rok (2021) byl zveřejněn návrh Nařízení EU o AI, podle mého osobního názoru velmi předčasně, bez potřebných informací a jen s velmi omezeným průzkumem. O tomto Nařízení se bude (doufám) jednat řadu let. Mohu se však mýlit a naopak bude EK hnát toto nařízení rychle kupředu schvalovacím procesem.

Pokud má být ČR platným hráčem v budoucím AI sektoru v EU, musí rychle začít být mnohem aktivnější, než dosud byla, v oblasti sledování pozitivních i negativních dopadů AI na občany a na sledování současných best practice postupů jak v oblasti technické excelence, tak v oblasti sociální aspektů AI. Zde je podle mého názoru velký prostor pro všechny – pro aktivní univerzitní centra, spolupracující s praxí, pro stávající soukromé firmy a také pro první vznikající soukromé firmy, vyvíjející nové produkty a služby zaměřené na AI systémy pro lidi.

Autor 

Odkaz na článek zveřejněný na info.cz naleznete zde