Vývoj umělé inteligence (AI) přináší nepochybně řadu výhod, avšak současně také rizika, která mohou ohrozit hodnoty a základní práva jednotlivců v Evropské unii. V reakci na tyto výzvy byl schválen Akt o umělé inteligenci (Akt), který definuje přísná pravidla a zákazy týkající se použití AI v oblastech, kde hrozí riziko zneužití této technologie.
Zakázaným postupům v oblasti AI jsme se již věnovali v jednom z našich předchozích článků. Schválené znění Aktu však přineslo nové legislativní změny, které si v tomto článku blíže představíme.
Zakázané manipulativní a vykořisťující techniky
Jedním z hlavních důvodů zákazu určitých postupů v oblasti AI je ochrana autonomie, schopnosti rozhodování a svobody volby jednotlivců. Aktu v odůvodnění zdůrazňuje, že AI může být zneužita k manipulaci, vykořisťování a sociální kontrole, což je v rozporu s hodnotami Evropské unie. Tyto praktiky považují zákonodárci za mimořádně škodlivé a nekalé, a proto by měly být zakázány
Podle čl. 5 odst. 1 písm. a) Aktu jsou zakázány systémy AI, které využívají podprahových nebo záměrně manipulativních technik, jež ovlivňují chování jednotlivců mimo jejich vědomí. Tyto techniky, které mohou zahrnovat například zvukové či obrazové stimuly mimo rámec lidského vnímání, mají potenciál významně narušit schopnost jednotlivců přijímat informovaná rozhodnutí. Takové systémy mohou vést k tomu, že lidé učiní rozhodnutí, které by za normálních okolností neučinili, což může způsobit závažnou újmu na jejich fyzickém či psychickém zdraví nebo finanční situaci.
Využití zranitelnosti jednotlivců a hodnocení sociálního kreditu
Dalšími zakázanými postupy jsou ty, které zneužívají zranitelnosti jednotlivců nebo skupin osob na základě jejich věku, zdravotního postižení, sociálního nebo ekonomického postavení. Jak dále uvádí Akt, je zakázáno rovněž uvádění na trh a používání systémů AI, které zneužívají tyto zranitelnosti s cílem podstatně narušit chování dotčených osob, což může rovněž vést k závažné újmě jednotlivců.
Rovněž je zakázáno používání systémů AI pro hodnocení nebo klasifikaci fyzických osob na základě jejich sociálního chování nebo osobnostních charakteristik, tzv. systémů sociálního kreditu, které by vedly ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo celými skupinami těchto osob, které je neodůvodněné nebo nepřiměřené jejich sociálnímu chování nebo jeho závažnosti nebo v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny.
Akt upozorňuje, že tyto systémy mohou vést k diskriminačním výsledkům a vyloučení určitých skupin osob, což je v rozporu se základními právy a hodnotami rovnosti a spravedlnosti. Akt o umělé inteligenci proto zakazuje uvádět na trh systémy AI, které vedou ke znevýhodňujícímu nebo nepříznivému zacházení s jednotlivci na základě sociálního kreditu.
Zákaz systémů biometrické kategorizace a identifikace
Další významnou oblastí, kde jsou stanoveny přísné zákazy, je využívání biometrických údajů. Akt zakazuje systémy AI, které kategorizují jednotlivce na základě biometrických údajů, jako jsou obličejové rysy nebo otisky prstů, za účelem odvození rasy, politických názorů, náboženského přesvědčení, sexuální orientace nebo jiných citlivých osobních charakteristik. Tento zákaz slouží především k ochraně osob před diskriminací a neoprávněným zásahem do jejich soukromí.
Zákaz se vztahuje i na používání systémů AI pro biometrickou identifikaci na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva. Aktu zdůrazňuje, že takové systémy mohou výrazně zasahovat do práv a svobod jednotlivců, vytvářet pocit neustálého sledování a vést k diskriminačním účinkům, a proto zakazuje jejich používání, pokud to není nezbytné pro specifické účely, jako je vyhledávání pohřešovaných osob nebo prevence teroristických útoků, a to pouze za podmínky splnění přísných podmínek.
Dalšími zakázanými postupy podle Aktu jsou např.:
- uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI pro posuzování rizik fyzických osob s cílem posoudit nebo předvídat riziko, že fyzická osoba spáchá trestný čin, a to výhradně na základě profilování fyzické osoby nebo posouzení jejích osobnostních znaků a vlastností
- uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI, které vytvářejí nebo rozšiřují databáze rozpoznávání obličeje prostřednictvím necíleného získávání zobrazení obličeje z internetu nebo kamerových záznamů;
- uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI s cílem odvodit emoce fyzické osoby na pracovišti a ve vzdělávacích institucích (s výjimkou případů, kdy je použití systému AI určeno k zavedení či k uvedení na trh z lékařských nebo bezpečnostních důvodů);
- uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů biometrické kategorizace, které jednotlivě kategorizují fyzické osoby na základě jejich biometrických údajů za účelem dovození nebo odvození jejich rasy, politických názorů, členství v odborových organizacích, náboženského nebo filozofického přesvědčení, sexuálního života nebo sexuální orientace;
- používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva, pokud to není nezbytně nutné pro jeden z cílů stanovených v Aktu, a jen v nezbytně nutné míře:
Sankce
Za nedodržení zákazu postupů v oblasti AI mohou být uloženy správní pokuty až do výše 35 000 000 EUR nebo, dopustí-li se porušení podnik, až do výše 7 % jeho celkového celosvětového ročního obratu za předchozí finanční rok podle toho, která hodnota je vyšší.
Při rozhodování o tom, zda uložit správní pokutu, a při rozhodování o výši správní pokuty bude záležet v jednotlivých případech na všech příslušných okolnostech konkrétní situace. Podle Aktu se bude zohledňovat např.:
- povaha, závažnost a doba trvání protiprávního jednání a jeho důsledků, s přihlédnutím k účelu systému AI, jakož i případně k počtu dotčených osob a k úrovni škod, které jim vznikly;
- zda již jiné orgány uložily témuž provozovateli správní pokuty za porušení jiného práva Unie nebo vnitrostátního práva, pokud tato porušení vyplývají ze stejné činnosti nebo opomenutí, které představují relevantní porušení tohoto nařízení;
- velikost a roční obrat provozovatele, který se porušení dopustil, a jeho podíl na trhu;
- způsob, jakým se příslušné vnitrostátní orgány o porušení dozvěděly, zejména zda provozovatel porušení oznámil, a pokud ano, v jakém rozsahu;
- zda k porušení došlo úmyslně, nebo z nedbalosti;
Závěr
Zakázané postupy v oblasti AI podle Aktu o umělé inteligenci mají za cíl chránit základní práva a hodnoty Evropské unie před zneužitím technologií, které by mohly vážně narušit autonomii, důstojnost a rovnost jednotlivců. Akt o umělé inteligenci proto stanovuje přísná pravidla pro provozování a používání systémů AI, přičemž lze očekávat, že tato regulace bude s postupným technologickým pokrokem dále upravována.
