S rozvojem umělé inteligence (AI) se právní rámec Evropské unie přizpůsobuje novým technologickým výzvám. Rada Evropské unie proto schválila Akt o umělé inteligenci (Akt), který přináší pravidla pro zavádění a uvádění AI systémů na trh (blíže jsme se Aktu věnovali např. zde).
V tomto článku vám poskytneme přehled klíčových povinností zavádějících subjektů při používání systémů AI, a také jaké povinnosti mají poskytovatelé systémů AI před a po uvedení systémů AI na unijní trh.
Povinnosti poskytovatelů
Poskytovatelem systému AI je podle Aktu o umělé inteligenci subjekt, který vyvíjí, nechává vyvíjet či uvádí na trh AI systémy pod svým jménem nebo ochrannou známkou. Mezi hlavní povinnosti poskytovatelů patří zejména zajištění, aby systém AI splňoval technické a právní požadavky stanovené Aktem, a to zejména v oblasti vysoce rizikových systémů AI, které mohou mít zásadní dopady na bezpečnost, zdraví a základní práva uživatelů.
Poskytovatelé musí především zajistit posouzení shody vysoce rizikových systémů AI s požadavky stanovenými v Aktu. Posouzení shody je proces, který potvrzuje, že vysoce rizikový systém AI splňuje požadavky stanovené Aktem, což zahrnuje například transparentnost, přesnost a kybernetickou bezpečnost. Cílem je zajistit, aby vysoce rizikové systémy AI byly v co nejvyšší možné míře odolné vůči chybám, poruchám nebo nesrovnalostem, které se mohou vyskytnout v daném systému nebo v prostředí, ve kterém tento systém funguje, a to zejména v důsledku jejich interakce s fyzickými osobami nebo jinými systémy.
Další klíčovou povinností je zajištění kvality dat, na jejichž základě je daný systém AI vyvíjen. Vysoce rizikové systémy AI by měly být vyvíjeny na základě kvalitních a reprezentativních dat, která eliminují zkreslení a zajišťují přesnost modelu. Data tedy musí být zejména relevantní, přesná a kompletní tak, aby co nejvěrněji odpovídala skutečnosti, přičemž Evropská komise může podpořit vypracování referenčních hodnot a metodik měření. Data musí zároveň zohledňovat v rozsahu nezbytném pro jejich zamýšlený účel vlastnosti nebo prvky, které jsou specifické pro konkrétní zeměpisné, kontextuální, behaviorální nebo funkční prostředí, ve kterém má být daný vysoce rizikový systém AI používán.
Datové soubory musí být dostatečně rozmanité a zahrnovat všechny relevantní proměnné pro daný kontext, aby bylo možné zajistit, že výsledky modelu budou použitelné pro různé skupiny lidí nebo různé situace, a minimalizovalo se tak zkreslení, ke kterému může dojít v důsledku nesprávné volby dat. Například u systémů, které mají rozhodovat o přístupu k zaměstnání nebo zdravotní péči, je důležité, aby data neobsahovala systémové zkreslení nebo neodrážela historickou diskriminaci. Pokud je systém AI v nesouladu s těmito požadavky, poskytovatel je povinen okamžitě učinit nezbytná nápravná opatření, a to včetně případného stažení systému z trhu.
Poskytovatel je také povinen uchovávat potřebnou dokumentaci (mj. technickou dokumentaci, dokumentaci týkající se systému řízení kvality a prohlášení o shodě) po dobu 10 let od uvedení vysoce rizikového systému AI na trh nebo do provozu pro potřebu příslušných vnitrostátních orgánů, zejména orgánu dozoru nad trhem a oznamovacího orgánu (které jsme blíže představili zde).
Povinnosti zavádějících subjektů
Zavádějícím subjektem je fyzická nebo právnická osoba, která využívá systém AI ve své pravomoci, s výjimkou používání systému v osobním a neprofesionálním kontextu. Tito uživatelé systému mají povinnost zajistit, aby daný systém AI byl používán v souladu s jeho zamýšleným účelem, a případně přijmout vhodná opatření ke zmírnění rizik.
Jednou z nejdůležitějších povinností zavádějících subjektů je zajistit, že vysoce rizikové systémy AI, které používají, budou podléhat lidskému dohledu. Lidský dohled je klíčový pro zajištění správné interpretace výsledků a minimalizaci rizika „zkreslení způsobeného automatizací“, kdy by docházelo k přílišnému spoléhání na výstupy AI. Zavádějící subjekt musí zajistit, aby fyzické osoby, které na AI dohlíží, měly odpovídající odbornou způsobilost a byly schopné správně jednat v případě anomálií nebo poruch systému, a to včetně zastavení daného systému.
Zavádějící subjekty v postavení poskytovatele
Podle Aktu může dojít k situacím, kdy zavádějící subjekty převezmou povinnosti poskytovatelů. To nastává například v případě, že zavádějící subjekt provede podstatnou změnu systému AI nebo změní zamýšlený účel systému. V takových případech má zavádějící subjekt stejné povinnosti jako poskytovatel, včetně zajištění posouzení shody a plnění požadavků stanovených Aktem. Tato situace může nastat například při používání AI systémů ve zdravotnictví, kde jakákoliv změna systému AI, který byl schválen pro jeden účel, může znamenat podstatnou změnu jeho původního účelu.
Vysoce rizikové systémy AI
Jedním z klíčových pojmů Aktu o umělé inteligenci je vysoce rizikový systém AI. Podle Aktu se za vysoce rizikové považují systémy, které jsou určeny k použití jako bezpečnostní komponenty produktů, na něž se vztahují harmonizační právní předpisy EU, nebo systémy uvedené v příloze III Aktu (např. systémy používané v kritické infrastruktuře, ve zdravotnictví nebo při náboru pracovníků).
Vysoce rizikové systémy podléhají přísným pravidlům, včetně povinnosti zavést systém řízení rizik, který je kontinuálním procesem probíhajícím během celého životního cyklu systému. Tento proces zahrnuje identifikaci, analýzu, odhad a řízení rizik. Systémy musí být rovněž odolné vůči kybernetickým útokům a chybám.
Transparentnost a záznamy
Poskytovatelé i zavádějící subjekty musí zajistit, aby systémy AI byly transparentní. To znamená, že musí být jasně popsány jejich funkce, zamýšlený účel a omezení výkonu tak, aby zavádějící subjekty mohly jasně interpretovat výstup daného systému a mohly jej vhodně používat. U vysoce rizikových systémů je také vyžadováno vedení záznamů o událostech (protokolů), které umožňují sledování chování systému a identifikaci rizik. Vysoce rizikové systémy AI jsou také opatřeny návodem k použití ve vhodném digitálním nebo jiném formátu, který obsahuje stručné, úplné, správné a jasné informace, které jsou pro zavádějící subjekty relevantní, přístupné a srozumitelné.
Poskytovatelé rovněž zajistí, aby systémy AI určené k přímé interakci s fyzickými osobami byly navrhovány a vyvíjeny tak, že dotčené fyzické osoby budou vyrozuměny o tom, že komunikují se systémem AI, není-li tato skutečnost zřejmá z pohledu fyzické osoby, která je přiměřeně informovaná, pozorná a obezřetná, při zohlednění okolností a kontextu použití.
Závěr
Používání umělé inteligence přináší velké výhody, ale také odpovědnost. Jak poskytovatelé, tak zavádějící subjekty musí být obezřetní a zajistit, že jejich systémy umělé inteligence splňují požadavky Aktu o umělé inteligenci. Zároveň je důležité si uvědomit, že za určitých okolností mohou mít zavádějící subjekty stejné povinnosti jako poskytovatelé. Dodržování povinností stanovených v Aktu, jako je transparentnost, lidský dohled a technická bezpečnost je klíčové pro ochranu uživatelů a zajištění důvěryhodnosti AI systémů.
