Nařízení Evropského parlamentu a Rady (EU) 2024/1689, známé jako Akt o umělé inteligenci (Akt), zavádí nový právní rámec také pro monitorování systémů umělé inteligence (AI) po jejich uvedení na trh, a stanovuje specifické povinnosti pro poskytovatele, jakož i pro orgány dozoru nad trhem. V tomto článku představíme některé z těchto povinností, stejně tak jako na jejich možný dopad na poskytovatele či zavádějící subjekty.
Monitorování vysoce rizikových systémů AI
Akt o umělé inteligenci stanoví, že poskytovatelé vysoce rizikových systémů AI musí zavést a zdokumentovat tzv. systém monitorování po uvedení na trh. Systém monitorování po uvedení na trh musí aktivně a systematicky shromažďovat, dokumentovat a analyzovat příslušné údaje, které mohou být získávány od zavádějících subjektů nebo které mohou být shromažďovány z jiných zdrojů a které se týkají výkonnosti vysoce rizikových systémů AI po celou dobu jejich životnosti, a umožnit poskytovateli vyhodnocovat nepřetržitý soulad systémů AI s požadavky stanovenými v Aktu. Účelem je zajištění toho, že systémy AI budou nadále vyhovovat všem právním požadavkům a normám kvality po jejich nasazení v reálném prostředí.
Dalším důležitým aspektem je schopnost v relevantních případech analyzovat interakce s různými systémy AI, což je klíčové pro zajištění jejich vzájemné kompatibility.
Poskytovatelé jsou povinni založit tento systém na plánu monitorování po uvedení na trh, který je součástí technické dokumentace. Evropská komise má povinnost do roku 2026 přijmout prováděcí akt, který stanoví podrobná ustanovení týkající se tohoto plánu, včetně vzoru a povinných prvků, které musí být v plánu zahrnuty.
Sdílení informací o závažných incidentech
Podle Aktu jsou poskytovatelé povinni oznámit každý závažný incident spojený s vysoce rizikovými systémy AI orgánům dozoru nad trhem v členských státech, kde k incidentu došlo. Oznámení musí být učiněno neprodleně poté, co poskytovatel zjistí příčinnou souvislost mezi daným systémem AI a daným závažným incidentem nebo přiměřenou pravděpodobnost této souvislosti, v každém případě však nejpozději do patnácti dnů poté, co se poskytovatel (případně zavádějící subjekt) o daném závažném incidentu dozvěděl.
Oznamovací lhůty jsou však kratší pro zvláštní případy. Pokud jde o závažné incidenty s potenciálně velkým dopadem, musí být oznámení učiněno do dvou dnů poté, co se poskytovatel či zavádějící subjekt o tomto incidentu dozvěděl. Pokud incident vede k úmrtí osoby, musí být příslušné orgány informovány nejpozději do deseti dnů.
Po oznámení závažného incidentu mají poskytovatelé povinnost provést bezodkladně nezbytná šetření zaměřené na zjištění příčin incidentu a přijmout nápravná opatření. Poskytovatel musí během těchto šetření spolupracovat s příslušnými orgány a případně s dotčeným oznámeným subjektem a nesmí provádět žádná šetření, při nichž je daný systém AI upravován způsobem, který může ovlivnit následné vyhodnocení příčin incidentu, dokud o takovém opatření neinformuje příslušné orgány. Zároveň jsou příslušné vnitrostátní orgány povinny každý závažný incident neprodleně oznámit Evropské komisi, a to bez ohledu na to, zda v souvislosti s ním přijaly nějaká opatření.
Dozor nad unijním trhem
Akt o umělé inteligenci klade velký důraz na efektivní dozor nad trhem, a proto stanovuje, že na systémy AI spadající pod regulaci Aktu se vztahuje nařízení (EU) 2019/1020, které upravuje dohled nad trhem s cílem zajistit bezpečnost výrobků v rámci EU.
Orgány dozoru nad trhem mají široké kompetence a pravomoci k zajištění souladu systémů AI s právními požadavky. Mezi jejich hlavní úkoly patří monitorování vývoje a implementace systémů AI, provádění šetření v případě nesouladu a koordinace s dalšími relevantními orgány na národní i evropské úrovni.
Orgány dozoru nad trhem mají také kompetence a pravomoci k zajištění toho, aby bylo testování systémů AI v reálných podmínkách v souladu s regulací podle Aktu. Byl-li orgán dozoru nad trhem informován o závažném incidentu nebo má-li jiné důvody se domnívat, že podmínky stanovené v Aktu nejsou splněny, může na svém území případně pozastavit nebo ukončit testování v reálných podmínkách, nebo požadovat, aby poskytovatel či zavádějící subjekt změnili jakýkoli aspekt testování daného systému AI.
Významnou roli hraje také Úřad pro AI, který má pravomoc monitorovat systémy založené na obecných modelech AI a dohlížet na jejich soulad s nařízením, a je klíčovým orgánem zajišťujícím implementaci, monitorování a správu AI systémů a obecných modelů v rámci EU (Úřadem pro AI jsme se blíže zabývali zde).
Ochrana základních práv
Podle Aktu o umělé inteligenci mají klíčovou úlohu při monitorování vysoce rizikových systémů AI nejen orgány dozoru nad trhem, ale i vnitrostátní veřejné orgány nebo subjekty veřejného sektoru, které dohlížejí na dodržování povinností stanovených právem Unie na ochranu základních práv, jako je právo na nediskriminaci. Tyto orgány jsou oprávněny požadovat jakoukoli dokumentaci vytvořenou nebo vedenou poskytovateli systémů AI podle tohoto nařízení, pokud je přístup k této dokumentaci nezbytný pro účinné plnění jejich povinností v rámci jejich příslušnosti.
Pokud poskytnutá dokumentace není dostatečná k tomu, aby bylo možné zjistit, zda došlo k porušení povinností podle práva Unie chránícího základní práva, můžou zmíněné orgány nebo orgán veřejné moci podat orgánu dozoru nad trhem odůvodněnou žádost o uspořádání testování vysoce rizikového systému AI technickými prostředky. Orgán dozoru nad trhem následně uspořádá toto testování, do něhož bude dožadující orgán veřejné moci nebo subjekt významně zapojen, a to v přiměřené lhůtě po podání žádosti.
Všechny informace a dokumentace, které vnitrostátní orgány veřejné správy nebo veřejnoprávní subjekty získají podle tohoto nařízení, musí být zpracovány v souladu s povinnostmi zachování důvěrnosti, jak je stanoveno v Aktu. Tento požadavek tak zajišťuje, že citlivé informace nebudou zneužity a budou chráněny proti neoprávněnému přístupu, čímž se zároveň podporuje důvěra mezi poskytovateli AI systémů a jednotlivými orgány.
Kontrola systémů AI představujících riziko
Podle Aktu o umělé inteligenci jsou systémy AI, které představují riziko pro zdraví, bezpečnost nebo základní práva osob, považovány za „výrobky představující riziko“ podle definice nařízení (EU) 2019/1020.
Orgán dozoru nad trhem členského státu, který má dostatečný důvod se domnívat, že určitý systém AI představuje riziko, je povinen provést hodnocení tohoto systému z hlediska jeho souladu se všemi požadavky a povinnostmi stanovenými v aktu. Zvláštní pozornost je věnována systémům AI, které představují riziko pro zranitelné skupiny obyvatel. Pokud hodnocení odhalí rizika týkající se základních práv, je povinností orgánu dozoru nad trhem informovat příslušné národní orgány nebo subjekty veřejného sektoru a úzce s nimi spolupracovat, stejně tak jako neprodleně vyzve příslušného provozovatele, aby přijal veškerá vhodná nápravná opatření k uvedení systému AI do souladu, k jeho stažení z trhu nebo z oběhu.
Pokud se orgán dozoru nad trhem domnívá, že nesoulad daného systému AI není omezen pouze na území jeho členského státu, je povinen neprodleně informovat Komisi a ostatní členské státy o výsledcích hodnocení a opatřeních, která má provozovatel přijmout. Provozovatel musí zajistit, že všechna vhodná nápravná opatření jsou přijata ohledně všech dotčených systémů AI, které byly uvedeny na trh v Unii.
Prostředky ochrany
Akt o umělé inteligenci přiznává každé fyzické nebo právnické osobě, která má důvod se domnívat, že došlo k porušení ustanovení Aktu, právo podat stížnost příslušnému orgánu dozoru nad trhem. Stížnosti se vyřizují v souladu s postupy stanovenými pro dozor nad trhem podle nařízení (EU) 2019/1020. Tím je zajištěno, že stížnosti jsou zohledněny při provádění činností dozoru a že příslušné orgány přijmou opatření k nápravě zjištěných nedostatků.
Zároveň má každá dotčená osoba, na niž se vztahuje rozhodnutí zavádějícího subjektu na základě výstupu z vysoce rizikového systému AI právo získat od tohoto subjektu jasná a smysluplná vysvětlení ohledně úlohy tohoto systému AI v rozhodovacím postupu a v hlavních prvcích přijatého rozhodnutí, pokud toto rozhodnutí má právní účinky nebo jinak významně ovlivňuje zdraví, bezpečnost nebo základní práva dotčené osoby.
Závěr
Akt o umělé inteligenci představuje komplexní právní rámec zaměřený na regulaci a dohled nad systémy umělé inteligence, zejména těmi, které představují vysoké riziko pro zdraví, bezpečnost a základní práva osob. Akt proto zavádí povinnosti pro poskytovatele těchto systémů i orgány dozoru nad trhem, které mají zajistit, že systémy AI budou i nadále splňovat přísné požadavky na bezpečnost a shodu.
Poskytovatelé a zavádějící subjekty jsou tak v určitých případech povinni aktivně monitorovat výkonnost svých systémů, hlásit závažné incidenty a spolupracovat s orgány dozoru nad trhem. Nařízení také zdůrazňuje význam ochrany oznamovatelů a stanovuje jasné postupy pro podávání a vyřizování stížností v případech podezření na porušení pravidel.
