V šestém článku naší série o umělé inteligenci představíme tzv. vysoce rizikové systémy umělé inteligence (dále jen „vysoce rizikové systémy UI“). Tento pojem byl představen v rámci již známého Aktu o umělé inteligenci (dále jen „Akt“), přičemž se jedná o jednu ze tří rizikových úrovní. Jsou definovány jako systémy UI, které představují vysoké riziko pro zdraví a bezpečnost nebo pro základní práva fyzických osob a uvést na trh je bude možné jen při splnění na ně kladených požadavků. Příloha III Aktu taxativně vymezuje konkrétní oblasti, ve kterých představují uvedené systémy UI vysoké riziko.
Mj. se jedná o následující oblasti:
- řízení a provozování kritické infrastruktury,
- vzdělávání a odborná příprava,
- zaměstnanost, správa pracovníků a přístup k samostatné výdělečné činnosti nebo
- biometrická identifikace a kategorizace fyzických osob, kterou jsme se již zabývali v rámci třetího článku této série.
Klasifikace vysoce rizikových systémů UI
Klasifikace systému UI jako vysoce rizikového je založena na určeném účelu daného systému UI v souladu se stávajícími právními předpisy upravujícími bezpečnost výrobků. Z tohoto důvodu není systém UI klasifikován pouze dle funkce, kterou daný systém vykonává, ale také na konkrétním účelu a způsobech, pro které se tento systém používá.
Pro to, aby se systém UI klasifikoval jako rizikový, musí být kumulativně splněny dvě podmínky:
a) systém UI je určen pro použití v kterékoli z oblastí vymezených v rámci přílohy III,
a
b) systém UI představuje riziko újmy na zdraví a bezpečnosti nebo riziko nepříznivého dopadu na základní práva, které je z hlediska závažnosti a pravděpodobnosti výskytu stejné nebo větší než riziko újmy nebo nepříznivého dopadu, které představují vysoce rizikové systémy UI, jež jsou již uvedeny v příloze III.
Co se týče samotného posuzování toho, zda systém UI představuje zmíněné riziko újmy na zdraví a bezpečnosti či riziko nepříznivého dopadu na základní práva, vymezuje Akt konkrétní kritéria, podle kterých se musí systém UI zkoumat. Jedná se např. o to, do jaké míry je daný systém UI již využíván nebo bude pravděpodobně využíván či potenciální rozsah této újmy nebo nepříznivého dopadu, zejména pokud jde o jejich intenzitu a schopnost ovlivnit více osob.
Požadavky na vysoce rizikové systémy UI
Oproti běžným systémům UI nebo systémům UI s omezeným rizikem, mezi které patří také chatboti nebo deep-fake1 je na vysoce rizikové systémy UI kladeno množství dodatečných požadavků.
Jedním z klíčových požadavků je zavedení, uplatňování, zdokumentování a udržování systému řízení rizik. Sytém rizik představuje dle Aktu nepřetržitý opakující se proces prováděný v rámci celého životního cyklu vysoce rizikového systému UI, který vyžaduje pravidelnou systematickou aktualizaci. Úkolem systému rizik je zejména identifikace a analýza rizik, stejně tak jako odhad a vyhodnocení těchto rizik a následné přijetí vhodných opatření k jejich řízení.
Mimo požadavky na prevenci rizik je v Aktu kladen důraz také na vysokou kvalitu datových souborů určených pro trénování těchto systémů UI, technickou dokumentaci, která musí být vždy vypracována před uvedením systému na trh či do provozu nebo vhodná opatření lidského dohledu pro minimalizaci rizik.
Závěr
Určité systémy umělé inteligence nepochybně přinášejí zvýšená rizika, a bylo tak nutné na ně v rámci legislativy adekvátně reagovat. Akt o umělé inteligenci představil právní úpravu, která stanovuje nejen postup klasifikace systémů jako vysoce rizikových, ale také dodatečné požadavky pro jejich uvedení na trh a provoz. Kromě požadavků zmíněných v tomto článku existují také povinnosti, které musí dodržovat nejen poskytovatelé, ale i samotni uživatelé. Těmito se však budeme zabývat zase jindy.
- Zmanipulovaný obsah, který se jeví jako autentický. ↩︎