Úřady po celé Evropě zkoušejí, jak algoritmy zapojit do práce s občany. V oblasti sociálních dávek se testuje automatické vyhodnocování žádostí, předpovídání „rizika“ či odhalování „zneužívání“ podpory. Vše se popisuje neutrálním, technokratickým jazykem: „zefektivnění procesů“, „odlehčení úředníkům“. Právě tato zdánlivá neutralita je ale problém.
Rozum, který měl lidi osvobodit, se v moderní době často mění v nástroj podřízení. Racionalita se obrací proti svým vlastním cílům – místo emancipace přináší standardizaci, místo spravedlnosti kontrolu.
„Paní Nováková je matka dvou dětí, která se ocitla v hmotné nouzi poté, co přišla o práci. Po několika měsících se jí podařilo najít nové zaměstnání a přestala pobírat dávky hmotné nouze. Bohužel, po nějakém čase se její situace opět zhoršila a musela znovu požádat o pomoc.“ Tento příběh nám jako modelovou situaci líčí tisková zpráva z loňského „prvního globálního hackathonu pro veřejný sektor“, jehož hlavním sdělením bylo podle organizátorů – MPSV a Microsoft – následující: „Máme data, pracujeme s nimi moderními nástroji a jsme schopní z nich dostat informační hodnotu.“
Algoritmus, dočteme se dále v citované zprávě, včas zahlédne, že se paní Nováková po ztrátě práce může znovu propadnout do hmotné nouze; úřad tedy proaktivně nabídne pomoc dřív, než se krize prohloubí. Po nové žádosti o dávky model navrhne konkrétní kroky – rekvalifikaci, poradenství, odpovídající pracovní nabídky – a tím zvýší šanci na dlouhodobou stabilitu i lepší využití veřejných peněz.
Na optimistický příběh nasaďme kritické brýle a zaměřme se na tři klíčové otázky: kdo ve výsledku rozhoduje (člověk, nebo skóre?), kdo to může srozumitelně vysvětlit a zkontrolovat (transparentnost a audit) a kdo drží klíče od systému (stát, nebo poskytovatel cloudu?). Pokud to nevíme nebo nás to nezajímá, snadno se ze skutečné paní Novákové, ženy s příběhem, stane proměnná v administrativní tabulce, podezřelá uživatelka sociální pomoci či drobná položka v účetnictví soukromé firmy.
Stát jako algoritmus
Mezinárodní zkušenosti ukazují varovné cesty, po kterých může digitalizace sociální agendy státu vést. V Nizozemsku soud v roce 2020 zakázal činnost systému SyRI, který měl státní správě pomoci odhalovat podvody při přidělování dávek sociální pomoci. Podle soudu systém neobstál ve světle práva na soukromí a začal potají označovat lidi i celé čtvrti jako rizikové. Dotčení „klienti“ přitom nevěděli, proč byli vytipováni, ani jak se bránit. O rok později vedla kauza „xenofobních algoritmů“ tzv. Toeslagenaffaire až k pádu vlády Marka Rutteho. Datově řízené profilování a risk-scoring, v rámci něhož se pro vytváření rizikových profilů používaly i indikátory jako „cizokrajně znějící jména“ či „dvojí občanství“, vedly k tvrdému zásahu státu do života desetitisíců rodin (obvinění ze zpronevěry a následné nepodložené pokuty často vedly k zadlužení i ztrátě domova).
V Rakousku vyvolal kontroverze dlouholetý spor o algoritmus veřejné služby zaměstnanosti AMS/AMAS. Ten třídil uchazeče podle „zaměstnatelnosti“ a měl potenciál systematicky znevýhodnit ženy, starší lidi, migranty či osoby se zdravotním postižením – tedy zabetonovat existující stereotypy do přístupu k podpoře. Kritiku diskriminačního rizika popsala řada analýz a watchdogů už při zavádění systému. Správní soud sice před pár dny konstatoval, že nejde o výhradně automatizované rozhodování, protože poslední slovo měli úředníci AMS, spor ovšem rozhodoval pouze ve věci ochrany soukromých údajů – nikoli diskriminace, kterou systém umožňoval.
Tyto a další příklady nedávných žalob na diskriminující algoritmy pro sociální dávky (například Francie nebo Dánsko) dokládají, že jejich neutralita je falešná a při pochybeních nejde o výjimečnou chybu systému. „SyRI není žádná výjimka,“ dočítáme se ve zprávě Úřadu Vysokého komisaře OSN pro lidská práva. „Podobné nástroje patří k celosvětovému trendu zavádění a rozšiřování digitálních technologií v sociálním státě. Příliš často se ale zcela přehlíží, jak ničivé dopady mohou mít na práva těch nejchudších a nejvíce vylučovaných.“ Modely se učí z minulosti. Podle ní posuzují realitu a projektují budoucí rozhodnutí. Pokud se v datech zračí strukturální nerovnosti (sociálně-ekonomické postavení, region, věk, etnicita, gender a další), algoritmus je často zakóduje jako objektivní realitu a východisko výpočtů a rozhodování.
Když se stane výjimka pravidlem
Opatření, která vznikla jako výjimky a dočasné zásahy, se v režimu spravovaného světa překlápějí do každodenní rutiny. Probíhá to sérií administrativních kroků, metodik a tzv. „doporučení systému“ (návrh vyprodukovaný algoritmem), která se postupně stanou standardním postupem. Tam, kde stál úsudek a rozhovor člověka s člověkem (jakkoliv i to je třeba v poměrech českých úřadů práce často skličující zážitek), nastupuje tabulka, skóre a workflow.
V sociální agendě států, jako je ten náš – států, které se řídí principy „ekonomické efektivity“, šetření na „lidských zdrojích“ a boje s „příživníky“ – to vypadá následovně: Algoritmus označí určitou situaci za rizikovou, rozhraní doporučí „přísnější postup“, metodika přidá kolonku „důvod k prověření“. A dřív, než si toho všimneme, je mimořádná kontrola vytipovaného „vzorku dat“ (lidí) běžným krokem řízení konkrétního případu. Administrativa tak normalizuje výjimku – to, co mělo být reakcí na výjimečnou situaci, se mění v trvalé nastavení vztahu státu a občana, potažmo státu a dané skupiny lidí.
Úředník, který dostane na stole skóre „podezřelého klienta“, bude mít tendenci se tímto číslem řídit. Člověk v nouzi je předem podezřelý a musí dokazovat svou nevinu. Mimořádná opatření se mění v běžný postup, aniž by kdy proběhla veřejná shoda na tom, že takovou změnu skutečně chceme.
A protože se to děje administrativně – skrze formuláře, checklisty a softwarové parametry – je tento posun zároveň hůř viditelný a hůř zpochybnitelný. O to naléhavější je trvat na lidském přezkumu založeném na transparentních pravidlech, srozumitelném vysvětlování a účasti těch, jichž se „normalizovaná výjimka“ nejvíc dotýká.
Superdávka a Jenda
„Superdávka“ od 1. října 2025 slučuje čtyři klíčové dávky (přídavek na dítě, příspěvek na bydlení, příspěvek na živobytí, doplatek na bydlení) do jednoho řízení. Žádost jde podat online přes portál MPSV s milým názvem Jenda. Pro uživatele to představuje příjemné zkrácení cesty. Pro stát je to centralizace pravidel, dat a procesů – jeden formulář, jedno datové potrubí, jeden rozhodovací rámec.
Jedním „klikem“ se ale sjednotí i chyby, zpoždění a sankce. Řada lidí může přijít o část peněz – například ti, kdo nestihnou včas znovu požádat, mají neaktuální údaje v registrech (auto, které už dávno nevlastní, nebo přiznaný příjem z brigády). Nebo jen lidé, kteří žijí v domácnosti, kde někdo nespolupracuje s úřadem práce. Stejně tak ti, kteří se kvůli výpadkům systému nedokážou přihlásit do klientské zóny. Ohroženi jsou i lidé s nepravidelnými výdělky či sezónní prací, u nichž algoritmus vyhodnotí příjem jinak než dříve. Sloučením dávek mizí přehled i možnost rychlé nápravy. Odvolání trvá, zatímco peníze chybí hned. Výsledek? Méně papírování a větší riziko chudoby pro ty nejzranitelnější.
MPSV mezitím nasadilo hlasového asistenta pro základní informace o dávkách a předpokládá další využití voicebotů/chatbotů ve styku s klienty. Zatím Jenda funguje hlavně jako samoobslužná podatelna. Běží v ní pomocná AI, která kontroluje, zda člověk nahrál správný typ dokumentu. Již to potenciálně zvyšuje dopady digitální chudoby, resp. zvyšuje bariéry pro lidi, kteří nemají přístup k internetu či prostě nejsou dostatečně „digitálně gramotní“.
Jak rozebírá Matouš Hrdina v textu, který je v české publicistice zatím velmi ojedinělý, už dnes se rozbíhá mechanismus, který vede k nabourávání základních principů lidské důstojnosti. Když jsme v digitálních systémech redukováni na číslo či datový záznam, ztrácíme status jedinečné lidské osoby. Ti, kdo jsou digitálně chudí nebo technologicky vyloučení, se pak stávají druhořadými uživateli, s nimiž se nezachází jako s rovnocennými lidmi, ale jako s problémovými, anonymními položkami v systému.
Rizika se zvedají, když se k superdávce připojí to, co už nyní resort zmiňuje v prezentacích a hackathonech s Microsoftem. Predikční modely (např. návrat do hmotné nouze), AI příprava podkladů pro rozhodnutí, ale za určitých okolností právě i hlasoví/chat asistenti by měli vzbudit pozornost. Jakmile začne systém AI třídit či prioritizovat žadatele – byť „jen“ jako doporučení systému – posouváme se z komfortu uživatelů do oblasti moci, hierarchie a možné diskriminace. Mix nekritického technooptimismu, úspor na lidech, centralizace dat a zájmů nadnárodní korporace je koktejl, po němž nemá Jenda chuť sloužit, ale vládnout. Jedna či dvě superdávky a z pomocníka se stává (super)správce, z doporučení systému pravidlo.
Komu patří algoritmus?
Další základní, ale často přehlížená otázka, zní: Komu algoritmus patří? V dnešní praxi to většinou není stát, ale soukromá firma. Systém AI je uzavřený, chráněný licencemi a obchodním tajemstvím. Zvenčí působí jako černá skříňka. Důsledek je prostý. Závislost na jednom dodavateli (tzv. vendor lock-in). Když se objeví chyba, když budou klienti (stát) chtít rozhodnutí vysvětlit, nebo dokonce přejít na jiné řešení, narazí. Bez souhlasu výrobce se do útrob systému nelze dostat, audit je omezený a náprava pomalá a drahá.
A veřejná kontrola? Ta se v takové chvíli rozpouští v licenčních doložkách. Právě proto mezinárodní doporučení OECD pro veřejné zakázky AI radí vynucovat kontrolovatelnost (audity), přenositelnost dat a vzájemnou propojitelnost systémů. Výsledkem musí být úřad, který není uvězněný v jedné dodavatelské krabici zatížené licenčními podmínkami, může systémy skládat, měnit a auditovat.
U „superdávky“ a Jendy to zejména znamená mít pojistku proti „černé skříňce“, která umožní vyměnit dodavatele, připojit nezávislé audity, sdílet metriky férovosti a integrovat lidský přezkum. A to i z jiných agend státu, kterých se dopady AI na základní práva týkají. Testy férovosti celého systému by měly být samozřejmostí a probíhat průběžně.
Není žádný důvod si myslet, že by např. Microsoft sám od sebe toužil, aby mu český stát a veřejnost koukali pod prsty. Vzhledem k jeho chování na trhu je zjevné, že to bude tvrdý, nesmlouvavý, ale také nespolehlivý „partner“. Stačí se podívat na kauzy jen z posledních let. Po zásahu antimonopolních orgánů v EU musel Microsoft oddělit Teams od Office a je kritizován za licenční podmínky, které znesnadňují přechod na jiné cloudy (tzv. „uzamykání zákazníků“). Kvůli svému chování se Microsoft dostal pod drobnohled jak britského úřadu pro hospodářskou soutěž, tak americké vládní vyšetřovací komise pro kybernetickou bezpečnost, která mu vytkla závažné pochybení po útoku na vládní e-maily. Výpadek Microsoftu v říjnu 2025 způsobil problémy i v České republice, kdy nefungovaly systémy MPSV, jako je právě i Jenda.
Právní mantinely
Umělá inteligence sama o sobě není špatným prostředkem. Jde o nastavení přesných pravidel jejího využití a „biasu“, na základě kterého pracují její algoritmy.
Evropské právo není, přesněji řečeno nemusí být, jen prázdná slupka. GDPR výslovně řeší automatizované individuální rozhodování. Pro rozhodnutí založená výhradně na automatizovaném zpracování, která mají právní účinky či se jinak významně dotýkají fyzických osob, platí přísná omezení. Dotčení mají právo na lidský zásah a přezkum, právo vyjádřit svůj názor a napadnout rozhodnutí. Evropské pokyny tuto logiku výslovně vykládají a konkretizují.
Na to navazuje EU AI Act, první komplexní regulace AI v Evropské unii. Pro veřejné „high-risk“ použití AI zavádí mj. nutnost posouzení dopadů na základní lidská práva před prvním nasazením, popis (lidského) dohledu a řízení rizik. V poslední době si nutnost „něco dělat“ uvědomují i české úřady. Analýza ministerstva vnitra k AI ve veřejné správě, Informační koncepce ČR i Národní strategie AI 2030 mluví o řízení rizik, lidském dohledu, otevřených rozhraních a kontrole nad dodavateli.
V praxi ale tyto požadavky často nekončí v zadávací dokumentaci a smlouvách s dodavateli, takže veřejná správa zůstává zranitelná vůči „černým skříňkám“ – což potvrzuje právě i to, že teprve nedávno si stát začal uvědomovat, do jaké svízele jej lock-in může dostat. Na papíře sice máme použitelný rámec i anti-lock-in návody, ale, jak ukazuje i šetření NKÚ o základních veřejných registrech, bez tvrdých smluvních podmínek končí veřejná správa v závislosti na jednom „všemocném“ dodavateli.
Jakmile AI začne ovlivňovat přístup k základním službám a dávkám, už podle evropského práva nejde o volitelný luxus: AI Act to řadí mezi high-risk a vyžaduje předem posouzení dopadů na základní práva, dokumentaci a reálný lidský dohled – bez toho zůstane jakkoli dobře myšlená metodika jen cárem papíru. Víme navíc z praxe, že posuzování dopadu regulací, zejména dopadů na lidská práva (Fundamental Regulatory Impact Assessment) dělají česká ministerstva v některých případech s mimořádnou laxností a na oko.
Bez přístupu k informacím od dodavatele a uzákoněných regulací půjdou v každém případě povinnosti státu starat se o bezpečí a rovný přístup k občanům těžko plnit. Před dalším experimentováním s AI ve státní správě je nezbytné přijmout zákon, který by AI vymezil jasné hranice.
Tři kroky ke spravedlivé technologii
Centralizace a predikce umí ušetřit čas, ale stejně dobře umí normalizovat výjimku. Profilování a risk-scoring se lehce zvrtnou v samozřejmou rutinu a důsledkem bude generování „podezřelých“ a těch, kteří nezaslouženě o pomoc státu rovnou přijdou. Abychom se mohli nastoupenému trendu bránit, je zapotřebí trvat na třech nepřekročitelných liniích.
Zaprvé jde o právo na lidský přezkum. Algoritmus může být užitečný pro předběžné třídění či upozornění na nesrovnalosti, nesmí však být poslední instancí, která rozhoduje o přiznání či odebrání podpory. Každé strojové doporučení musí být přezkoumatelné kvalifikovaným úředníkem, který nese odpovědnost za výsledek a je schopen zohlednit kontext, jenž se do modelu nevejde – například novou životní situaci, lokální dostupnost služeb, specifické zdravotní potřeby a mnoho dalšího. Člověk nesmí být převálcován číslem. To není jen „přání etika“, ale praktický důsledek evropského práva i logiky EU AI Act.
Zadruhé je zapotřebí lpět na transparentnosti, smluvní kontrole a testu férovosti. Veřejná správa si musí nechat záležet na srozumitelné dokumentaci modelů (data, předpoklady, chybovost, meze), povinných nezávislých auditech (před nasazením i průběžně) a smluvních právech na export dat a testování férovosti. Bez toho se z AI stane neprůhledný nástroj moci, který sice zrychlí procesy, ale zároveň rozmělní odpovědnost a znemožní kvalifikovanou veřejnou debatu. Zkušenosti mj. s nizozemskou SyRI i spor kolem rakouské AMS ukazují, že bez transparentnosti končí ona správní efektivita (v lepším případě) u soudu – a důvěra v systém přirozeně na nule.
Za třetí se férové modely AI neobejdou bez participace uživatelů a pracovníků v terénu. Systémy, jež zásadně ovlivňují životy lidí, nesmějí vznikat za zavřenými dveřmi. Je třeba zapojit příjemce dávek, sociální pracovníky, obce a odborné organizace do návrhu i pilotů. Může jít o uživatelské testování v různých regionech, ombudsmanský dohled, ale také sběr stížností a zpětné vazby. Praktický cíl je prostý. Algoritmus nesmí absorbovat staré předsudky, ale naopak podporovat spravedlivé a citlivé rozhodování o distribuci sociální pomoci.
Plnou parou vpřed do digitální dystopie?
Ve 20. století se objevila silná filozofická námitka. Rozum, který měl lidi osvobodit, se v moderní době často mění v nástroj podřízení. Racionalita se obrací proti svým vlastním cílům – místo emancipace přináší standardizaci, místo spravedlnosti kontrolu. Tento motiv znovu ožívá ve chvíli, kdy se státní správa upíná k umělé inteligenci jako k prostředku efektivnějšího řízení. Člověk přestává být subjektem práv a stává se objektem predikce. Otázka, která má být v jádru sociální agendy státu: Co konkrétní člověk potřebuje? – se mění na otázku technickou: Co vychází z modelu?
Již před šesti lety zvláštní zpravodaj OSN pro extrémní chudobu a lidská práva Philip Alston varoval, že „… pokud se lidstvo posouvá – možná nevyhnutelně – směrem k digitální budoucnosti sociálního státu, musí zásadně a rychle změnit kurz, aby se neocitlo jako nemyslící zombie v digitální dystopii. Taková budoucnost by znamenala, že neomezené párování dat bude sloužit k odhalování a trestání sebemenších nesrovnalostí v záznamech příjemců dávek (zatímco u majetnějších vrstev se takovým opatřením pečlivě vyhýbá); že stále dokonalejší možnosti sledování umožní nepřetržitou kontrolu nad příjemci.“
Nejde o to, jak rychle AI na státní agendy nasadíme, ale kam tím posuneme způsob, jak stát uvažuje. Buď technika zůstane pomocníkem – nástrojem demokratického a spravedlivého rozhodování – nebo utvrdí spravovaný svět, kde číslo předbíhá příběh, doporučení systému se mění v normu a účelnost přebíjí férovost. Bez konečného rozhodování lidí, transparentních pravidel a hlasu zasažených se totiž algoritmus bude jen učit z nespravedlností minulosti – a ty pak povyšovat na přirozený běh světa,
Autor je historik a pracovník v sociálních službách.
Tento článek mohl vzniknout jen díky podpoře čtenářů
Podpořte nás