Jaké důkazy potřebujete k prokázání shody s AI? Kontrolní seznam připravený na audit pro CTO, týmy pro dodržování předpisů a tvůrce AI

Důkaz o shodě AI znamená provozní důkaz, nikoli pouze písemný záměr.

Nejsilnější důkazy zahrnují dokumentaci, protokoly, záznamy o kontrole, schválení, záznamy o incidentech a uchovávané technické artefakty.

Na politikách záleží, ale nepodporované politiky jsou slabým důkazem.

Podle GDPR musí být organizace schopny prokázat soulad, nikoli pouze prohlásit, že dodržují EUR-Lex.

– Podle EU AI Act mezi vysoce rizikové povinnosti týkající se umělé inteligence výslovně patří protokolování, dokumentace, lidský dohled, řízení rizik a monitorování po uvedení na trh European Commission [

Silné důkazy lze získat, přiřadit, verzovat a záměrně uchovávat.

V kontextu AI governance je důkaz soubor záznamů, který umožňuje někomu mimo bezprostřední projektový tým ověřit, jak byl systém navržen, schválen, monitorován a řízen. Je to to, co mění vládnutí ze souboru slibů v něco, co lze testovat.

Užitečný způsob, jak o tom přemýšlet, je:

Dokumentace ukazuje, co jste zamýšleli.

Protokoly a záznamy ukazují, co se skutečně stalo.

Záznamy o kontrole a schválení ukazují, kdo byl odpovědný.

Záznamy incidentů a výjimek ukazují, jak jste řešili problémy, když se normální provoz porouchal.

Rámec a příručka NIST pro řízení rizik AI zdůrazňují dokumentaci, struktury řízení, monitorování, procesy kontroly a řízení změn jako základní prvky důvěryhodného řízení rizik AI NIST NIST Playbook.s Pokyny ICO mají v praxi podobný bod: auditoři chtějí důkazy o účinných kontrolách, nikoli pouze jazyk politik ICO.

Princip odpovědnosti GDPR vyžaduje, aby správci byli odpovědní za dodržování a byli schopni prokázat dodržování. To je vyšší laťka než mít zásady na sdíleném disku EUR-Lex.

Pokyny ICO týkající se řízení a odpovědnosti v AI doporučují dokumentovat opatření na ochranu soukromí, přidělovat odpovědnosti, získávat důkazy o podepsání rizik vyšším vedením a podporovat zásady provozními postupy, manuály nebo pokyny pro zaměstnance. ICO.

V praxi to znamená:

Politika může říkat, že existuje lidský dohled.

Důkazem je pracovní postup kontroly, přiřazení recenzenta, protokol přepsání a záznam eskalace ICO.

Zásady mohou říkat, že systém je monitorován.

Důkazem je plán monitorování, výstrahy, lístky na incidenty a historie přezkoumání po nasazení European Commission.

Zásady mohou říkat, že přístup je omezen.

Důkazem je konfigurace RBAC, schvalovací protokol, přístupové protokoly a záznamy o výjimkách ICO.

1Dokumentace řízení

Toto je základní vrstva. Odpovídá na základní otázky typu: co je to za systém, kdo ho vlastní, co smí dělat a kdo ho schválil?

Užitečné důkazy o správě věcí veřejných často zahrnují:

inventář systému AI

zamýšlený účel a popis případu použití

vlastník systému a odpovědná funkce

RACI nebo matice odpovědnosti

záznamy správního výboru

soubor zásad a provozní postupy

záznamy o školení a povědomí

historie schválení a odhlášení

NIST doporučuje definovat role, odpovědnosti, kontrolní procesy, frekvenci monitorování a odpovědnosti za řízení změn NIST NIST Playbook. Pokyny ICO také poukazují na podepisování a zdokumentované struktury odpovědnosti vrcholového vedení ICO.

2Hodnocení rizik a klasifikační záznamy

Pokud se někdo zeptá, proč jste se systémem zacházeli jako s nízkým rizikem, omezeným rizikem nebo vysokým rizikem, odpověď by neměla záviset na paměti.

Evropská komise popisuje EU AI Act jako rámec založený na rizicích a mezi vysoce rizikové povinnosti patří hodnocení a zmírňování rizik, protokolování, technická dokumentace, lidský dohled a odolnost European Commission [

Uchovávejte záznamy jako:

memorandum o klasifikaci rizik nebo právní posouzení

DPIA nebo ekvivalentní posouzení dopadu, pokud se jedná o osobní údaje

identifikované scénáře poškození a zneužití

rozhodnutí o zmírnění a zbytkovém riziku

výsledky validace nebo testování

data kontroly a spouštěče přehodnocení

konečné schválení nasazení, omezení nebo zamítnutí systému

Tam, kde umělá inteligence zahrnuje osobní údaje a zvýšené riziko pro jednotlivce, může být v závislosti na kontextu relevantní také odpovědnost GDPR a DPIA EUR-Lex ICO.

3Technická dokumentace a popis systému

Pro vysoce rizikovou AI EU AI Act očekává podrobnou technickou dokumentaci. Přehled Komise zdůrazňuje dokumentaci jako základní mechanismus dodržování předpisů a oficiální text EU AI Act stanoví požadavky na technickou dokumentaci pro vysoce rizikové systémy European Commission EUR-Lex.

V praxi by technická dokumentace měla umožňovat pochopení:

co systém dělá a co nedělá

kde je nasazen

jaký model nebo modely se používají

jaké zdroje dat nebo rozhraní jsou v rozsahu

jaké nástroje, pluginy nebo následné systémy může volat

jaké existují záruky

jaké předpoklady a omezení platí

jak funguje monitorování a vrácení zpět

To se stává ještě důležitějším, pokud jsou zapojeny modely umělé inteligence třetích stran nebo univerzální modely European Commission NIST.

4Systémové protokoly a záznamy sledovatelnosti

Pokud dokumentace vysvětluje systém, protokoly vysvětlují systém v provozu.

Podle EU AI Act musí vysoce rizikové systémy umělé inteligence technicky umožňovat automatické zaznamenávání událostí po celou dobu životnosti systému a protokolování by mělo podporovat sledovatelnost odpovídající zamýšlenému účelu ai-act-service-desk.ec.europa.eu [

Při auditu není nejdůležitější, zda jste vše zaprotokolovali. Jde o to, zda dokážete rekonstruovat materiální činy a rozhodnutí. To obvykle znamená uchování záznamů, jako jsou:

časové razítko

identita herce nebo identita služby

verze systému a modelu

odkaz na výzvu nebo úkol

volání nástrojů nebo externí akce

kontroly politik a výsledky prosazování

požadavek na schválení a výsledek schválení

výstupní reference

chybový stav

prostředí nasazení

ID korelace nebo ID trasování

NIST’s AI RMF a Playbook podporují dokumentaci a monitorovací postupy, díky kterým jsou tyto události rekonstruovatelné NIST NIST Playbook.

Pokud se jedná o osobní údaje, protokolování by mělo stále respektovat zásady minimalizace údajů a zásady zabezpečení. Pokyny ICO doporučují udržovat auditní záznamy a zároveň se vyhýbat zbytečnému uchovávání a mazání přechodných souborů, když již nejsou potřeba [

5Záznamy lidského dohledu

„Člověk ve smyčce“ není důkazem sám o sobě.

Podle EU AI Act je náležitý lidský dohled jedním ze základních vysoce rizikových požadavků European Commission EUR-Lex. Pokyny ICO týkající se kontroly člověkem říkají, že organizace by měly vytvořit standardizované postupy kontroly, jasné kontrolní seznamy a protokoly pro lidské recenzenty ICO.

Silné důkazy z dohledu mohou zahrnovat:

návrh dohledu a politika eskalace

jmenované odpovědné týmy nebo role

záznamy fronty nebo workflow pro kontrolu

záznamy o přepsání a odvolání

recenze recenzentů

záznamy o konečném rozhodnutí

záznamy o školení pro recenzenty

důkaz, že přezkum byl spíše smysluplný než pouze formální

U rozhodnutí za pomoci umělé inteligence, která mají právní nebo podobně významné účinky, je podle pokynů GDPR a EDPB smysluplný lidský zásah obzvláště důležitý EDPB [

6Záznamy o incidentech, stížnostech, výjimkách a přepisech

Obhájitelná pozice shody zahrnuje důkazy o zvládání poruch, nejen o běžném provozu.

Komise uvádí, že poskytovatelé vysoce rizikových systémů umělé inteligence by měli mít systém monitorování po uvedení na trh a vážné incidenty a nefunkčnost mohou vést k ohlašovací povinnosti v závislosti na roli a kontextu European Commission [

Uchovávejte záznamy jako:

zprávy o incidentech

stížnosti a odvolání uživatelů

výjimky ze zásad

skoro mine

přepsat činnost

analýza hlavních příčin

nápravná opatření

recenze po nehodě

změny verzí související s nápravou

Generativní profil umělé inteligence NIST také klade důraz na protokolování, nahrávání, analýzu incidentů a udržování historie verzí a metadat pro podporu reakce a řízení v průběhu času NIST.

7Záznamy o kontrole přístupu a prosazování zásad

Častou otázkou auditu není pouze to, jakou zásadu máte, ale také to, kde byla zásada uplatněna a kdo by ji mohl obejít.

Pokyny k auditu ICO doporučují komplexní auditní záznamy pro přístup k datovým sadám, včetně toho, kdo přistupoval k informacím, kdy a za jakým účelem, spolu s řízením přístupu na základě rolí ICO.

Důkazy zde mohou zahrnovat:

Definice zásad RBAC nebo ABAC

schválení privilegovaného přístupu

výsledky hodnocení politiky

zablokované nebo odepřené akce

schválení dočasného bypassu

záznamy o rozdělení povinností

přístup k historii recertifikace

Tato kategorie se často stává kritickou, když systém AI může spustit následné akce, jako je načítání dat, externí volání API, schvalování pracovních postupů nebo změny v produkčních systémech.

8Dokumentace k modelu, dodavateli a nasazení

Mnoho týmů spoléhá na modely třetích stran, cloudové služby AI, vektorové obchody, vyhledávací systémy, pluginy nebo nástroje agentů. To mění důkazní zátěž. Neodstraňuje to.

NIST doporučuje zachovat transparentnost systémových funkcí, předpokladů, omezení a závislostí třetích stran NIST NIST Playbook. Evropská komise také zdůrazňuje povinnosti týkající se transparentnosti a dokumentace pro určité scénáře modelu obecné umělé inteligence podle EU AI Act European Commission.

Mezi užitečné záznamy patří:

vendor due diligence

podmínky zpracování dat a zabezpečení

modelové karty nebo ekvivalentní dokumentace

verze systémové výzvy nebo sady zásad

inventář pluginů

inventář závislostí

historie změn a vydání

zdokumentovaná omezení a omezené použití

V praxi se většina recenzí shoduje na společné sadě otázek:

1Co je tento systém umělé inteligence a jaký je jeho zamýšlený účel?

2Proč jste to zařadil takto?

3O jaká data, modely, dodavatele, pluginy a následné systémy se jedná?

4Jaké existují kontroly a kde se uplatňují?

5Jaké protokoly ukazují, co systém skutečně udělal?

6Kdo měl pravomoc zasahovat, schvalovat nebo přepisovat výstupy?

7Co se mezi verzemi změnilo?

8K jakým incidentům, stížnostem nebo výjimkám došlo?

9Dokážete rychle získat relevantní důkazy a souvisle je vysvětlit?

Proto jsou nejsilnější auditní soubory rekonstrukční. Umožňují třetí straně sledovat řetězec od zásad přes implementaci, chování za běhu až po zpracování výjimek NIST ICO.

Jako základ použijte níže uvedený kontrolní seznam. Přesné povinnosti závisí na případu použití, úloze organizace v hodnotovém řetězci umělé inteligence, odvětví a na tom, zda se jedná o osobní údaje European Commission.

Rozsah a vlastnictví

Záznam inventáře AI existuje pro každý produkční nebo materiálně testovaný systém

Zamýšlený účel, uživatelé v rámci a použití mimo rozsah jsou zdokumentovány

Je přiřazen vlastník systému a odpovědná funkce

Je definována cesta schvalování a orgán řízení

Riziko a hodnocení

Odůvodnění klasifikace rizik je zdokumentováno

V případě potřeby existuje DPIA nebo rovnocenné posouzení dopadů

Zaznamenávají se scénáře zneužití, škody, zmírnění a zbytková rizika

Spouštěcí mechanismy přehodnocení a data přezkoumání jsou zdokumentována

Technická dokumentace

Popis systému pokrývá účel, architekturu, modely, data, rozhraní a omezení

Návrh lidského dohledu je zdokumentován

Existuje plán monitorování a přezkumu po nasazení

Historie verzí a poznámky k vydání jsou zachovány

Sledovatelnost běhu

Protokoly zachycují materiální akce, identity, časová razítka, verze a výsledky

Zaznamenávají se výsledky kontrol zásad a vynucování

Externí akce a volání nástrojů lze rekonstruovat

Pravidla uchovávání protokolů jsou definována a použita

Lidský nadhled

Recenzenti a schvalovatelé jsou přiřazeni podle role

Přepisy, odvolání a cesty eskalace jsou protokolovány

Existují pokyny pro recenzenty a záznamy o školení

U významných rozhodnutí lze prokázat smysluplnou lidskou kontrolu

Incidenty a výjimky

Existuje příjem incidentů a stížností

Zaznamenávají se výjimky ze zásad a dočasné vynechání

Nápravná opatření a analýza hlavních příčin jsou zdokumentovány

Změny po incidentu jsou spojeny s verzí a historií vydání

Důkazy třetích stran a dodavatelů

Seznam dodavatelů, seznam modelů a seznam pluginů jsou aktuální

Předpoklady, omezení a schválená použití třetích stran jsou zdokumentovány

Bezpečnost, soukromí a smluvní recenze jsou zachovány

Správa změn zahrnuje aktualizace a selhání třetích stran

Vedení důkazů

Důkazy jsou uloženy v organizovaném zabezpečeném úložišti

Je přiděleno vlastnictví pro údržbu důkazů

Jsou definovány doby uchování

Načítání bylo testováno před skutečným auditem

Chyba 1: Zacházení s wiki o zásadách jako s důkazem

Knihovna zásad je užitečná, ale sama o sobě nestačí. Audity hledají účinné kontroly a podpůrné postupy, nejen písemná prohlášení ICO.

Chyba 2: Příliš málo těžby dřeva

Pokud nemůžete rekonstruovat, jaká verze běžela, k jaké akci došlo, kdo ji inicioval nebo zda byla spuštěna kontrola, vaše důkazy budou křehké ai-act-service-desk.ec.europa.eu [

Chyba 3: Příliš mnoho těžby bez minimalizace

Uchovávání zbytečných osobních údajů nebo neomezené množství nezpracovaných artefaktů může vytvořit nové riziko pro soukromí a zabezpečení. Pokyny ICO explicitně spojují auditní záznamy s minimalizací dat a pečlivým uchováváním ICO

Chyba 4: Prohlašování lidského dohledu bez jeho zaznamenání

Pokud neexistuje žádný záznam o kontrole, přepsání, eskalaci nebo autoritě recenzenta, může „lidský dohled“ vypadat spíše jako nominální než smysluplný ICO

Chyba 5: Ignorování důkazů modelu a pluginu třetí strany

Použití externího modelu nezbavuje povinnosti správy a řízení. Nasazení stále potřebují vlastní důkazy o zamýšleném použití, kontrolách, monitorování a incidentech v jejich prostředí European Commission NIST.

Chyba 6: Zapomenutí historie změn

Dobrá auditní stopa je dočasná. Pokud nemůžete ukázat, co se změnilo, kdy a proč, budete mít potíže s vysvětlením incidentů, posunu výkonu nebo selhání ovládání NIST.

Na prvním místě by mělo být řízení neutrální vůči dodavatelům. Jakmile budete vědět, jaké důkazy potřebujete, zní provozní otázka: jak je budeme konzistentně shromažďovat, aniž bychom z každého technického týmu udělali vlastní projekt nástrojů pro dodržování předpisů?

V tom může pomoci AgentID. AgentID je relevantní tam, kde týmy potřebují provozní důkazy týkající se akcí agentů, vynucování zásad, sledovatelnosti, pracovních postupů schvalování a auditních záznamů [/] AgentID AgentID.

Praktický způsob, jak popsat fit, je:

Potřebujete důkazy o chování za běhu?

Relevantní jsou auditní záznamy a protokolování akcí AgentID.

Potřebujete důkaz, že kontroly skutečně fungovaly?

Relevantní je prosazování zásad a protokolování zábradlí.

Potřebujete důkaz o lidském souhlasu pro citlivé akce?

Relevantní jsou pracovní postupy lidského dohledu a schvalování.

Potřebujete jasnější sledovatelnost pro audity, nákupčí nebo interní řízení?

Důležitý je centralizovaný sběr důkazů a záznamy o činnosti agentů.

Žádný produkt neřeší shodu sám o sobě. Nástroje mohou pomoci vytvářet, uchovávat a organizovat důkazy. Nenahrazují právní rozsah, hodnocení rizik ani odpovědné řízení.

Jaké důkazy by si společnost měla uchovávat pro dodržování AI?

Uchovávejte alespoň záznamy, které ukazují účel systému, vlastnictví, posouzení rizik, technický návrh, chování za běhu, lidský dohled, incidenty, historii změn a řízení přístupu. Pokud se jedná o osobní údaje, uchovávejte také důkazy o ochraně údajů, jako jsou DPIA, bezpečnostní kontroly a dokumentaci toku dat European Commission ICO

Jaké protokoly jsou důležité v auditu AI?

Nejužitečnější protokoly jsou ty, které vám umožňují rekonstruovat podstatné události: kdo zahájil akci, kdy k ní došlo, jaká verze byla spuštěna, jaké nástroje byly volány, jaké kontroly zásad prošly nebo se nezdařily, zda člověk akci schválil nebo přepsal a jaká chyba nebo incident následoval ai-act-service-desk.ec.europa.eu NIST Playbook.

Jak prokážete lidský dohled nad systémem AI?

Dokazujete to záznamy, nikoli slogany: zdokumentované postupy dohledu, přidělení recenzenti, školení recenzentů, fronty na schválení, záznamy o přepsání, cesty eskalace a protokoly konečných rozhodnutí [ EDPB.

Potřebují všechny systémy umělé inteligence stejný důkaz?

Ne. Důkazní zátěž závisí na případu použití, úrovni rizika, sektoru, roli organizace v hodnotovém řetězci a na tom, zda se jedná o osobní údaje nebo rozhodování s velkým dopadem European Commission.

Můžeme se spolehnout pouze na dokumentaci dodavatele?

Obvykle ne. Dokumenty od dodavatelů jsou důležité, zejména pro modely třetích stran a univerzální modely, ale uživatelé stále potřebují vlastní důkazy o zamýšleném použití, místních kontrolách, monitorování a řešení incidentů NIST European Commission

Jak dlouho by se měly uchovávat protokoly AI?

Pro každý systém umělé inteligence neexistuje jediné pravidlo uchování. Podle EU AI Act podléhají nasazení vysoce rizikových systémů umělé inteligence povinnosti uchovávání protokolů vázané na vygenerované protokoly, zatímco další právní, odvětvové, soukromí a smluvní požadavky mohou také ovlivnit doby uchovávání EUR-Lex ai-act-service-desk.ec.europa.eu.

– Přehled zákona Evropské komise o umělé inteligenci European Commission

– Nejčastější dotazy Evropské komise o navigaci v zákoně o umělé inteligenci European Commission

Oficiální text EU AI Act na EUR-Lexu EUR-Lex

Shrnutí vedení záznamů podle článku 12 pro službu AI Act ai-act-service-desk.ec.europa.eu

Oficiální text GDPR na EUR-Lexu EUR-Lex

– NIST AI Risk Management Framework 1.0 NIST

– NIST AI RMF Playbook NIST Playbook

– NIST Generative AI Profile NIST

– Pokyny ICO pro umělou inteligenci a ochranu dat ICO

ICO Governance a odpovědnost v AI ICO

– ICO Human review ICO

Zabezpečení ICO a minimalizace dat v AI ICO

Pokyny EDPB k automatizovanému rozhodování a profilování EDPB

Průvodce EDPB pro malé a střední podniky o právech jednotlivců EDPB

Stanovisko EDPB 28 k modelům umělé inteligence EDPB

– AgentID [/] AgentID AgentID