AI

Första iterationen

• Många it-system kommer sannolikt att utgöra ett AI-system enligt AI-förordningen.
• Det är en komplicerad gränsdragning för AI-systemets omfattning, dvs. vad som ska ingå i systemet och vad som inte är en del av systemet. Det avsedda ändamålet bör stå i centrum.
• Det bör vara en central fråga utifrån de konsekvenser som följer med kraven på högrisksystem, vilken risknivå systemet tillhör och alldeles särskilt om systemet är ett högrisksystem.
• Det kan vara svårt att avgöra på förhand om ett projekt kan platsa i en sandlåda. Sannolikt kommer det vara en ganska låg tröskel för deltagande.
• Det tvärfunktionella arbetssättet är avgörande för diskussionerna; en aktiv mindre grupp ger bättre samverkan. Den kontinuerliga dokumentationen är viktig för att kunna gå tillbaka till tidigare resonemang.

Andra iterationen

• Utifrån samarbetet mellan involverade aktörer är det inte självklart vilken roll respektive aktör har enligt AI-förordningen. Tanken verkar ändå vara att det ska finnas en utpekad leverantör. Enligt AI-förordningen är det förmodligen inte möjligt för flera aktörer att ha ett gemensamt leverantörsansvar.
• Det är endast leverantörer och potentiella leverantörer av AI-system, som har möjlighet att söka till en AI-regulatorisk sandlåda. En ansökan kan dock ske i partnerskap med till exempel en tillhandahållare eller en leverantör av en AI-modell för allmänna ändamål.
• Det kan vara svårt att avgöra gränsdragningen mellan en AI-modell och ett AI-system. I AI-förordningen saknas en definition för vad som avses med en AI-modell.
• Att integrera en AI-modell för allmänna ändamål eller låta den ingå i ett system, medför inga ytterligare krav på leverantören eller tillhandahållaren. Kraven som gäller baseras istället på AI-systemets risknivå. Däremot har leverantören i efterföljande led, rätt att ställa krav vad gäller information från leverantören av AI-modellen för allmänna ändamål.

Det är svårt att veta på förhand vilka frågeställningar som kan bli aktuella för en AI-regulatorisk sandlåda. Det kan vara utmanande att få fram all information för en bedömning av systemet i en AI-regulatorisk sandlåda, bland annat för att systemet ska utvecklas under pågående sandlåda och att den nödvändiga dokumentationen ännu inte är tillgänglig. Det kan också ifrågasättas hur harmoniserade de AI-regulatoriska sandlådorna kommer att vara och det finns risk för diskrepans utifrån medlemsländernas kapacitet och fokus. En vanlig fråga är, om det kan vara möjligt med samordnade sandlådor? Arbetsgruppen bedömer att det i så fall sannolikt kommer att handla om olika sandlådor som samordnas, snarare än en gemensam sandlåda för flera olika rättsområden.

En aktör som ansöker till en sandlåda behöver bidra med visst eget deltagande och kompetens, särskilt vad gäller beskrivning av det tilltänkta AI-systemet. Aktören behöver även ha stöd från sina beslutsfattare som också behöver vara involverade i arbetet i någon grad.

Viktigt med tvärfunktionella arbetsgrupper

Arbetsgruppen vill verkligen understryka behovet av tvärfunktionell kompetens i en AI-regulatorisk sandlåda, som exempelvis jurister, AI-utvecklare, teknisk kompetens och projektledningskompetens. Det finns uppenbara fördelar med ett kärnteam som arbetar tillsammans över tid. Det ger också ett större lärande att identifiera tolkningssvårigheter utifrån ett praktiskt fall, än att jobba teoretiskt med inläsning av lagstiftningen.

Tredje iterationen

Arbetsgruppens lärdomar är att bedömningen om vad som är ramen för systemet är komplex och är en fråga som arbetsgruppen återkommit till flera gånger under iterationen. Denna bedömning är särskilt utmanande när tilltänkt system består av olika AI-stödtjänster som i sig kan utgöra AI-system.

En ytterligare lärdom är att en aktör kan inneha flera roller enligt AI-förordningen, dvs. en aktör skulle exempelvis kunna vara både leverantör och tillhandahållare.
Ett AI-system med hög risk innebär ett stort antal tillkommande krav där merparten gäller dokumentation och uppfyllelsen av dessa krav kommer att vara administrativt tungt. En insikt är att möjligheten för en aktör att uppfylla kraven många gånger kommer att bero på administrativ kapacitet snarare än att kraven i sig är svåra att tolka.

Arbetsgruppen har reflekterat över omfattningen av sandlådans innehåll. Det rör bl.a. frågeställningen om hur länge en AI-regulatorisk sandlåda förutsätts pågå och vad leverantören behöver ha på plats innan sandlådan kan avslutas. Det framstår inte som helt klart hur omfattningen är tänkt att vara. Detsamma gäller frågan om AI-sandlådan avser att bedöma samtliga krav för det tilltänkta AI-systemet eller om AI-sandlådan i sandlådeplanen skulle kunna begränsas till att bedöma vissa specifika frågor.

En återkommande diskussion i piloten för den AI-regulatoriska sandlådan är behoven och eventuella krav på ett tekniskt stöd i sandlådan. Arbetsgruppen bedömer att AIförordningens bestämmelser ger möjlighet att tillhandahålla tekniskt stöd i sandlådan, men det finns inte några rättsliga krav på behörig myndighet att tillhandahålla en teknisk infrastruktur eller tekniskt stöd i sandlådan. En dialogbaserad sandlåda kommer att ha ett stort värde och kan den dessutom kombineras med tekniskt stöd, beräkningskraft och även andra stöd, såsom hur AI-system kan integreras i existerande tekniska miljöer, kommer värdet att bli mycket större för leverantörer och för Sverige som helhet.

Fjärde iterationen

I den fjärde iterationen av piloten analyserades ett tilltänkt system för riskvärdering av betalningsförmåga. Arbetsgruppen fortsatte utforska AI-förordningens bestämmelser om risknivå samt hur man praktiskt ska hantera kraven på dokumentation.

En insikt är att det kan vara lättare att avgöra ramen för systemet när det finns en kommersiell leverantör och en fristående tillhandahållare, än som i interationens specifika fall där aktören både är leverantör och tillhandahållare. Ytterst behöver leverantören definiera vad som faller inom AI-systemet och därefter paketera och dokumentera med utgångspunkt från det.

Ett AI-system med hög risk medför många tillkommande krav som till övervägande del avser dokumentation. För att uppfylla dokumentationskraven får man räkna med att arbetet blir administratrivt tungt. En lärdom i fjärde iterationen är att det kommer att handla om att dokumentationen lagras på flera olika ställen, snarare än att allt finns i ett dokument. Detta ställer också krav på att det ska vara möjligt att visa spårbarhet och att dokumentationen kan göras tillgänglig på begäran av t.ex. en tillsynsmyndighet.

Ytterligare en lärdom är att det krävs omfattande satsningar både vid uppstart och drift för att en sandlåda ska kunna vara effektiv, hålla hög kvalitet och bidra med ett mervärde för AI-innovations­systemet.