AI-labb för anpassningsbara AI-assistenter

Lärdomar från labbverksamheten

En av förutsättningarna för labbverksamheten var att endast öppen/offentlig information kunde användas. Den konkreta innebörden har varje myndighet bedömt för den data som använts i olika scenarion. Om AI-assistenter används inom en myndighet kommer informationen som behandlas att uteslutande vara intern information som har ett visst skyddsvärde.

Beroende på i vilka scenarion som en myndighet använder AI-assistenter samt skyddsvärdet på informationen, behöver myndigheten behandla frågor kring dataskydd och informationssäkerhet. I sammanhanget behöver myndigheten formulera informationssäkerhetskrav på it-miljön. Inför anskaffning av en plattform behöver myndigheten även göra en säkerhetsanalys för att tydliggöra hur data kommer att hanteras och skyddas, hur allmänna handlingar ska hanteras samt hur interna riktlinjer inom området ska se ut.

• Flera av myndigheterna ser behov av att det finns en plattform för AI-assistenter i den egna it-miljön för att kunna hantera den information som är intressant och skapar nytta för verksamheten.
• Den tekniska plattformen använder sig av externa, stora språkmodeller. I labbet har olika modeller kunnat användas (t.ex. amerikanska, europeiska, kinesiska, open-source). Val av modell påverkar kvaliteten i resultatet på olika sätt. Vissa modeller är bättre på att producera text medan andra modeller är bättre på att analysera frågor. Beroende på scenario, påverkar därför valet av modell kvaliteten i resultatet på ett betydande sätt. Även skyddsvärdet på informationen påverkar vilken modell som kan användas. Varje myndighet behöver tydliggöra vilken typ av modeller som är lämpliga att använda för olika scenarion – såväl ur ett kvalitetsperspektiv som ett informationssäkerhetsperspektiv.
• För att kunna hantera intern skyddsvärd information lyfter flera myndigheter behovet av att ha stora språkmodeller som del av den lokala it-miljön, alternativt tillgång till stora språkmodeller nationellt eller inom EU.
• I labbverksamheten har en s.k. “low code” plattform använts där användarna kan skapa AI-assistenter direkt i gränssnittet. En sådan plattform ger möjlighet för verksamheten kan skapa AI-assistenter utan större utvecklingsinsatser eller kodning. Verksamheten får på så sätt lättare att skapa och använda relevanta AI-assistenter utifrån sina verksamhetsbehov. Samtidigt har denna typ av plattformar ett s.k. black-box beteende med begränsad transparens. Detta kan i vissa fall mötas genom kringliggande rutiner eller att assistenten konstrueras så att behandlingen redovisas. Om en AI-assistent ska användas inom organisationen behöver myndigheten beakta krav på transparens i specifika scenarion och även inkludera detta som en del av kravställningen vid upphandling av en plattform.
• I labbet har det enbart funnits möjlighet att ladda upp dokument eller peka ut webbplatser som datakällor. För en mer effektiv hantering skulle integration behöva ske till myndighetens it-system.
• Kvalitetssäkringen av assistenternas resultat behöver särskilt belysas, speciellt för assistenter som behandlar en stor mängd uppgifter. För att man ska kunna kvalitetssäkra en assistent i tillräcklig mån och kunna lita på assistentens svar, behöver myndigheten etablera och använda en kvalitetssäkringsmetod. Det är även värt att notera att i vissa scenarion i labbet, har assistentens resultat varit bättre än den ordinarie hanteringen.
• I labbet blev det även tydligt att det finns gemensamma områden som myndigheterna arbetar med, det rör t.ex. tillsynshantering, klarspråk och remisshantering. I framväxten av AI-assistenter finns möjlighet till konkret återanvändning mellan myndigheterna och samarbete i såväl utvecklings- som förvaltningsarbete.
• En del myndigheter efterlyser en diskussion kring risker i förhållande till nyttor och effekter vad gäller den information som bedöms kunna användas som kunskapsbas. Det rör t.ex. att riskvärdera hur allmänna offentliga handlingar inom myndigheterna skulle kunna användas, så som checklistor eller manualer.
• Framöver behöver AI-förordningen följas genom riskanalyser, dokumentationskrav och transparens även för enkla tillämpningar så som AI-assistenter.
• En generell reflektion är att AI-assistenter håller tillräcklig kvalitet för att hantera frågor internt inom organisationen, om de ska användas i gränssnittet mot externa målgrupper behöver ytterligare kvalitetssäkring ske. Beroende på scenario kan man även behöva finjustera modellen för att den ska förstå verksamhetsspecifika ord.
• Resultat från en AI-assistent behöver i de flesta fall genomgå en eftergranskning av en människa innan det används för att säkerställa kvalitet och minimera risken för felaktigheter. Det gäller särskilt analysunderlag och beslutsunderlag. AI-assistenter inom vissa områden kan agera helt fristående, t.ex. en kundserviceassistent för medarbetarna.
• Myndigheterna som varit del av labbet lyfter fram att det är viktigt för myndigheter att använda denna teknik såväl för lärande och skapa förståelse för AI, som för att nyttja de möjligheter som finns. Vad gäller lärandet finns behov av att höja kompetensnivån kring AI genom att närma sig tekniken men även att skapa tydlighet i hur denna typ av teknik påverkar myndighetens arbete och vad det innebär för de enskilda medarbetarna. Flera myndigheter poängterar att AI-assistenter fungerar bäst i processen att ta fram underlag eller som digital kollega. Behovet av kompetensutveckling och utbildning på olika nivåer inom organisationerna har varit ett tydligt resultat av arbetet.
• Utvecklingen av assistenter aktualiserar en del frågor. Assistentens grund är en prompt som beskriver assistentens beteende, det är en ny kompetens för många myndigheter. Det kan vara en utmaning att utveckla en assistent så att svaren på samma fråga blir likvärdigt varje gång, det samma gäller för att inte assistenten ska hitta på egna saker i svaren (hallicunera). Promptar fungerar även olika mellan olika språkmodeller, för att kunna följa och anpassa myndighetens användning till utvecklingen av stora språkmodeller är det därför viktigt att ha en genomtänkt plan för hur anpassningen ska ske. I arbetet behöver AI-experter och verksamheten arbeta tätt tillsammans och på ett annat sätt än traditionell it-utveckling.
• Det behövs en struktur för utveckling, förvaltning och användning av AI-assistenter som kan skilja sig från den traditionella it-hanteringen. Om en liknande plattform som använts i labbet används inom en myndighet, innebär det att verksamheten tar ett större ansvar för utveckling och förvaltning av enskilda AI-assistenter. Rutiner och gränssnitt mellan olika delar av organisationen behöver tydliggöras. Även roller, kompetensbehov och resursbehov är nödvändigt att tydliggöra.
• Mycket av myndigheternas data finns i olika format och strukturer. För att AI-assistenter ska kunna behandla data på ett effektivt sätt finns anledning för en myndighet att aktivt utveckla såväl sin strukturerade som ostrukturerade data för att göra den anpassad för AI-användning. Vad gäller ostrukturerat data kan det exempelvis handla om hur dokument struktureras, vilka bildformat som används m.m.
• När webbskrapning används för att bygga upp en kunskapskälla från en webbplats, går det åt mycket resurser och webbplatsen kan tyngas ner av skrapningen.