Forslag og handling har ulik risiko
En løsning som oppsummerer et dokument, har en annen risikoprofil enn en løsning som sender en e-post, endrer kundedata, publiserer innhold eller påvirker en betaling. Likevel blir menneskelig kontroll ofte behandlet som et generelt valg mellom manuelt og automatisk. Det riktige spørsmålet er hvor en feil går fra å være et svakt forslag til å få en reell konsekvens.
Kartlegg handlingene i arbeidsflyten og ranger dem etter konsekvens. Hva kan enkelt rettes? Hva blir synlig for kunden? Hva deler personopplysninger? Hva påvirker økonomi, rettigheter eller sikker drift? Kontrollpunktet bør ligge før den handlingen som er vanskelig å reversere eller som krever et ansvar virksomheten ikke kan delegere bort.
Det er nyttig å dele arbeidsflyten i fire nivåer: lese, foreslå, forberede og utføre. Lesing kan ofte testes med lavere risiko. Forslag krever kildekontroll. Forberedelse kan fylle ut en handling uten å sende den. Utførelse endrer verden utenfor systemet og krever den tydeligste vurderingen. En agent trenger ikke flyttes til neste nivå bare fordi forrige nivå fungerer.
Et kontrollpunkt må gi reell kontroll
En godkjenning er bare meningsfull dersom den ansvarlige får nok informasjon. Det må være synlig hva systemet foreslår, hvilke kilder som ble brukt, hvilke regler som styrte resultatet, og hva som skjer dersom personen godkjenner. En knapp uten forståelig grunnlag flytter bare ansvaret til et menneske uten å gi reell kontroll.
Godkjenningen må også passe arbeidssituasjonen. Hvis en ansatt må kontrollere hundre forslag under tidspress, kan kontrollen bli rutinepreget og svak. Da bør virksomheten redusere omfanget, forbedre sorteringen eller flytte automatiseringen til et mindre risikofylt steg. Mennesket skal bruke vurderingsevne der den har verdi, ikke fungere som dekorativ siste barriere.
Registrer selve godkjenningsbeslutningen på en måte som kan forstås senere. Det bør være mulig å se hva som ble vurdert, hvem som tok ansvar og hvilken versjon av grunnlaget som gjaldt. Ikke logg mer persondata enn nødvendig, men bevar nok sammenheng til å undersøke en feil og forklare hvorfor arbeidsflyten fikk fortsette.
Start med lesetilgang og bygg ansvar trinnvis
Begynn med minst mulig tilgang. La løsningen lese avgrensede kilder og lage forslag før den får sende, endre eller publisere. Test med representative oppgaver, registrer feil og bygg en tydelig reservevei. Mer selvstendig handling kan vurderes først når kvalitet, konsekvens og ansvar er dokumentert i den konkrete konteksten.
KI-forordningen har egne krav til menneskelig kontroll for bestemte høyrisikosystemer. De kravene gjelder ikke automatisk alle løsninger, og juridisk vurdering må gjøres i riktig sammenheng. Det praktiske prinsippet er likevel bredere: virksomheten bør kunne forstå, overstyre og stoppe handlinger før feil får uakseptable følger.
Test kontrollpunktet med vanskelige tilfeller, ikke bare normalflyten. Bruk manglende data, motstridende kilder, uvanlige kundehenvendelser og handlinger utenfor omfanget. Hvis løsningen ikke stopper eller gjør usikkerheten synlig, er kontrollen svak selv om de enkle eksemplene ser gode ut.
Tre hensyn før dere går videre
- Kostnad
- Kontroll tar tid, men ukontrollerte feil kan koste mer.
- Risiko
- Minst mulig tilgang og trinnvis utprøving begrenser skadeomfang.
- Kontroll
- Definer hva systemet kan lese, foreslå, utføre og når det stoppes.
Lag tilgangsmatrisen
- List oppgavene systemet skal støtte.
- Plasser dem under lese, foreslå, utføre eller godkjenne.
- Navngi personen som kan stoppe og gjenåpne flyten.
Kilder og vurderingsgrunnlag
- Datatilsynet: Vurder personvernkonsekvensene og bygg personvern inn i løsningene Datatilsynet · Innebygd personvern, dataminimering og vurdering av personvernkonsekvenser.
- Forordning (EU) 2024/1689 – KI-forordningen EUR-Lex · Offisiell lovtekst om blant annet KI-kompetanse, logging og menneskelig kontroll der reglene gjelder.
- NIST AI RMF Core National Institute of Standards and Technology · Styring, kontekstkartlegging, måling og løpende risikohåndtering.
