AI-experten: ”Behandla AI-agenterna som nya medarbetare”

– För svenska företag, kommuner och myndigheter är det här redan verklighet. AI används i centrala processer och när systemen får större handlingsutrymme måste styrning, insyn och kontroll öka i samma takt. Annars bygger vi in risk i kärnverksamheten.

Ett exempel där problem kan uppstå är upphandlingsprocesser. En AI-agent kan exempelvis analysera historiska data och välja leverantör utifrån tidigare upphandlingar. Men om förutsättningarna förändrats för mycket kan systemet missa nya krav, aktuella affärsregler eller förändrade riskklassificeringar.

Det innebär att ett beslut kan vara logiskt utifrån de data agenten har fått tillgång till, men samtidigt vara helt fel för verksamheten som helhet.

– Jag har sett hur leverantörer hinner integreras, avtal skrivas och beroenden byggas upp innan bristerna blir synliga. När problemet väl är ett faktum kan AI-agentens beslut ha varit korrekt utifrån de data den hade tillgång till, men ändå helt fel ur ett affärsperspektiv.

Just den typen av fel kan bli särskilt problematiska eftersom besluten inte nödvändigtvis ser felaktiga ut när de fattas. Konsekvenserna visar sig först senare, när organisationen redan hunnit bygga vidare på dem.

Att en AI-agent fungerar bra tekniskt sett är därför inte tillräckligt. Organisationen behöver samtidigt förstå hur beslut fattas, vilka data som ligger till grund för dem och vilka regler som styr besluten.

För ledningen blir spårbarhet en central fråga. Om det inte går att följa hur ett beslut har vuxit fram blir det också svårt att granska det och ta ansvar när något går fel.

– Vi måste helt enkelt bestämma vilka beslut som kan automatiseras, var mänsklig kontroll behövs och hur avvikelser ska hanteras. Dessutom måste vi lägga till spårbarhet så att vi kan följa varje steg i beslutskedjan och se varför ett visst beslut togs.

Enligt Hanna Björnbom behöver den här styrningen finnas med redan när systemen utformas och tas i bruk. Det räcker inte att försöka lägga till kontrollmekanismer i efterhand.

Datakvalitet är samtidigt bara en del av frågan. Även korrekta data kan leda till fel slutsatser om systemen saknar förståelse för verksamhetens sammanhang. Därför behöver definitioner, relationer och affärslogik vara gemensamma och tydliga. Begrepp som leverantör, KPI och åtagande måste betyda samma sak för både systemen och de människor som arbetar med dem.

Behöver tydliga instruktioner och uppföljning

För SAP innebär detta att AI-tekniken måste arbeta nära organisationens faktiska processer och data. Om systemen arbetar utifrån förenklade eller frikopplade versioner av verksamheten ökar risken för att besluten inte speglar verkligheten.

Hanna Björnbom jämför införandet av AI-agenter med hur organisationer behandlar nya medarbetare. En AI-agent behöver tydliga instruktioner, avgränsade befogenheter och kontinuerlig uppföljning.

– Inget företag skulle acceptera att medarbetare fattar beslut utan insyn, tydliga riktlinjer eller uppföljning. Men det är i praktiken det som kan hända när AI införs utan motsvarande styrning.

När kraven på transparens, ansvar och regelefterlevnad samtidigt ökar blir frågan ännu viktigare. Organisationer måste kunna visa hur beslut har fattats och på vilka grunder, även när delar av beslutskedjan har automatiserats.

Det gör att AI inte kan behandlas som ett separat tekniskt lager vid sidan av resten av verksamheten. Agenterna behöver omfattas av samma principer för behörighet, kontroll och ansvar som andra delar av organisationen.

– Mitt budskap till Sveriges vd:ar och ledningar är enkelt: innan vi ger AI-agenter mer mandat måste vi veta vem som får fatta vilka beslut, vad som kräver mänsklig kontroll och hur vi följer upp när något går fel. Annars riskerar vi att automatisera bort just det som ska skydda verksamheten, säger Hanna Björnbom.