Olika beslut kräver olika nivåer av autonomi
Det är viktigt att förstå att AI-agenter verkar inom ett spektrum av autonomi, från helt självständigt agerande (”human-out-of-the-loop”) till beslut som kräver mänsklig granskning och översyn (”human-in-the-loop”). Var på denna skala en AI-agent bör placeras beror på flera faktorer: exempelvis hur komplex frågeställningen är, hur snabbt beslut krävs, inom vilket område tekniken ska användas, vilket ändamål den ska tjäna, samt vilka regulatoriska krav som gäller. Ändamålet, om det handlar om effektivisering, säkerhet, samhällsnytta eller kundinteraktion, påverkar i hög grad vilken grad av autonomi som är lämplig. Vid realtidsstyrning av nätverk eller logistik kan hög autonomi vara både effektiv och önskvärd. I högriskområden, som kreditbedömning eller diagnostiska rekommendationer, är dock mänsklig översyn inte längre ett alternativ – det är en förutsättning och en etisk skyldighet.
Fakta
Checklista: Så bygger du ansvarsfull agentisk AI – sex grundläggande principer
Transparens: Beskriv hur beslut fattas, vilka data som används och vilka begränsningar som finns.
Mänsklig kontroll: Definiera tydligt när AI får agera självständigt och när mänsklig översyn krävs.
Ansvar och roller: Klargör vem som ansvarar för AI-agentens beteende och beslut, från utveckling till drift.
Robusthet: Testa AI-systemen mot oväntade scenarier och säkerställ att de klarar förändringar i data och miljö.
Inkludering: Säkerställ att AI-system fungerar för alla användargrupper och inte förstärker bias.
Datasäkerhet och integritet: Skydda känslig information genom exempelvis datamärkning, åtkomstkontroll och spårbarhet.
Transparens är också en viktig grundprincip för att skapa förtroende för agentisk AI. Användare och beslutsfattare måste då förstå hur AI-agenter fattar beslut, och baserat på vilken data, vilka begränsningar som finns och hur systemen hanterar osäkerhet. Ansvar är en annan avgörande princip. Det ska vara tydligt vem som bär ansvaret för AI-agentens beteende, från utvecklare och dataägare till affärsansvariga och företagsledning. Starka ramverk för styrning behövs för att definiera roller och skapa spårbarhet i hur besluten fattas och verkställs. Detta blir särskilt viktigt för tillämpningen i högriskområden.
Inkluderande design där människan sätts i centrum
AI-agenter måste byggas för att fungera för alla användargrupper – inte bara en snäv del av befolkningen. Detta kräver i sin tur mångfald och representation i utvecklingsteam, träningsdata och användartester. AI som bara fungerar för vissa är inte förtroendeingivande för någon. Detta handlar också om att sätta människan i centrum. AI-agenter ska stärka och stötta mänskligt beslutsfattande – inte ersätta det. För att det ska bli möjligt krävs en systematisk bedömning av risk, komplexitet och påverkan.
Robusthet och säkerhet i verkliga miljöer – AI-styrning som möjliggörare
AI-agenter måste vara både robusta och pålitliga, även i dynamiska och oförutsägbara miljöer. Systemen måste klara av att hantera dataförändringar, oväntade inputs och stressfyllda situationer, utan att fatta felaktiga eller skadliga beslut. Datasäkerhet och integritet är en annan kritisk aspekt.
Effektiv styrning är inte ett hinder för innovation, det är en förutsättning för långsiktig och hållbar användning av agentisk AI. Genom att utgå från ett tydligt principramverk som omfattar transparens, ansvar, robusthet, säkerhet, inkludering och där människan är satt i centrum, kan företag utveckla AI-agenter som inte bara fungerar rent tekniskt, utan som också förtjänar användarnas och samhällets förtroende. AI-agenter som utvecklas med dessa förhållningssätt kan bli kraftfulla verktyg som stärker mänskligt beslutsfattande, ökar effektiviteten och skapar nya konkurrensfördelar. Men för att nå dit krävs medvetna och principbaserade val i varje steg av utvecklings- och implementeringsresan.
Josefine Rosén, expert på tillförlitlig och etisk AI-användning, SAS Institute.