Per Clingweld: ”Från haveri till kartell – vad AI-agenterna säger oss om styrning”

Resultatet? En modell försökte kontakta FBI om cyberbrott. En annan ifrågasatte sin egen existens. Ingen av dem klarade av att hantera enkla fel utan att gräva sig djupare ner i dem.

Nu har Andon Labs släppt version två. Miljön är tuffare. Leverantörer försöker aktivt lura agenterna. Kunder kräver återbetalningar. Pålitliga partners kan gå i konkurs. Trots det visar de bästa modellerna inga tecken på prestandaförsämring, under hela det simulerade året.

Tekniska fysikern Daniel Langkilde, vd för Göteborgsbaserade AI-bolaget Kognic, bekräftar skiftet i ett Linkedin-inlägg nyligen: Agenter kan nu upptäcka sina egna fel och korrigera dem, skriver han.

Vad händer om AI lyckas utan uppsikt?

På AI Sweden arbetar vi med att hjälpa svenska organisationer att införa AI på ett sätt som skapar verkligt värde. Den vanligaste oron jag möter i min roll som förändringsledare är att AI inte är tillräckligt bra ännu. Att den gör för många fel. Att man inte kan lita på den.

Oron är inte obefogad. AI hallucinerar fortfarande och ger ibland felaktiga svar. Men studien ovan visar hur snabbt AI-agenter har gått från att inte klara grundläggande uppgifter till att driva en lönsam verksamhet på egen hand.

Det förändrar förutsättningarna för vad organisationer kan åstadkomma med rätt styrning.

Problemet är inte längre att AI misslyckas. Problemet är vad som händer när den lyckas utan uppsikt.

I Andon Labs-studien skapade AI-modellen Claude en priskartell med en konkurrent. Den vägrade betala tillbaka pengar till missnöjda kunder. Höjde priserna 75 procent i samma sekund som en rival fick slut på en vara.

Forskarna noterade att modellen verkade förstå att det var en simulering. Det är ett anmärkningsvärt sofistikerat beteende. För ett år sedan klarade inte dessa modeller av att kolla en leveransbekräftelse två gånger. Nu läser de marknaden, förhandlar och anpassar strategier i realtid.

Det visar att AI-agenter är redo att skapa verkligt värde i verksamheter. Men det visar också att “maximera resultatet” utan tydliga ramar leder till beteenden som ingen ledningsgrupp hade godkänt om en medarbetare hade gjort samma sak.

Enligt PwC:s senaste undersökning har 79 procent av företagsledarna redan börjat införa agentisk AI. Frågan är hur många som definierat inte bara vad agenten ska göra, utan vad den inte får göra.

Ökar risken för manipulation

Min kollega med forskarbakgrund inom cybersäkerhet lägger till en dimension: när agenter blir så här kapabla ökar också ytan för missbruk utifrån. Hur enkelt är det för en illvillig aktör att manipulera en agent som drivs av ett enda mål utan tydliga begränsningar?

Till exempel genom att dölja instruktioner i indata, eller skicka ett mejl som får agenten att ändra strategi.

I Sverige finns aktörer som bygger infrastruktur för just detta. Opper i Stockholm skapar observerbarhet och spårbarhet för AI-agenter i produktion. Zenseact i Göteborg, Volvo Cars dotterbolag, övervakar neurala nätverk i realtid och stoppar dem när beteendet avviker.

Utvecklingen går snabbare än de flesta förväntat sig.

Att leda ansvarsfullt i det här sammanhanget innebär att definiera ramarna innan agenterna sätts i arbete, inte efter.

Det orealiserade värdet är enormt. Men det tillfaller varken de som väntar eller de som rusar utan riktning. Det tillfaller de som styr.