Så automatiserar Storytel hälften av kundservice: ”AI-bottar är inte alltid jättesmarta”

– Vi hade allt ansvar men väldigt lite mandat eftersom alla agenter hade egna chefer ute på sina marknader. Det kunde gå några dagar och så började vi märka att det inte verkade som att någon svarade på några tickets, säger Anna Crozzoli, chef för global kundservice på Storytel.

Våren 2022 blev startpunkten för en större förändring. Storytel genomförde en företagsomfattande omorganisation och kundservice fick i uppdrag att effektivisera verksamheten. Ambitionen var samtidigt att bolaget skulle fortsätta växa, vilket innebar att kundserviceorganisationen behövde bli betydligt mer skalbar.

Centralisering blev en viktig del av lösningen. Antalet supportspråk minskades från 25 till 13, övriga marknader fick support på engelska och de kvarvarande agenterna samlades i två team med två chefer. Telefonsupporten togs samtidigt bort helt.

Storytel gick direkt från över 40 heltidstjänster inom kundservice till 26. Därefter började arbetet med automatisering. Syftet var bland annat att få bort stora mängder repetitiva frågor, öka tillgängligheten för kunder i olika tidszoner och göra det enklare för agenterna att hitta information.

Någon egen erfarenhet av automatisering hade organisationen däremot inte. Storytel valde därför att ta hjälp av en extern leverantör och började arbeta med Ultimate AI, som senare köptes av Zendesk. I stället för att börja med en chattbot valde teamet den försiktigare vägen och startade med en bot för e-post.

– Vi hade ingen erfarenhet överhuvudtaget av automatisering. Chatt kändes ganska läskigt och stort, så vi tänkte att vi börjar där det kändes lite lättare. Vi tittade på våra data och byggde e-postbotten för enkla ärenden och för att få bort den stora mängden repetitiva frågor.

Medarbetarna involverades tidigt i arbetet. Agenterna deltog i arbetsgrupper, testade botarnas svar och gav återkoppling under utvecklingen. Det blev särskilt viktigt eftersom de första versionerna långt ifrån alltid fungerade som tänkt.

– Bottar är inte alltid jättesmarta. De svarar fel och då är det vårt ansvar att träna dem så att de gör rätt. I början är alla nybörjare och därför har det varit en stor fördel att agenterna har varit med på tåget hela vägen och känt att de är en del av arbetet.

E-postbotten fick efter hand ta hand om allt fler marknader och fler typer av frågor. Våren 2023 hade automatiseringsgraden nått omkring 20 procent. Där har Storytel sedan medvetet stannat. Begränsningen ligger framför allt i själva kanalen. När en kund skickar ett mejl måste boten försöka besvara frågan utifrån den information som finns i meddelandet, utan möjlighet till en längre dialog.

Storytel har därför valt att låta e-postbotten hantera de enklaste frågorna men inte försökt pressa upp automatiseringen ytterligare.

– Kunderna är inte tillräckligt nöjda med mejlsvaren eftersom de blir ganska breda. Därför har vi valt att kapa de lättaste ärendena, men inte öka botens kunskap mer än så. Det beslutet ligger vi fortfarande kvar på fyra år senare.

Gick live av misstag

Nästa steg blev Stella, Storytels chattbot. Den lanserades 2022 och skulle till en början finnas på bolagets två största marknader. Premiären blev dock inte riktigt som planerat. Stella gick av misstag live på samtliga marknader och i samtliga kanaler, även där hon ännu inte hade tränats. Efter ungefär ett dygn drogs hon tillbaka.

– Vi brukar prata om Stella som vårt barn. Hon har varit en trotsig treåring och hon har varit en tonåring. När vi lanserade henne härjade hon loss i ungefär ett dygn. På ett sätt hade vi ryckt plåstret, men vi fick dra tillbaka henne, utveckla mer och efter ungefär tre månader var vi live på alla marknader på riktigt.

I april 2023 utökades Stella till Facebook Messenger. Storytel provade också att göra boten tillgänglig på fler delar av webbplatsen. Resultatet blev en kraftig ökning av antalet frågor, men inte nya typer av frågor.

Kunderna fortsatte att fråga hur de avslutade abonnemanget, hittade en viss bok eller kontrollerade sitt betalsätt. Skillnaden var att människor som tidigare själva hade letat efter information i hjälpcentret nu tog den enklare vägen och frågade Stella direkt. Storytel valde därför att begränsa boten till hjälpcentret.

– Vi lärde oss att ökad tillgänglighet inte nödvändigtvis ger bättre svar eller mer varierade frågor. Vi drev bara in oerhört mycket mer trafik. Kunder som tidigare hade sökt svaret själva i hjälpcentret ställde frågan till boten i stället.

Under 2023 och 2024 integrerades Stella med Storytels backend-system. Det gjorde att boten kunde se om kunden var inloggad och anpassa sina svar efter exempelvis hur personen blivit kund, vilket betalsätt som används och vilket abonnemang kunden har.

Det gav mer individuella svar än tidigare, då Stella ofta behövde ställa flera frågor för att komma fram till samma information. Storytel testade också möjligheten att eskalera ärenden från boten direkt till livechatt med en mänsklig agent. Den funktionen blev dock kortlivad.

– Livechatt är oerhört personalkrävande. Man måste hela tiden ha personal redo att ta över en chatt. Därför började vi i stället testa eskalering till e-post. Vi var lite rädda för kundernas reaktion, men har fått förvånansvärt få reaktioner på att livechatten försvann. Det har förenklat väldigt mycket när vi planerar bemanningen

Tekniken bakom Stella har samtidigt förändrats i grunden. Från början använde Storytel konversationell AI där teamet byggde upp stora manuella beslutsträd med förutbestämda frågor och svar. Metoden gav stor kontroll, men krävde också stora arbetsinsatser.

Har behållit några dialogträd

Varje ny funktion eller förändring i tjänsten innebar att träden behövde uppdateras och teamet försökte hela tiden förutse hur kunderna skulle formulera sina frågor. Storytel har behållit några sådana flöden för situationer där bolaget vill vara helt säkert på att kunden får exakt rätt information, exempelvis vid byte av betalsätt.

– Jag är oerhört tacksam över att AI-tekniken har utvecklats, för det här var väldigt tidskrävande och väldigt lätt att göra fel. Å andra sidan hade vi full kontroll över vad Stella svarade. Vi har därför några sådana träd kvar där vi tycker att de fortfarande fungerar bättre, men generellt har vi frångått dem allt mer.

Med den konversationella modellen automatiserades omkring 40–45 procent av de ärenden som kom in via chatten. För att öka träffsäkerheten lade teamet stora resurser på att träna systemet. Två personer ägnade exempelvis en hel sommar åt att gå igenom kundernas formuleringar, lägga till ord och fraser och koppla olika tickets till rätt svar.

Det arbetet ökade automatiseringsgraden med omkring fem procentenheter. Nästa stora steg kom när Storytel började använda generativ AI. De manuellt byggda konversationerna fick fortsätta hantera de frågor de redan täckte, medan generativ AI användes för de återstående ärendena.

– Vi hade ungefär 50 procent av ärendena täckta av konversationell AI. Resten var sådant vi inte hade skapat konversationer för, bland annat mindre edge cases där det inte var rimligt att bygga hela träd. Där släppte vi generativ AI och i ett nafs lyckades den automatisera 57 procent av de ärendena. Det blev en ganska effektiv lansering och ökade automatiseringen rejält.

Innan tekniken släpptes skarpt lät Storytel samtliga ärenden gå genom ett parallellt flöde under tre månader för att kontrollera vilka svar den generativa modellen gav. Testerna fick en oväntad sidoeffekt: de avslöjade brister i Storytels eget hjälpcenter.

Frågor som Stella hade svårt att besvara visade sig ibland bottna i att artiklarna i hjälpcentret helt enkelt inte var tillräckligt tydliga. Det ledde till att stora delar av innehållet skrevs om. Resultatet blev inte bara bättre för boten, utan gjorde även att kunderna själva lättare kunde hitta svar.

I dag är det framför allt agentisk AI som används av Stella. Tekniken implementerades under november och december och har enligt Storytel gett boten större förmåga att hålla längre konversationer och byta spår under en dialog. Tekniken skulle även kunna användas för att låta Stella gå in i Storytels system och utföra åtgärder åt kunden, men där har bolaget hittills valt att avvakta.

– Det är säkert någonting vi kommer att ta tag i, men vi känner att vi först vill få kontroll över det som finns i dag. Chattboten behöver kontrolleras och hela tiden utvecklas. Det är inte något man implementerar och sedan låter rulla i bakgrunden.

Total automatisering på 50 procent

I dag automatiserar Stella omkring 63 procent av alla ärenden som kommer in till den. Räknat över samtliga kanaler ligger Storytels totala automatisering på omkring 50 procent. Samtidigt har kundserviceorganisationen krympt ytterligare. I dag arbetar 15 agenter med att ge support på 13 språk, medan Storytel totalt har omkring 2,7 miljoner kunder.

Stella kan hantera över 80 språk, men Storytel har ändå valt att sätta tydliga gränser. På flera marknader får kunderna svar på engelska och bolaget låter exempelvis inte boten svara på kinesiska även om tekniken skulle tillåta det.

Att avgöra hur bra en bot faktiskt är har visat sig vara svårt. Storytel använder sig främst av AQS, Average Quality Score. Där får en AI granska den andra AI:ns dialoger utifrån kriterier som om kunden fått rätt svar, om frågan förståtts, hur lång konversationen blev och vilken tonalitet boten använde. Där ligger Stella på över 85 procent.

Storytels AI-resan har inte varit helt friktionsfri för medarbetarna. Agenter har ibland varit skeptiska när de tvingats ta över ärenden som Stella trasslat till och där kunden redan hunnit bli irriterad. Storytel har därför arbetat aktivt med att involvera medarbetarna och förklara både varför automatiseringen görs och hur tekniken fungerar.

Efter fyra års arbete är en av de tydligaste slutsatserna att automatisering kräver betydligt mer kontinuerligt arbete än vad tekniken ibland kan ge intryck av. Valet av plattform har också varit viktigt. Storytel var långt framme i en process med en svensk leverantör innan bolaget valde Ultimate AI, bland annat eftersom leverantören hade erfarenhet av internationell verksamhet och kunde ge Storytel omfattande stöd.

– För vår del var teknikvalet jätteviktigt. Vi behövde mycket stöttning och har fått väldigt mycket hjälp under utvecklingen. Samtidigt är den kanske viktigaste lärdomen att det här tar tid. Vill man ha bra kvalitet på sin bot måste man fortsätta arbeta med den, kontrollera den och utveckla den. Men det ger en otroligt positiv effekt, säger Anna Crozzoli.