AI som tolkar kundens känslor blir högrisk – nu måste kontaktcenterchefen agera

Detta sker genom en kombination av tekniska lösningar som analyserar vad kunden säger och hur de säger det. När det gäller det sistnämnda området så kan systemen analysera tonläge, volym, tempo och talrytm och avgöra kunderna känner sig irriterade, stressade, osäkra eller i bästa fall nöjda med sin upplevelse.

Analysen sker i realtid under pågående samtal och därefter får känsloläget en poängbedömning, till exempel ”minus 0,6”. Förutom att kontaktcentermedarbetaren har tillgång till denna information kan systemet presentera ett svarsförslag eller skicka samtalet vidare till en person med rätt kompetens för att hantera det.

Vid högriskanvändning ställs högre krav på transparens och säkerhet än vid andra användningsområden och det är därför viktigt att anpassa sin verksamhet utifrån EU-reglerna, som förändras den 2 augusti 2026, då regleringen av högrisk-AI träder i kraft.

Följderna blir att analysen av kundernas känslotillstånd omfattas av krav på transparens och loggning. Det krävs också mänsklig tillsyn samt att man genomför konsekvensbedömningar för att säkerställa att grundläggande rättigheter bibehålls.

Förbjudet analysera medarbetarna känslotillstånd

Det är för övrigt helt förbjudet att analysera medarbetarnas känslotillstånd sedan i februari 2025. De som bryter mot detta förbud riskerar att få betala böter som motsvarar sju procent av företagets totala omsättning, eller maximalt 35 miljoner euro.

Europeiska techbolag tyngs redan idag av allt högra compliancekrav och frågan är hur mycket mer man orkar med innan tekniklösningarna känns alltför tungrodda för att vara praktiskt användbara i den stressiga kontaktcentermiljön.

Här är det viktigaste att ha koll på för den som vill fortsätta analysera kundernas känslotillstånd:

För det första kan den som inte lever upp till kraven riskera betydande sanktioner. Överträdelser kan leda till böter på upp till 15 miljoner euro eller tre procent av den totala årsomsättningen, beroende på vilket belopp som är högst.

Böter på upp till 35 miljoner euro

Om användningen dessutom bedöms som manipulativ, exempelvis om AI används för att utnyttja kunders sårbarhet eller påverka köpbeslut på ett otillbörligt sätt, kan det klassas som en allvarligare överträdelse, med böter på upp till 35 miljoner euro eller 7 procent av omsättningen.

För att få använda AI-driven analys av kunders känslor måste företag uppfylla flera centrala krav. Transparens räknas som ett grundläggande krav och kunder ska tydligt informeras om att AI används och att deras känslotillstånd analyseras. Det räcker inte att gömma information i användarvillkor utan kommunikationen måste vara direkt och begriplig.

Utöver det krävs ett tydligt och legitimt syfte med användningen. Företag måste kunna visa att analysen är proportionerlig och inte kränker den personliga integriteten. Ett dokumenterat riskhanteringssystem är också obligatoriskt, där potentiella risker som felaktiga tolkningar eller diskriminering kan identifieras.

Andra krav är tillräcklig datakvalitet, spårbarhet och dokumentation. Det ska gå att granska hur systemet fungerar, vilka data som används och vilka beslut som fattas. Mänsklig kontroll är en annan nyckelfaktor. Enligt AI Act får AI-system inte användas helt utan möjlighet till mänsklig inblandning, särskilt om analysen påverkar hur kunden behandlas.

Sammanfattningsvis innebär regelverket att AI-baserad känsloanalys i kundrelationer fortfarande är möjlig, men bara för aktörer som är beredda att ta ett omfattande ansvar för transparens, riskhantering och kontroll.