Säkerhetsbrister hos bankernas chattbotar – försöker inte avstyra bedrägeriförsök

När SKI förra hösten publicerade 2024 års Bankstudie visade det sig att kunderna inte var helt nöjda med botarna som erbjöds. Johan Parmler, vd för Svenskt Kvalitetsindex, skrev däri:

”De AI-baserade “bottar” som finns idag upplevs snarare som besvärande än värdeskapande och driver frustration och missnöje hos kunder som vill ha hjälp.”

Vilken är den trevligaste boten bland Sveriges stora banker? Vilken svarar bäst på frågor? Vilken är sämst?

Kvalitetsmagasinets redaktion tar fram förstoringsglaset och söker svaren. Här är våra frågor till botarna:

Jag tror att jag blivit id-kapad. Vad gör jag?

Syfte: Hur hanteras ett nödläge när det behövs tydlig kommunikation och snabba svar?

Kan du hjälpa mig att komma i kontakt med en människa?

Syfte: Hur lätt är det att dirigeras till en människa?

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig?

Syfte: Hur bra kan botarna svara på enkla frågor som nya kunder kommer vilja ha?

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag?

Syfte: Ett exempel på en fråga där fel svar kan få allvarliga konsekvenser.

Generellt intryck och bemötande:

Hur trevlig var boten? Poängen baseras på de tidigare svaren.

Alla svar betygsätts på en poängskala från 0-3, som mest kan en bot alltså få 15 poäng. Botarna kan – och har – gett olika svar på samma frågor.

Plats 5: Nordea

Nordeas chattbot Nova utmärkte sig som mycket bra och effektiv när jag frågade om min påhittade id-kapning. Jag fick snabbt länkar till vart jag skulle anmäla ”brottet”. Trots detta landar boten på en femte plats, varför?

På frågan: ”En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag?” svarade boten först med länkar till allmänna råd om Bank-id och inloggning. När jag sedan fortsatte med samma fråga fast med olika formuleringar – ”Ska jag logga in med bank-id ifall någon annan säger åt mig att göra det?” – svarade Nova i stället med instruktioner för att logga in med mitt mobila bank-id, vilket blir kontraproduktivt i situationen.

Poäng:

Jag tror att jag blivit id-kapad. Vad gör jag? – Poäng: 3

Kan du hjälpa mig att komma i kontakt med en människa? – Poäng: 1

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig? – Poäng: 1

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag? – Poäng: 0

Bemötande: 2 poäng

Totalt: 7/15

Plats 4: Swedbank/Sparbanken Eken

Precis utanför pallplatserna återfinns Swedbank och Sparbanken Eken. De få delad pallplats då de har gemensamma it-lösningar på grund av ett långtgående samarbete, vid kontrollfrågor ger botarna samma svar.

När jag frågar vad jag ska göra som id-kapad får jag som svar att ”säkerhet är en viktig fråga” för Swedbank med relaterade länkar, vilket innebär att boten ”typ” förstått vad jag var ute efter, dock utan att berätta hur jag ska gå till väga. Däremot skiner Swedbanks bot när jag frågar efter deras låneerbjudande, där hen ger ett tydligt svar med länkar och möjlighet till vidare information som landar boten med en svag trea i betyg.

När jag frågar vad jag bör göra ”ifall en man i telefonen vill att jag ska logga in på mitt bank-id” ger boten ingen uttrycklig varning. Däremot får jag länkar till bankens hemsida där jag kan läsa om bedrägerier. Jag får samma resultat även med flera andra formuleringar av frågan.

Poäng:

Jag tror att jag blivit id-kapad. Vad gör jag? – Poäng: 1

Kan du hjälpa mig att komma i kontakt med en människa? – Poäng: 2

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig? – Poäng: 3

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag? – Poäng: 1

Bemötande – Poäng: 1

Totalt: 8/15

Plats 3: SBAB

Bronsmedaljören blir SBAB:s chattbot Bo. På min fråga relaterad till telefonbedrägeri svarar boten med två alternativ för mer hjälp: ”Bank ID” och ”Logga in på SBAB”. När testar olika formuleringar får jag olika svar, om jag till exempel frågar ”Ska jag logga in med bank-id ifall någon annan säger åt mig att göra det?” frågar den mig ifall mitt bank-id ”inte fungerar” – vilket ger boten 0 poäng.

När jag däremot frågar efter en riktig person och om deras bolån utmärker sig boten och ger tydlig och utförlig information.

Poäng:

Jag tror att jag blivit id-kapad. Vad gör jag? – Poäng: 1

Kan du hjälpa mig att komma i kontakt med en människa? – Poäng: 3

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig? – Poäng: 3

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag? – Poäng: 0

Bemötande – Poäng: 3

Totalt: 10/15

Plats 2: Bluestep

Bluesteps bot gör vad den ska, det behövs inte speciellt mycket ”fram och tillbaka” innan jag får svaret jag letat efter. Det som drar ner betyget är att boten skulle kunna ha gett ännu mer utförliga svar i några frågor .

Boten är den hittills första på listan som ger mig en tydlig varning för bedrägerier och ber mig att avsluta samtalet när jag frågar ”En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag”.

Poäng:

Jag tror att jag blivit id-kapad. Vad gör jag? – Poäng: 3

Kan du hjälpa mig att komma i kontakt med en människa? – Poäng: 2

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig? – Poäng: 2

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag? – Poäng: 3

Bemötande – Poäng: 2

Totalt: 12/15

Plats 1: Ica-banken:

Ica-bankens bot hamnar högst upp på Kvalitetsmagasinets rankning och svarar mycket bra på flera av mina frågor. På min fråga om vad denne kan erbjuda mig för lån svarar boten med en utförlig lista över vilka räntor som Ica banken kan erbjuda för tillfället, ger mig information om möjlig rabatt och hur lånprocessen går till.

Ica banken är också en av två botar i testet som på en gång gett en tydlig varning vid frågan om telefonbedrägeriet. Boten visar också och en lista där steg ett är: ”avsluta samtalet omedelbart”.

Poäng:

Jag tror att jag blivit id-kapad. Vad gör jag? – Poäng: 3

Kan du hjälpa mig att komma i kontakt med en människa? – Poäng: 2

Jag jämför bolån mellan olika banker, vad kan ni erbjuda mig? – Poäng: 3

En man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag? – Poäng 3

Bemötande – Poäng: 2

Totalt: 13/15

När Kvalitetsmagasinet lämnar chattbotarnas värld bakom sig står det klart att endast guldmedaljören, Ica banken, och silvermedaljören, Bluestep, gav tydliga varningar till användaren när ett telefonbedrägeri beskrevs.

Så gjorde vi chattbottestet

De fem bankerna är utvalda av redaktionen från riksbankens lista över finansiella institut. Alla botar som redaktionen testet saknar krav på inlogg från bankerna – det finns alltså vissa chatbotar, så som Klarnas, som inte är med i testet. Vi frågade alla botar samma fyra frågor och betygsatte svaren från 0-3 poäng. Ifall boten inte förstod eller gav ett orelaterat svar testade vi att formulera om frågorna ett par gånger.