Inga produkter i varukorgen.
Varningen: AI-bedragare kan utnyttja din chattbot
säkerhet Chattbotar som används inom kundservice riskerar att utnyttjas av användare som utför avancerade AI-beräkningar på din bekostnad.
Företag som använder sig av chattbotar och AI-agenter inom kundservice har fått ett nytt problem att handskas med. Enligt nyhetstjänsten CIO.com lurar bedragare chattbotarna att utföra komplexa AI-beräkningar som driver upp kostnaderna.
Någonting är fel
Du är inloggad som prenumerant hos förlaget Pauser Media, men nånting är fel. På din profilsida ser du vilka av våra produkter som du har tillgång till. Skulle uppgifterna inte stämma på din profilsida – vänligen kontakta vår kundtjänst.
Techtidningen premium
Läs vidare – starta din prenumeration
Redan prenumerant? Logga in och läs vidare.
I grunden handlar det om att externa användare låter din kundtjänst-chattbot utföra helt andra saker än det som den är avsedd för: att hantera kundserviceärenden. I stället för att fråga om en specifik order eller vilka öppettider som gäller kan de be boten skriva kod, lösa avancerade problem eller generera innehåll som helt saknar koppling till ert kontaktcenter.
Enligt flera bedömare som CIO.com talar med är detta inte bara ett irritationsmoment utan något som kan få tydliga ekonomiska konsekvenser. Justin St-Maurice, teknisk rådgivare på Info-Tech Research Group, menar att detta bara är början på ett större problem.
– Det här är bara toppen av isberget när det gäller riskerna. Det kan vara ett tecken på ett mycket större problem. Om systemet är villigt att förse användaren med kod, vad mer är det då villigt att göra för mig?
Nik Kale, som är medlem i Coalition for Secure AI och sitter i programkommittén för ACM:s AI Security, beskriver hur stor skillnaden i kostnad kan bli mellan en normal supportfråga och en mer avancerad förfrågan:
– En vanlig kundserviceinteraktion som ”Var är min order?” eller ”Vilka är era öppettider?” kanske ligger på 200 till 300 token. Någon som ber boten att hantera en länkad lista i Python genererar lätt mer än 2 000 token. Det är ungefär en tiodubbel kostnadsökning per session.
Kan få märkbar effekt på AI-budgeten
Problemet är att detta sällan syns tydligt i den vanliga uppföljningen. Det dyker inte upp i en rapport över kostnadsavvikelser eftersom systemet bara ser det som ännu en kundkonversation. Experterna varnar därför för att även missbruk i mindre skala kan få märkbar effekt på AI-budgeten.
En viktig del av problemet är att chattbotar saknar omdöme. Där en människa kan förstå sammanhang och avgöra vad som är rimligt att hjälpa till med följer chattboten i praktiken bara instruktioner inom ramen för sin design.
– En människa har ett inbyggt kontextuellt omdöme. De här chattbotarna har en systemprompt som säger ungefär: ”Du är en hjälpsam kundservicemedarbetare”. Det är ett förslag, inte en mekanism för att upprätthålla regler.
Sanchit Vir Gogia, chefsanalytiker på Greyhound Research, anser att företagen själva bär en stor del av ansvaret:
– Det företagen ser är inte missbruk av chattbotar utan den oavsiktliga konsekvensen av att ha distribuerat generella inferenssystem under etiketten kundservice, Systemen är byggda som konversationsgränssnitt men fungerar ekonomiskt som öppna beräkningsytor.
”Kommer se kostnaderna glida iväg”
– Problemet kommer inte att försvinna i takt med att modellerna förbättras. Det kommer att förstärkas. Företag som förlitar sig på passiva kontroller kommer att se kostnaderna glida iväg, medan de som bygger in aktiv styrning i arkitekturen kommer att behålla kontrollen.
Det råder dock inte full enighet om hur stort problemet faktiskt är. St-Maurice ifrågasätter hur många som verkligen skulle använda ett företags kundtjänstbot för den här typen av uppgifter när det finns gratis konsumenttjänster att tillgå. Kale håller inte med och menar att de öppna verktygen ofta har begränsningar, medan företagens kundtjänstbotar i många fall är betydligt mindre styrda.
Flera bedömare pekar också på att även en liten andel oönskad trafik kan slå oproportionerligt hårt mot kostnadsbilden. Gogia säger att om fem till åtta procent av trafiken består av frågor med fel syfte eller hög komplexitet kan den delen stå för en fjärdedel eller mer av den totala inferenskostnaden. Samtidigt syns det sällan som tydliga toppar i övervakningen, utan snarare som en gradvis ökning av kostnad per session, längd på samtal och tokenförbrukning.
När det gäller motåtgärder finns det inga enkla lösningar. Att sätta upp skyddsfunktioner som begränsar frågorna till sådant som rör verksamheten låter självklart, men riskerar samtidigt att stoppa legitima kundfrågor. Andra alternativ, som att låta ytterligare AI övervaka frontlinjens AI eller att införa tokenbegränsningar, har också nackdelar. De kan kringgås, skapa fördröjningar eller minska värdet av tjänsten.
