Experten: Så får du ut max av dina AI-satsningar

En annan felkälla är bristfällig datakvalitet.

– Alla som arbetar med data har pratat om vikten av datastyrning och datahantering i flera år, men många verksamheter har bortsett från det och det får man nu betala priset för. Utan genomarbetade processer för de här frågorna är det svårt att bli effektiv med AI.

Philip Miller upplever också att många siktar för högt med sina första AI-projekt.

– Det är flera som kommit till oss och sagt ”Jag vill lösa alla mina affärsproblem med AI” och då föreslår vi istället att börja smått och specifikt. Vi prioriterar verkligen att få det där användningsfallet som är värdefullt att fungera fullt ut för dig först. Att våga vara skräddarsydd och fokuserad är nyckeln.

Ett annat vanligt problem är att användarna inte förstår teknikens brister.

– Det gör att organisationer inte förstår att AI:n inte förstår vad den faktiskt blir ombedd om. Den saknar kontext. Datan behöver ett mänskligt perspektiv som säger: ”Det här är vad detta betyder i kontexten av min bransch, min verksamhet och mina ämnesområden.”

Det är där RAG (Retrieval-Augmented Generation) kommer in i bilden.

–Varje gång du ställer en fråga till en LLM är det som att du singlar slant, och även om du har försökt vikta modellen för att ge mer korrekta svar är risken ändå att det blir fel. Med RAG, får du arkitektonisk lösning på den fundamentala svagheten som finns med all generativ AI och alla stora språkmodeller.

Tanken med RAG är att förstärka och förbättra användarnas frågor, genom att ge modellen mer kontext.

– Det kan exempelvis vara att styra så att modellen bara baserar sina svar på en specifik kunskapsbas eller som de mer avancerade lösningar vi tillhandahåller.

Hur fungerar det?

– Då får du en hel kunskapsgraf över datan. Du får inte bara se det rätta svaret, utan svaret i sitt sammnhang och får tydligt se var i din kunskapsbas som modellen hämtat sitt svar.

Hur säkerställer man att skyddar sin konfidentiella data?

– Vår lösning är regelbaserad. Så vi skapar roller och behörigheter baserat på dessa roller. Är du exempelvis på nivå noll behörighetsmässigt så har du ingen tillgång alls till datan när du söker efter den.

– Sen har vi verktyg för att redigera och dölja information, i exempelvis en Powerpoint, ett Excel-dokument eller vad det nu kan tänkas vara innan det skickas till den generativa AI-modellen.

Verktygen ska också stoppa felaktig information från att lämna modellen.

– Om AI:n hallucinerar och ger känslig information tillbaka trots att vi inte har skickat någon känslig information till den kan vi tolka och förhöra svaret innan det når slutanvändaren för att återigen leta efter känslig information som användaren inte ska komma åt.

Rollfördelningen och regelverket gör också eventuella felbeslut enklare att granska i efterhand enligt Philip Miller.

– Om någon vill ifrågasätta ett klassificeringsbeslut eller veta varför viss typ av data skickats till AI:n då kan du snabbt få en rapport som sammanställer logiken bakom alla beslut.

Är det svårt att implementera RAG mot befintliga, äldre system?

– Allt beror på datakvalitén och sättet du extraherar den datan. Vi använder ett antal nyckelteknologier för att kunna göra det. Vi har en databas med flera olika modeller vilket gör att oavsett oavsett hur datan är strukturerad kommer vi kunna extrahera den.

Philip Miller ser att just värdet som finns i den ostrukturerade datan är lätt att missa.

Alla pratar om att vara multimodala men vi är det på riktigt. Det gör att vi inte kommer in och säger ”rip and replace” utan faktiskt hjälper till att modernisera de investeringar du och din verksamhet redan gjort.

Hur tror du att det här området utvecklas framåt?

– Jag tror att bolagen som utvecklar språkmodellerna kommer göra mer grundläggande RAG-arbete, men sen framförallt så tror jag vi kommer få smartare system genom att ge modellerna kontexten de behöver och träna de bättre.

Hur kan den bättre träningen se ut?

– En kund började extrahera alla begrepp i frågorna som ställdes till LLM:en och jämförde de begreppen med det som fanns i vår kunskapsgraf och om ett begrepp inte fanns skickades det direkt en notis till ämnesexperten ”Titta på det här”.

– Om det är ett relevant begrepp läggs den in i kunskapsmodellen och då kan vi göra en omvänd fråga och skicka ett meddelande till den första användaren med ”Du frågade om det här tidigare, då kunde modellen inte svara, nu är den uppdaterad, titta och se om det stämmer”.

En annan av bolagets kunder står inför stora pensionsavgångar och de vill använda AI-teknik för att ta tillvara på personalens kunskap.

– Det är en gamechanger. Vi extraherar deras kunskap om verksamheten de arbetat länge i och lägger in det i systemet. Det gör att deras kunskap och kompetens inte går förlorad bara för att de går i pension. Det blir en fantastisk tillgång framåt.