Hjärnan bakom Volvos självkörande bilar: ”AI-system är inte perfekta”

Det Volvo Cars-ägda bolaget utvecklar mjukvara för förarstöd och automatiserad körning. Det handlar om den mjukvarustack som ska förstå omgivningen, fatta beslut och i takt med teknikutvecklingen ta över mer av körningen från människan.

Men enligt vd:n Ödgärd Andersson är uppdraget inte att släppa AI:n fri.

– AI-system är ju inte hundra procent perfekta och gör rätt hela tiden, säger hon.

”Vi finns till för att bygga säkerhet”

Zenseact arbetar med mjukvara som ska in i en fysisk produkt där fel kan få direkta följder. Det gör utvecklingen annorlunda än i många andra delar av techvärlden.

– Vi finns ju egentligen bara till för att bygga säkerhet. Mer och mer av funktionen i bilen flyttar in i mjukvara. Om man vill vara bäst i världen på säkerhet så måste man se till att mjukvaran är världens säkraste, säger Ödgärd Andersson.

Hon jämför med andra säkerhetskritiska system, som telekomutrustning, flygplan, båtar, lastbilar eller drönare. Gemensamt är att systemen måste fungera även när de används i stor skala och i oförutsägbara miljöer.

Skillnaden mot exempelvis stora språkmodeller är också tydlig. En bil har en dator ombord, men inte samma beräkningskraft som de stora AI-modeller som körs i datacenter.

– Vi har en dator i varje bil. Den är mycket bättre än vad som historiskt har funnits i bilar, men den är ändå mycket mindre än den datorkraften man kan träna och köra en LLM på. Distribuerade fysiska system sätter begränsningar på vad man kan göra.

Därför byggs systemen med redundans, både i hårdvara och mjukvara. Om en del fallerar ska en annan kunna ta över.

AI:n får en korridor

När allt fler delar av körningen blir AI-baserade uppstår nästa fråga: hur gör man ett system säkert när själva styrkan med AI är att det kan hantera variation och lära sig av stora datamängder?

Zenseacts svar är vad bolaget kallar “safety guardrails” – säkerhetsräcken runt AI-systemen.

– Den AI-baserade lösningen genererar en massa förslag till bilen på hur den skulle kunna köra, baserat på all data vi har tränat den på. Men vi sätter safety guardrails på den. Man kan säga att vi ger den en sorts korridor den får hålla sig inom, säger Ödgärd Andersson.

Poängen är att bilen ska kunna dra nytta av AI:ns förmåga att skapa en mer människolik körstil, men utan att modellen får fatta vilka beslut som helst.

– Om den skulle få för sig att hallucinera och vilja köra rakt ut i mötande fil eller något annat så får den inte det. Hela arkitekturen är gjord så att vi har ett lager som ska se till att den alltid är säker.

De sista tio procenten

I debatten om självkörande bilar återkommer ofta frågan om när tekniken kommer. Ödgärd Andersson tycker att frågan delvis missar poängen.

– Det svåra med att utveckla självkörande bilar är inte att få bilen att köra själv i normala situationer. Det kan nästan vilken duktig student på Chalmers eller KTH som helst lösa. Grejen är att ta hand om alla long tail-problem: situationerna som nästan aldrig händer, men där bilen ändå måste agera säkert varje gång.

Hon sammanfattar utmaningen med en ofta använd branschbild:

– De sista tio procenten är nittio procent av jobbet när det kommer till självkörande. Det kanske till och med är lågt räknat.

Därför sker utvecklingen stegvis. Zenseact släpper uppdateringar flera gånger per år. Ibland handlar det om intern kod för att stärka cybersäkerheten, ibland om lärdomar från nya scenarier i datan. Större steg tas när arkitekturen för deep learning förändras eller när en ny generation bilar får nya sensorer.

– Det är inga big bangs. Det är mer att vi successivt utvecklar vad bilen klarar.

Nästa steg handlar bland annat om att öka automationen på motorvägar, där bilen kan ta över mer av det kognitiva arbetet.

Tränar på det som inte får hända

För att kunna utveckla systemen krävs stora mängder data. Men i trafiken är den mest värdefulla datan ofta också den mest sällsynta.

– De flesta av oss kör ju mest tråkig trafik när inget händer, säger Ödgärd Andersson.

Därför arbetar Zenseact mycket med simulering och syntetisk data. Bolaget har enligt henne ett av norra Europas största GPU-kluster för ett enskilt ändamål. Det används både för att träna algoritmerna i bilen och för att skapa scenarier som kan användas i testmiljö.

– Vi kan bygga trafikscenarier som vi aldrig vill upptäcka i verkligheten. Vi vill ju aldrig skicka ut någon rakt framför en bil på riktigt. Då kan vi generera syntetisk data som kombinerar olika komplexa situationer i en ännu värre situation och köra vår simulering mot det.

På så sätt kan Zenseact testa om koden klarar situationer som är för farliga, ovanliga eller komplexa för att samla in i verklig trafik.

Samma byggblock, olika användarfall

Även om Zenseact arbetar med personbilar ser Ödgärd Andersson flera paralleller till andra branscher där AI kopplas till fysiska system. Hon nämner robotar och humanoider som exempel.

– De behöver också bygga en datapipeline där man kan köra in relevant data. De behöver också kunna generera syntetisk data och även ha en jättebra mjukvarufabrik som man kan rulla ur.

Hon pekar på flera byggblock som blir gemensamma för det som ofta kallas physical AI: datafabriker, mjukvarufabriker, kvalitetssäkring i högt tempo, kurering av data, syntetisk data och verktygskedjor som kan delas mellan industrier.

– Det kanske är sjuttio, åttio procent av jobbet att bygga upp all den här infrastrukturen som sen gör att vi kan träna på vårt unika användarfall.

Samtidigt är användningsfallen olika. En bil behöver förstå trafik. En humanoid behöver tränas för sina miljöer. Men mycket av infrastrukturen bakom liknar varandra.

Regional data bromsar säkerheten

En av Zenseacts stora utmaningar är att data blir mer regional. Det påverkar möjligheten att använda lärdomar globalt.

– Vi vill ju att ett barn som blir påkört i Kina skulle kunna lära hela resten av världen. Då kan man inte föra ut den datan, för det finns regler mot det.

Hon konstaterar att vissa typer av utrustning och data inte kan flyttas mellan regioner. Det gör produkterna mindre globala.

– Det kan man tycka är ineffektivt. Men just när det kommer till säkerhet vill man verkligen att alla saker vi lär oss ska hjälpa alla överallt.

Europa saknar inte kompetens

På frågan hur Sverige och Europa står sig i AI-racet är Ödgärd Andersson relativt optimistisk när det gäller kompetens.

– Jag tycker att vi faktiskt har mycket bra talang här. Det är ett väldigt momentum runt att bygga applikationer i AI nu, inte minst i Stockholm. Jag tycker egentligen inte att vi har ett kompetensproblem huvudsakligen.

Problemet kommer senare, när bolag ska växa.

– När de bolagen sen ska skala upp flyttar de, för de får inte finansiering här på samma sätt som man kan få i USA. Det känns tråkigt om vi ska bygga vår konkurrenskraft på sikt här.

Ännu tydligare är beroendet när det gäller infrastrukturen. Zenseact har i dag huvudsakligen Nvidia-baserad GPU-infrastruktur och kör mycket on-prem. Framåt ser bolaget framför sig fler leverantörer och en kombination av moln och egen infrastruktur.

– Vi är egentligen inte så religiösa med exakt vilken variant det är, bara det fungerar bra för oss och har rätt prispunkt. Det är också ganska dyrt, så det finns lite utrymme för konkurrens.

Men Europas position bekymrar henne.

– Vi är otroligt beroende av de amerikanska leverantörerna. Det tycker jag är en intressant fråga för Europa politiskt. Hur vill vi att det ska se ut med vår AI-infrastruktur? Och hur ser vi till att vi har lite redundans i det systemet?

Hon pekar också på att Kina och USA har en tydlig övervikt.

– Som europé hade det varit roligt att se lite europeiska alternativ också. Jag menar inte att vi ska kasta ut de andra, men det finns en klar övervikt av Kina och USA när det gäller infrastruktur.

”Vi vill inte göra allt själva”

Zenseact har också fått en roll mellan Volvo Cars och mindre AI- och verktygsbolag.

– Vi har lite haft rollen att vara en växellåda mellan stora Volvo Cars och ett gäng startups, inte minst inom tools och annat runt AI, säger Ödgärd Andersson.

Hon beskriver det som en modell där Zenseact kan fokusera på säkerhetsmjukvaran, men samtidigt dra nytta av ett bredare ekosystem.

– Vi vill ju fokusera på att bygga säkerhetsmjukvara. Vi vill inte göra allting själva.

För mindre bolag kan samarbetet samtidigt innebära en väg in i en global fordonsflotta.

– Om vi jobbar tillsammans kan man ändå få möjligheten att bli en del av det som rullar ut i hela Volvo Cars-flottan när vår mjukvara går ut. Det har varit en ganska bra modell.

För Ödgärd Andersson är det ändå säkerheten som hela tiden återkommer. AI:n kan bli bättre, snabbare och mer människolik. Men i en bil räcker det inte att den imponerar.

Den måste hållas inom ramarna.

– Om man inte gör det på rätt sätt är det inte självklart att det blir säkrare.