Lovables AI-agent gör en dags analysarbete på några minuter

Resultatet blev Lovsight, en AI-agent som byggts i Lovables egen plattform och som kan genomföra avancerade undersökningar på egen hand. Språkmodellerna är bara en av komponenterna i Lovsight. En intern AI-gateway väljer modell för uppgiften och runt den har Lovable byggt instruktioner, verktyg, verksamhetskontext och minne.

– Det finns en systemprompt som beskriver agentens roll. Den börjar i princip med att den är en analytiker som ska hjälpa vem som helst med undersökningar och olika frågor. Sedan bygger vi resten av prompten dynamiskt utifrån sammanhanget för just den uppgift den får, förklarade Jonas Björk.

För att gå från resonemang till handling får agenten tillgång till funktioner och andra verktyg som den kan anropa. Fler verktyg läggs till efter hand som nya behov uppstår.

– Utan verktyg kan agenten inte agera. Ju mer vi vill att den ska kunna göra, desto fler verktyg behöver vi ge den. När vi upptäcker något den inte klarar av måste vi ge den ytterligare möjligheter att utföra det.

Lovsight kan dessutom hämta sammanhang från interna system eller kontakta andra agenter med särskilda kunskapsområden. Det ska hjälpa den att förstå frågan och hitta rätt svar.

När utvecklarna granskade agentens körningar såg de att den upprepade samma undersökningar. De gav därför Lovsight ett minne så att den kan återanvända kunskap när den utför nya uppgifter.

– Vi såg att agenten gjorde samma sak upprepade gånger. Om den hade svårt att reda ut något men till slut lyckades, gav vi den därför verktyg för att lagra det som ett minne. Då behöver den inte gå igenom hela den processen varje gång en liknande uppgift dyker upp, berättade Jonas Björk.

För uppgifter som ska utföras på ett bestämt sätt använder Lovable också så kallade skills. De beskriver arbetsmoment som agenten ska följa, utan att utvecklarna behöver beskriva varje undersökning i detalj.

Följer en förutbestämd process

Agentens arbete följer en förutbestämd process. Agenten tar emot ett problem, sammanställer en prompt, låter språkmodellen resonera, väljer verktyg och granskar resultatet. Om målet inte är uppnått börjar den om och fortsätter tills den bedömer att uppgiften är löst.

Att låta en agent arbeta självständigt innebär att gränserna måste vara tydliga. Lovable satte tidigt upp begränsningar för hur stora datamängder agenten får läsa i en enskild fråga för att undvika onödigt dyra körningar. Andra begränsningar har tillkommit först efter att teamet sett hur agenten faktiskt betett sig i produktion.

– Vi hade exempel där agenten gjorde hundratals verktygsanrop utan att komma fram till något värdefullt över huvud taget. När vi såg det mönstret insåg vi att vi behövde en verktygsbudget, sade Jonas Björk.

Bakom Lovsight ligger en omfattande datainfrastruktur. Enligt Jonas Björk skickar Lovable omkring 500 miljoner händelser per dag till BigQuery. Datamiljön hanterar omkring 100 000 frågor per dag, där en stor del kommer från agenter och automatiserade arbetsflöden.

– Vi använder BigQuery väldigt mycket. Men kombinationen med Vertex AI och Gemini blir särskilt kraftfull eftersom agenterna kan använda verktygen för att ta sig fram till svar på nästan vilka frågor vi än ställer.

Agenter övervakar kontinuerligt olika KPI:er i Lovables interna system. När ett värde förändras startar de automatiskt en undersökning för att försöka hitta förklaringen. Agenten kan då undersöka exempelvis driftsättningar, ändringar i källkoden, intern dokumentation och produktionsloggar. Genom att jämföra händelser i systemen med tidpunkten då ett mätetal förändrades försöker den formulera en hypotes och hitta belägg för den.

– Tanken är att agenten inte bara ska komma med en hypotes om varför något händer, utan också försöka ta fram bevis. Sedan rapporterar den tillbaka vad som har förändrats, vilka orsaker den tror ligger bakom, vad den inte kan förklara och vilka åtgärder den föreslår, berättade Jonas Björk.

I stället för att granska en dashboard och sedan leta i flera system får medarbetarna ett underlag med slutsatser, osäkerheter och förslag på nästa steg.

– Det här är mycket mer än en dashboard där du ser att något går upp eller ned. Du får betydligt djupare insikter och dessutom förslag på vad som kan göras åt det.

En annan tillämpning är att proaktivt hitta intressanta kundexempel. Agenterna kan löpande leta efter sådant som kunderna bygger och som kan vara värt att lyfta fram, utan att någon först behöver beställa en sammanställning.

Agenten fick själv ta fram underlag

När Jonas Björk förberedde sin presentation bad han Lovsight själv ta fram statistik om den egna användningen. För september redovisade agenten 167 000 genomförda jobb och över 200 000 anrop till språkmodeller. Enligt uppgifterna slutfördes 99,56 procent av jobben utan att fel uppstod.

– Jag bad agenten berätta vad den gjort den senaste månaden. Den tyckte att jag skulle presentera den som ett analyssystem som utför omfattande arbete, inte bara som en chattbot. Och det stämmer väldigt bra.

Lovable har också tittat på vilken sorts uppgifter agenten hanterar. En del är traditionell självbetjäningsanalys som statistik, jämförelser och frågor om olika mätetal. Men en betydande del handlar om mer krävande undersökningar, som att diagnostisera fel eller förklara varför något förändrats.

– Den första kategorin ersätter delar av BI-lagret. Den andra är sådant som är väldigt tidskrävande för en människa. En enskild uppgift kan ta en hel arbetsdag att göra manuellt, medan agenten klarar den på två minuter, sade Jonas Björk.

Lovable har dessutom en annan intern agent, Company Brain, som har i uppgift att hålla reda på företagets samlade sammanhang och kunskap. Tillsammans visar de två agenterna hur bolaget delar upp analysarbete och kunskapshantering i olika roller, samtidigt som de bygger på en gemensam datamiljö.