Inga produkter i varukorgen.
AI-agenter kan kräva en ny generation servrar
Tech idag Agentbaserad AI kan tvinga fram en ny design av företagens AI-servrar. Forskare vid Microsoft Azure och University of Texas at Austin har funnit att dagens GPU-baserade infrastruktur har svårt att effektivt hantera AI-arbetsflöden som växlar mellan modeller, verktyg och orkestrering.
Problemet är att arbetet upprepade gånger flyttas mellan CPU och GPU, vilket kan skapa flaskhalsar och samtidigt ge lågt resursutnyttjande.
Någonting är fel
Du är inloggad som prenumerant hos förlaget Pauser Media, men nånting är fel. På din profilsida ser du vilka av våra produkter som du har tillgång till. Skulle uppgifterna inte stämma på din profilsida – vänligen kontakta vår kundtjänst.
Techtidningen premium
Läs vidare – starta din prenumeration
Redan prenumerant? Logga in och läs vidare.
Forskarna föreslår därför serverarkitekturen Agora, som dynamiskt fördelar resurser efter arbetsbelastningen.
I tester ökade lösningen CPU-utnyttjandet med omkring 30 procent, frigjorde ungefär en tredjedel av GPU och ökade genereringskapaciteten med 82 procent.
