Dell-toppen: Så bygger du infrastrukturen som klarar av AI-utvecklingen

Direkt vätskekylning är avgörande för att kunna kyla ner GPU:er och CPU:er. 

– Det förbättrar prestandan samtidigt som det hanterar kylutmaningen. Vi jobbar också med våra partners på hybridlösningar – luft- och vätskekylda rack, med våra Poweredge-servrar som har direktkylning på chipen, medan andra komponenter fortfarande kyls med luft, förklarar Said Akar.

”Kunderna börjar förstå vilka användningsområden för AI som passar just deras verksamhet”

Nyligen lanserade Dell nästa generations Poweredge, 17G, och det är  stor skillnad mot föregångarna enligt Dell-toppen.

– Om vi jämför med en kund som fortfarande använder 14G från 2017, kan vi nu konsolidera nio servrar i en. Det ger enorm CPU-kraft på mindre yta, blir lättare att kyla och lättare att strömförsörja.

AI-utvecklingen går fort och fler börjar lämna idé- och pilotstadiet till att produktionssätta storskaliga usecase. 

– Om vi hade pratat med samma kunder för ett till två år sedan så hade de varit mer osäkra: Var ska man börja? Vad är rätt användningsområde för min verksamhet? Men nu är de redo. Kunderna börjar förstå vilka användningsområden för AI som passar just deras verksamhet.

”I vissa fall räcker det med en PC”

Vissa frågor kvarstår dock att lösa.

– De behöver hjälp att hantera sina data, att dimensionera sin infrastruktur – ska de gå till molnet, eller bygga själva? Måste de göra en massiv investering, eller kan de börja smått och växa?

– Dessutom måste man hantera AI-algoritmerna. För två år sedan var många företag rädda. De trodde att för att implementera AI behövde man något i stil med ChatGPT – enorma språkmodeller, biljoner parametrar och gigantiska infrastrukturinvesteringar. Men det var inte sant.

Inte?

– Nej nu ser vi fler och fler mindre men mer specialiserade språkmodeller. Genom våra samarbeten med Hugging Face, Meta och NVIDIA kan vi hjälpa kunder skapa egna små språkmodeller, anpassade efter deras bransch eller behov – och som inte kräver ett enormt datacenter eller hundratals GPU:er. I vissa fall räcker det med en PC.

Av just det skälet lanserade Dell för ett drygt år sedan den första AI-PC:n

–  Många AI-relaterade uppgifter som testning och inferens kan göras lokalt. Vi har också vanliga servrar som stödjer två till fyra GPU:er.  Skalan är vår stora fördel. Vi erbjuder allt från AI-PC:n, till servrar med 8 GPU:er, till racks med 72 GPU:er eller flera sammankopplade racks med hundratals GPU:er.

En av de mest utmanande delarna av AI-resan är att få ordning på sin datahantering och datainsamling. Det har Dell själva upplevt när de lanserade en chatt-bot till sina säljare.

– För mig som jobbar i försäljning är det väldigt värdefullt att ha en virtuell assistent på min laptop eller mobil. Om jag ska träffa en kund inom banksektorn vill jag snabbt veta vad som är aktuellt för just den branschen, vad konkurrenterna gör, vilka argument som fungerar i ett säljmöte och så vidare. Den förberedelsen som tidigare tog flera timmar nu tar nu bara några minuter.

– Men rent tekniskt var själva chattboten den enkla delen. Det svåra var att få datan rätt. Jag vill inte att vår smarta assistent ska ge fel svar. Då är det bättre att inte ha den alls. Därför la vi ner mycket tid på datasäkerhet, governance hur vi matar in datan, och hur vi tränar modellen löpande.

”Det är vad som kommer att skilja vinnarna från resten”

Flera gånger under intervjun återkommer Said Akar till att AI inte är något du ska företag kan vänta med.

– Det här är ett race som redan är igång. Den som inte börjar tänka på AI nu riskerar att hamna i ett riktigt tufft läge inom några år. AI leder till kostnadsbesparingar och ökad produktivitet men kanske viktigast av allt är att det leder till nya innovationer som får er att sticka ut jämfört med era konkurrenter.

–  Alla företag har tillgång till liknande verktyg och teknik, men det som kommer att göra skillnad är företagets unika data. Hur kan man utnyttja sina data – som är en av företagets mest värdefulla tillgångar – för att generera nya insikter och kunskap? Det är vad som kommer att skilja vinnarna från resten. 

Hur långt har era kunder kommit på sina resor?

– Under de senaste tre åren har många kunder köpt en enskild server med några GPU:er – vilket är helt rätt strategi. Börja litet, testa, experimentera och ta fram ett proof of concept. Men nu går fler och fler vidare till produktion.

Dell AI Factory finns till för att hjälpa bolagets kunder med hela AI-resan.

– Vi har referenser över hela världen, inom olika branscher – men det är fortfarande bara början. Potentialen är enorm. Många företag är fortfarande i proof of concept-fasen men är redo att ta nästa steg. Några släpar efter, men börjar nu inse att det här är på riktigt och kommer att ha stor påverkan på deras verksamhet.

Said Akar beskriver hur bolagets kundklientel förändrats de senaste åren. 

– Vi kallar det här året för ”AI-året för företagen” Om man tittar på vilka som köper AI-lösningar från Dell idag: Först var det de stora molnleverantörerna med tydliga planer på att bygga GPU-moln eller träna stora språkmodeller. Sedan kom de stora globala företagen med tydliga visioner och behov.

– Men de senaste två åren har vi sett tusentals kunder globalt som köpt små volymer för att testa. Och de kommer att börja skala upp. Vi tror att 2025 blir året när AI används brett i verksamheter – vilket i sin tur kräver modernisering på många olika nivåer.

Vad behöver moderniseras?

– Datacentren men också datahanteringen.  Vi pratar inte bara om strukturerad data i databaser. Det handlar om ostrukturerad och semistrukturerad data som finns utspridd över edge-noder, datacenter, molnleverantörer – och ibland över flera olika moln. Allt det är kundens tillgångar.

En trend Dell ser är att vissa kunder börjar flytta tillbaka vissa arbetslaster från det publika molnet tillbaka till sina egna datacenter – för att komma närmare datan.

–  AI är datadrivet. För att kunna särskilja sig som organisation behöver man ha kontroll på datan, både var den finns och hur man jobbar med den. Och i många fall är det bättre att köra AI närmre där datan finns.

– En annan faktor är kostnaden. I många fall ser vi att kunder kan spara över 60 procent genom att köra AI-arbetslaster lokalt istället för i publika moln. Det betyder inte att allt kommer flyttas tillbaka – vissa arbetslaster passar fortsatt bäst i molnet. Vi på Dell kör också vissa AI-tjänster i publika moln – det är helt naturligt. Men AI skapar ett tryck att köra mer on-prem.

Tillbakgången till on-premise-lösningar gör också att behovet av att modernisera datacentermiljöer växer.

– Det måste vara redo att hantera AI-arbetslaster, det är inte superkomplext, men du behöver vara behöver rätt dimensionerad och modern infrastruktur som kan skalas och växa med behovet.

En hel del kommer också ske med edge-computing. 

– Mer än 50 % av all data globalt genereras vid edge. Många beslut måste fattas direkt där datan skapas, och vi ser att mycket AI-inferens kommer ske just vid edge. Vi ger kunderna valmöjligheteter. Antingen kan de köra sina AI-arbetslaster i molnet, i ett lokalt datacenter, vid edge eller någonstans däremellan.

Gartners prognoser visar att europeiska organisationer förväntas spendera 1,28 trillioner USD på it under 2025, vilket är en ökning med 8,7 procent från 2024. För att hantera den tillväxten behöver också nätverken hålla högsta kvalité. 

– GPU-invsteringar blir meningslösa om du inte kan nå datan tillräckligt snabbt. Det måste finnas snabb tillgång till lagring, och snabba interconnects mellan GPU:er och mellan GPU:er och lagringssystem. Här spelar nätverket en central roll.

– Det handlar om ett helhetsgrepp: compute, lagring, nätverk – men också hållbarhet och säkerhet. Och det är inte saker man kan tänka på i efterhand. De måste planeras in redan från början.

Det låter komplext?

– Vi ser redan nu hur kunder går live med detta. Det här är framtiden för datacenter. Man måste säkerställa att infrastrukturen – hårdvara, mjukvara, dataskydd och övervakning, är säker och modern.

– Datan är sårbar, oavsett om den finns i molnet, i egna datacenter eller vid edge. Det viktiga är att ha rätt teknik, rätt processer och bästa praxis på plats – och det är exakt vad vi jobbar tillsammans med våra kunder på Dell AI Factory.