Ook datacenters ontsnappen niet aan de impact van AI

Het is al AI wat de klok slaat in alle IT-geledingen. Vooral in de wereld van de datacenters is het nu alle hens aan dek om te kunnen voldoen aan de nieuwe eisen op het vlak van connecties, energieverbruik en koeling die AI met zich meebrengt. (Frans Godden)

Over heel de wereld wordt koortsachtig gewerkt om voldoende datacentercapaciteit te bouwen die kan beantwoorden aan de enorme explosie van AI-toepassingen. Overal rijzen mega-datacenters uit de grond, vaak in handen van techreuzen als Google, Microsoft en andere Amazons. De investeringen zijn enorm, niet alleen in pure rekenkracht maar ook en vooral in stroomvoorzieningen om al die computers draaiende te houden. Het International Energy Agency heeft in zijn ‘Energy and AI Report’ berekend dat datacenters tegen 2030 wereldwijd meer energie zullen verbruiken dan heel Japan vandaag. Meer dan 40% van alle nieuwe datacenters zal dan haast uitsluitend ingezet worden voor AI-taken.

Verkeersdrukte

Maar er is meer. Begin dit jaar publiceerde netwerkspecialist Ciena in samenwerking met marktonderzoeker Censuswide een studie rond een ogenschijnlijk verwaarloosd aspect van AI en datacenters, namelijk de netwerken die al die datacenters moeten verbinden. Experten verwachten dat er in de komende vijf jaar zes keer meer bandbreedte nodig zal zijn voor die verbindingen, gewoon omdat AI andere eisen stelt aan de bestaande netwerken. Klassieke applicaties genereren vooral noord-zuidverkeer tussen clients en servers, maar AI-toepassingen – vooral wanneer er LLM-training (Large Language Model) mee gemoeid is – produceren massaal veel oost-westverkeer tussen GPU-clusters in het datacenter. En dat betekent dat netwerken niet alleen veel meer bandbreedte maar ook bijzonder weinig latency (vertragingen) mogen hebben en in staat moeten zijn om dynamisch op en neer te schalen. Bij AI-opdrachten wordt de dataverwerking immers opgesplitst over tientallen of zelfs honderden GPU’s die constant gesynchroniseerd moeten worden om zelfs één enkele bewerking te kunnen afronden. Heel veel bewegingen dus en daarom wordt algemeen verwacht dat AI-opdrachten nog dit jaar tot 30% van alle datacenterverkeer kunnen uitmaken.

Op het eerste gezicht zal er wel niet veel veranderen aan de klassieke interface van het datacenter naar de buitenwereld toe. In de front-end zal Ethernettechnologie vermoedelijk nog altijd de plak zwaaien. Maar achter die bekende façade is nu een nieuw meer gespecialiseerd netwerk ontstaan dat volledig gewijd is aan AI-opdrachten, waar totaal andere eisen gesteld worden aan de hardware. Zo zal het back-end netwerk door al die synchronisaties bandbreedtes van 800 Gbps tot 1,6 Tbps per link moeten ondersteunen. Vandaar dat operatoren overal hun netwerken upgraden met superperformante switches, routers en glasvezelbekabeling om er een intelligente, flexibele en robuuste omgeving van te maken die alle AI-innovaties kan blijven volgen.

Mag het iets frisser?

AI heeft echter nog een totaal ander effect op het datacenter: als computers optimaal hun werk willen doen, hebben ze afkoeling nodig – en dan denken we natuurlijk aan water. Wanneer in april van dit jaar de Europese Unie aankondigde dat ze in de komende vijf jaar haar datacentercapaciteit minstens wil verdriedubbelen om aan de stijgende vraag naar AI-computing te voldoen, kwam er al direct een reactie uit Zuid-Europa waar bijna een derde van de bevolking in regio’s woont met een permanent watertekort. Een recent rapport van S&P Global, ‘Beneath the surface: Water stress in data centers’, wijst immers vooral naar het Midden-Oosten, Griekenland, Spanje, Chili, Peru en Mexico, maar verrassend genoeg ook naar België als locaties die het meest met waterproblemen zouden kunnen kampen – en waar hyperscale datacenters dus voor bijkomende stress kunnen zorgen. De EUDCA, de European Data Centre Association, is dan ook volop op zoek naar niet-drinkbaar water dat nog geschikt is voor andere industriële processen zoals het koelen van datacenters.

Trouwens, ook de uitbaters zelf zoeken oplossingen. Zo heeft Microsoft vorige zomer een nieuw datacenterconcept aangekondigd dat de AI-werkbelasting zou moeten optimaliseren en geen water voor koeling zou gebruiken. Daardoor zou meer dan 125 miljoen liter per jaar per datacenter uitgespaard kunnen worden dankzij (niet helemaal) nieuwe koeltechnologie die water recycleert in een gesloten circuit. Eens het systeem bij de opstart helemaal gevuld is, blijft het zijn koelwater naar de servers sturen zonder dat het bijgevuld hoeft te worden.

Op naar de polen

Maar het hele koelproces zorgt natuurlijk wel voor een andere al hogergenoemde uitdaging: stroom. Waar servers volgens het International Energy Agency (IEA) zo’n 60% van het elektriciteitsverbruik in datacenters voor hun rekening nemen en netwerk- en opslagsystemen elk 5% opeisen, kunnen koelsystemen 7 tot 30% van de totale energie vergen in functie van hun efficiëntie. Bijna 40% van alle datacenters zou gebruikmaken van waterkoeling maar in veel datacenters wordt ook nog de traditionele airconditioning/ventilator-koeling gebruikt die vaak bijzonder veel energie nodig heeft, vooral in warmere klimaten. Vandaar dat uitbaters van datacenters ijverig alternatieven gezocht hebben zoals immersion cooling waarbij servers in niet-geleidende vloeistoffen ondergedompeld worden – wel een duur en moeilijk procedé. Het simpelste (en ook goedkoopste) blijft koelen in open lucht – maar dat kan helaas alleen in streken met koele temperaturen en is dus vooral voorbehouden aan Noord-Europa.

En dan is er nog het probleem van de bestaande datacenters. Niemand zal graag de vaak erg zware investeringen in zijn datacenter zomaar opzij willen schuiven om aan de nieuwe eisen van AI te kunnen voldoen, maar je moet al die nieuwe technologie wel kunnen integreren in een infrastructuur die daar eigenlijk nooit voor gebouwd was. Legacysystemen, meestal nog gebaseerd op al verouderde technologie, zijn vaak moeilijk aan te passen en te weinig flexibel om de enorme datavolumes van AI te verwerken. Het wordt dus zoeken naar het delicate evenwicht tussen volledig operationeel blijven en intussen toch de systemen aanpassen aan de nieuwe AI-hardware en netwerkingstandaarden.