Te hoge temperaturen in de servers zijn de belangrijkste oorzaak van falen van IT-apparatuur. Het (relatief) koel houden van de hardware is dan ook één van de kerntaken van datacenters. Naast de IT-apparatuur zelf is de koeling in de meeste gevallen ook de grootste gebruiker van stroom in het datacenter en daarmee de hoogste kostenpost.
De meest gebruikelijke aanpak van koeling is door gebruik te maken van koude lucht. We maken een koude gang, waarin we frisse lucht aan de voorkant van de servers aanbieden. De interne ventilatoren van de servers zuigen die lucht door het apparaat heen. De hitte van de processoren en de geheugen sims verhit die lucht, die wij aan de achterkant zo snel en efficiënt mogelijk weer afvoeren. Dit principe werkt al vele jaren, en voor het merendeel van de IT in de datacenters voldoet het prima.
De grenzen van luchtkoeling
De wereld verandert echter. Luchtkoeling loopt tegen een paar beperkingen aan. Ten eerste staan alle datacenters en hun klanten voor de uitdaging van verduurzamen en luchtkoeling kun je maar tot een bepaald niveau verbeteren. Ten tweede zijn er grenzen aan de hoeveelheid koeling die je uit lucht kunt halen, terwijl de vraag van gebruikers juist gaat naar steeds intensiever gebruik. Met iedere nieuwe generatie servers worden de processoren zowel kleiner als krachtiger, wat leidt tot steeds grotere rekencapaciteit op steeds kleinere oppervlakten, en dus steeds meer koeling uitdagingen. De opkomst van AI en machine learning creëert een vraag naar 50kW en meer per rack
Koeling wordt in Kilowatt gemeten. Met luchtkoeling kun je zonder problemen tot ongeveer 15 kW per rack aan koelingscapaciteit inzetten. Daarboven verlies je snel aan efficiency. Boven 20 kW wordt het een uitdaging. Met de huidige trend naar steeds hogere densiteit bereiken we niveaus waar luchtkoeling de klus niet meer kan klaren.
Koelen met vloeistoffen
Cloud providers en datacenters kijken daarom steeds meer naar vloeibare koeling. Tijdens het koelen met vloeistoffen wordt de hitte niet meer aan lucht getransfereerd, maar aan een vloeistof. De opnamecapaciteit is veel hoger dan met lucht, er is minder verlies, en de restwarmte (meestal warm water) is makkelijker te hergebruiken.
Er zijn voornamelijk twee verschillende manieren van koelen. De eerste is met water. Een watercircuit brengt koud water naar een cache die over de verhitte elementen het water neemt de warmte over, en wordt verder afgevoerd en gekoeld. De koeling efficiëntie is ongeveer 3 keer groter dan koelen met lucht, en je hebt maar 20% van de energie nodig. Forse voordelen dus. En met deze manier van koelen kun je makkelijk tot aan 45 – 50 kW per rack inzetten. Tenslotte is het warme restwater veel makkelijker te hergebruiken dan de warme lucht die je bij traditionele koeling overhoudt.
Geen wonder dat deze aanpak snel terreinwinst boekt in datacenters. Dit wordt ook wel gebruikt in combinatie met luchtkoeling. Dat bijvoorbeeld de processoren met een water circuit op temperatuur gehouden worden, en dat lucht de rest van de hitte wegneemt. Of dat er een luchtgekoelde warmtewisselaar in de achterdeur van het rack gemonteerd wordt.
Immersion cooling
Een alternatieve benadering van vloeibare koeling staat bekend als “immersed”. Bij deze technologie wordt de server volledig ondergedompeld in een bad van niet-geleidende vloeistof, meestal minerale olie. De warmte wordt door de olie geabsorbeerd, met een efficiëntie die gemiddeld 1000 keer hoger is dan bij luchtkoeling. De ventilatoren van de servers zijn dan uitgeschakeld (of ontbreken volledig bij servers die specifiek voor dit type koeling zijn ontworpen). De olie wordt met een pompsysteem naar een warmtewisselaar gebracht, waar water de koude zijde invult.
De olie blijft in een gesloten circuit, er is geen noodzaak om vloeistof bij te vullen (in enkel fase “immersed”, er is ook een variant waar de koelvloeistof verdampt en dan weer vloeibaar gemaakt wordt). Omdat er geen andere koelmethoden worden gebruikt, zijn er geen luchtsystemen meer nodig, wat resulteert in operationele kosten die tot 90% lager zijn dan bij luchtkoeling.
Bij “immersed” kan het gewicht echter een aandachtspunt zijn, aangezien servers in grote baden worden ondergedompeld en dicht op elkaar worden geplaatst. De koelvloeistof draagt bij aan het gewicht van het “rack”, wat resulteert in aanzienlijk meer gewicht dan bij traditionele luchtkoeling.
Een compromis is het monteren van cassettes met koelvloeistof in het rack, waardoor je als het ware een bad in een rack creëert. Ixora is een producent van dit type technologie. Op het moment van schrijven voert DCC-lid Intermax bij NorthC datacenters een pilot uit van deze aanpak.
Conclusie
De wereld is nog lang niet klaar voor het afscheid van luchtkoeling in datacenters. Voor het merendeel van de gebruikers voldoet het nog prima, maar datacenters en hun klanten staan voor de uitdaging om in de toekomst computing van steeds hogere densiteit te leveren en tegelijkertijd steeds duurzamer te opereren.
Vloeibare koeling maakt het mogelijk om doelstellingen op beide gebieden te behalen. Er is een groeiende behoefte aan meer rekenkracht, maar met een steeds verbeterende efficiency. Waar technologieën zoals ‘immersed’ slechts een paar jaar geleden werden beschouwd als experimenteel, zien we nu grootschalige implementaties ontstaan. Als we naar de langere termijn kijken en rekening houden met de groeiende vraag naar AI- en machine learning-oplossingen, is het aannemelijk dat steeds meer gebruikers alternatieven voor luchtkoeling zullen overwegen.
Op de zeer lange termijn is het niet onredelijk om te denken dat vloeibare koeling luchtkoeling zal vervangen als de standaard in datacenters.
