(Nicht mehr so) Doppelbödig: Zur Kühlung von Rechenzentren

Ein Leser schreibt:

Hallo Hadmut,

“Da läuft es einem im wörtlichen Sinne „kalt den Rücken runter“, weil die Klimaanlagen von oben jede Menge kalter Luft in den Raum pumpen.”

Meines Wissens ist es umgekehrt: Die kalte Luft strömt unten in den Doppelboden. Der ist unter den 19″ Schränken offen, kann so nach oben in die Server gesaugt werden und steigt dann erwärmt auf und wird oben wieder abgesaugt.

Das macht auch thermisch mehr Sinn: Warme Luft steigt nach oben!

Die hier stimmen mir zu: https://www.datacenter-insider.de/was-macht-ein-doppelboden-im-rechenzentrum-a-890647/

“Was nun steckt im Doppelboden? Wie gesagt: In der Regel wird hier heute vor allem die Kaltluft oder aber – bei Flüssigkühlung – ein flüssiges Kühlmedium in Rohren an die Rechner herangeführt. Deshalb wird der hermetisch dichte Fliesenboden nur da durch Fliesen mit Löchern durchbrochen, wo die kalte Luft benötigt wird. Umluftgeräte und weiteres technisches Equipment befinden sich zumeist am Rand. Sie blasen die Kaltluft in den Doppelboden ein.”

Genau so habe ich es in mehreren grossen Rechenzentren (Hosting/Co-Location) erlebt.

Nur damit du nicht hinterher als Depp dastehst.

Da muss ich doch gleich was dazu sagen.

Ja, sowas gibt’s, habe ich auch schon erlebt, allerdings damals an der Uni. Das ist dann auch fies, wenn die Kaltluft aus dem Boden kommt und einem von unten ins Hosenbein bläst, weil irgendein Heini in die Lüftungsschlitze Kabellöcher geschnitten hat, und man sie nicht mehr zudrehen kann.

Ist aber nicht überall so.

Und da, wo es so ist, störte es einen dann, wenn es so ist, nicht körperlich, weil nämlich normalerweise die Bodenplatten auf dem Doppelboden heute halbwegs dicht sind und nicht mehr diese Lüftungskörbe haben, die ich von der Uni kenne. Normalerweise wird das dann so gemacht, dass der Boden unter dem Rack offen ist, und die Kaltluft direkt von unten in das Rack gepumpt wird. Wenn das ordentlich gemacht ist, merkt man das als Mensch nicht negativ, solange man den Doppelboden nicht aufmacht. (Anmerkung für die, die noch nicht in Rechenzentren rumgebaut haben: Der Doppelboden ist mit quadratischen Platten abgedeckt, ich weiß jetzt gar nicht, wie groß, würde mal so 50×50 schätzen, wie so ein Schachbrett, die man herausnehmen kann. Da hängt dann immer irgendwo so ein Griff (der muss aus Brandschutzgründen in der Nähe sein, damit die Feuerwehr im Notfall den Doppelboden aufkriegt), mit entweder zwei Saugnäpfen (falls der Doppelboden oben glatt ist) oder der Nagelbrettern (falls der oben mit Teppichboden beklebt ist), mit denen man diese Platten anheben und rausnehmen kann. Dann bläst’s einem natürlich schon ins Gesicht. Aber normalerweise schließen die Bodenplatten dicht, weshalb man das dann nicht negativ körperlich spürt.

Ich habe allerdings seit 2008 nicht mehr so viel in Rechenzentren zu tun wie früher. Ab und zu mal noch, inzwischen eher Ausnahme. Kommen auch etwas aus der Mode, weil man ja in die Cloud geht.

Aber:

Diese Technik, die Kaltluft durch den Doppelboden zu pumpen, ist meines Wissens veraltet und entspricht nicht mehr dem Stand der Technik.

Warum?

Funktioniert nicht mehr ausreichend.

Heute nämlich hat man durch die fortschreitende Miniaturisierung eine enorme Packungsdichte erreicht und kann in so einen Serverschrank inzwischen enorm viel Rechenleistung packen, weil man inzwischen viele CPUs und Platten auf Server mit einer Höheneinheit bekommt. Die Racks, also die Serverschränke, sind immer in Montageschritte von „Höheneinheiten“ eingeteilt, eine Höheneinheit (HE) entspricht 1¾ Zoll, also 44,45 Millimeter. So um das Jahr 2000 herum waren Server selbst im einfachsten Fall noch auf 3 oder 4 HE gebaut, zumal Intel damals auf die dumme Schnapsidee gekommen war, den Pentium II in so ein saudämliches Hochkantgehäuse einzubauen. Das hat man aber optimiert, und längst kommen die meisten Server mit 2 oder sogar nur 1 HE aus. Gibt es dann sogar mit 2 oder 4 CPUs, und zwar Server-CPUs, die dann wieder viele Kerne haben.

Inzwischen gibt es sogar „Blade-Server“, die dann ziemlich hoch sind, aber ganz viele kleine Steckplatinen mit einzelnen Computern fassen (sog. „Blades“), man also noch viel mehr Computer als nur einen pro HE reinbekommt.

Und so ein Serverschrank fasst dann, je nach Modell und Hersteller, so vielleicht 32 oder 42 HE.

Während also früher, so in den Siebzigern, ein Computer aus vielen solchen Schränken bestand, ist es heute umgekehrt, bekommt man in einen Server-Schrank weit über hundert, oder sogar hunderte von CPU-Kernen unter. Das ist ja der Witz am Cloud-Computing und Hosting.

Sowas braucht brutal viel Strom, erzeugt deshalb garstig viel Abwärme, das können ziemlich einige kiloWatt pro Schrank werden, die werden dann auch nicht mehr mit normalen Haushaltskabeln, sondern Starkstromkabeln angeschlossen, heizen ziemlich deftig und brauchen entsprechend Kühlung.

Und das bekommt man von unten nicht mehr gekühlt. Dann haben vielleicht die erste drei, vier Rechner noch kalte Luft, die darüber aber nicht mehr.

Es kommt nämlich noch ein anderer Effekt dazu. Früher hatte man Racks, und das war’s. Längst aber unterscheidet man zwischen Server- und Netzwerk-Racks. Nämlich inder Breite. Die Netzwerk-Racks sind deutlich breiter, weil man nicht nur die Geräte, sondern Unmengen von Kabeln einbauen muss, die da rein und raus müssen. Gerne mal 48 oder mehr Kabel pro Höheneinheit. Server dagegen haben das nicht, da reichen meist zwei, drei, vier Netzwerkkabel pro Server. Damit man Platz spart, sind die viel schmaler und haben seitlich zwischen den Servern und der Rackaußenwand fast keinen Platz mehr. Da würde nicht genug Kaltluft durchpassen und die oberen Server erreichen, wenn die aus dem Doppelboden von unten käme. Denn vorne und hinten ist da inzwischen auch nicht mehr viel Platz, zumal die unteren Server ja die gute Luft wegsaugen und die warme Luft rausblasen würden.

Deshalb ist es längst Standard, dass die Luft horizontal und nicht mehr vertikal durch das Rack geht. Und die Serverschränke keine Türen aus Glas oder geschlossenem Blech mehr haben, sondern aus gelochtem Blech.

Dazu ist es auch Baustandard, dass die Server selbst fetzig viele Lüfter eingebaut haben. Und zwar nicht so, wie man das als Laie vom Stuben-PC kennt, ein oder zwei plus CPU-Quirl, sondern zwei oder drei Reihen richtig heftiger Gebläse, die auch einen Höllenlärm machen. Man denkt als Laie da gerne, da muss was kaputt sein, wenn man so einen Serverraumserver auf einem normalen Schreibtisch einschaltet, weil das Ding so einen Höllenlärm macht, dass man sein Wort kaum noch versteht. (Eins, wohlgemerkt.)

Ich kann mich noch erinnern, dass ich einem Kunden mal Sun-Server geliefert habe (2 Höheneinheiten) und den völlig verblüfften Mitarbeitern dort vorgeführt habe, dass ich alte CDROMs auf den Server geworfen und die an der Frontseite kleben geblieben und nicht runtergefallen sind, weil die Lüfter in dem Ding nicht nur so laut, sondern auch so stark waren, dass vom Unterdruck an der Vorderseite die CDs einfach hängen blieben. (Lustig anzusehen, wie die dann alle gleichzeitig runterfallen, wenn man die Server remote ausschaltet.)

Es ist zwar physikalisch richtig, dass warme Luft nach oben steigt, aber das gilt in Rechenzentren nicht, denn da hat man keine normale Luftströmung, das würde zur Kühlung auch gar nicht reichen. Da wird mit so starken Pumpen der Klimaanlage und der Server die Luft mit so hohem Druck umgewälzt und durchgeblasen, dass es auf solche Dichteeffekte da wirklich nicht ankommt. Das war vielleicht in den achtziger und neunziger Jahren noch so, dass man da mit Wärmekonvektion kühlen konnte. Das ist schon lange nicht mehr so.

Und damit die Server alle noch an kalte Luft kommen, geht die Luft nicht mehr von unten nach oben, sondern von vorne nach hinten durch den Serverschrank. Politisch würde man das Chancengleichheit nennen, damit keiner diskriminiert wird.

Aber, ach.

Das führte zu einem Problem, weil der ordnungsliebende pedantische Admin die Server alle schön gleich eingebaut hat. Hat man nämlich so ein klassisches Rechenzentrum und die Racks alle schön wie die Soldaten beim Antreten in mehreren Reihen gleich aufgestellt, geht das höllisch schief. Weil nämlich dann jeder Server vorne die Abluft von hinten des Server-Reihe vor ihm ansaugt. Und bei mehreren Server-Reihen kommt dann hinten nur noch Heißluft an, die die CPU brät und die Notabschaltung auslöst.

Deshalb stellt man die Racks in Rechenzentren nicht alle gleich auf, sondern immer abwechselnd: Front-zu-Front und Rückseite-zu-Rückseite.

Dadurch entstehen dann sogenannte „Warmgänge“, nämlich immer die Gänge zwischen Rack-Reihen, bei denen von beiden Seiten die Rückseiten zu sehen sind, und deshalb von beiden Seiten die Warmluft ausgeblasen sind.

Und natürlich „Kaltgänge“, in denen man auf beiden Seiten die Vorderseiten der Server hat, die ansaugen.

Das ist übrigens auch der Grund, warum man auf den unzähligen Werbefotos für Rechenzentren immer links und rechts die Vorderseiten von Servern sieht. Die macht man immer in den Kaltgängen, weil die schön aufgeräumt aussehen. Die Warmgänge sind die hässlichen Rückseiten mit wenig blinke-LEDs und viel Kabelgestrüpp.

Natürlich gibt es auch Rechenzentren, die das aus dem Boden kühlen. Es ist aber unpraktikabel, weil man dazu im Prinzip in den Kaltgängen die ganze Reihe von Bodenplatten rausnehmen und da dann nicht mehr gehen könnte. Wenn die Server in den Racks die Kaltluft nicht mehr von unten, sondern von vorne bekommen und durch die gelochten Blechtüren ansaugen, statt innerhalb des Racks von unten, dann würde es ja nicht funktionieren, die Bodenplatten nur unter dem Rack wegzulassen, sondern müsste (auch) die in den Kaltgängen weg, den Doppelboden also offen lassen. Viel zu unfallgefährlich.

Es gibt mit der horizontalen Durchlüftung der Racks aber auch keinen triftigen Grund mehr, warum man die Lüftung durch den Doppelboden machen müsste. Der hat da keinen Vorteil mehr. Aber den Nachteil, dass es da oft staubig ist und man dadurch den Dreck durch die Gegend und in die Rechner bläst. Denn staubarm muss die Luft ja auch sein, damit die Rechner nicht zudrecken.

Deshalb ist es durchaus nicht unüblich und einfacher, die Klimatisierung nur noch von oben zu machen und so zu bauen, dass die Klimaanlage immer über den Warmgängen absaugt und frische, kalte Luft in die Kaltgänge einbläst, damit die Server sie frisch ansaugen können. Deshalb gibt es einige Rechenzentren (und deshalb habe ich mir ja diese Jacken gekauft), in denen die Kaltluft von der Decke kommt und für den Rücken ganz übel von oben runterfällt. Das ist nicht (mehr) so, dass in Rechenzentren die Kaltluft immer aus dem Boden kommt.

Und damit das besser läuft, werden die Racks sogar häufig mit irgendwelchen Verkleidungen oder Platten bis hoch zur Decke abgedichtet, damit sich die Warm- und Kaltgänge nicht verwirbeln können und die Server ihre eigene Warm-Abluft wieder ansaugen, sondern alles über die Klimaanlage gehen muss.

Ich kenne sogar ein recht modernes und sehr energiereffizientes Rechenzentrum, das deshalb gar keinen Doppelboden mehr hat. Alle Server stehen auf dem nackten Beton im Erdgeschoss, und das ganze Erdgeschoss wird von den Außenseiten – ich erklär’s gleich – mit gekühlter Frischluft befüllt, also die Kaltgänge mit Frischluft geflutet, ohne dass dazu irgendwas von der Decke käme. Alle Racks sind sorgfältig abgedichtet, damit die Warmluft nicht zurückströmen kann. Über den Warmgängen ist die Decke zum Obergeschoss einfach offen, der ganze Warmgang hat überhaupt keine Decke nach oben. Und das Obergeschoss, dass man nur auf wenigen Gängen überhaupt betreten kann, ist einfach komplett leer. Keine Wände, einfach gar nichts. Im gesamten Rechenzentrum gibt es keine einzige Lüftung oder Klimaanlage. Sie sitzen dann außen über beide Stockwerke an den Außenseiten des Rechenzentrums und blasen die Warmluft aus dem ersten OG durch riesige Drehkühler als Wärmetauscher mit der Außenluft wieder nach unten. Unten gehen sie dann durch Staubfilter wieder ins Erdgeschoss. Genial gebaut, weil man sich da dann ziemlich normal bewegen kann, man praktisch keine Zugluft spürt, und es keine Rolle spielt, wenn mal eine der äußeren Klimaanlagen ausfällt, weil jede Anlage alles kühlt, die anderen das dann ohne weiteres übernehmen. Außerdem haben sie überhaupt keine Kompressoren oder Kühlflüssigkeiten, einfach nur diese riesigen runden Aluwaben als Wärmetauscher, die sich drehen und von einem Elektromotor angetrieben werden. Das ist nicht nur äußerst robust und langlebig, kann auch nichts platzen oder auslaufen, so ein Elektromotor ist billig und kann innerhalb von 10 Minuten ausgetauscht werden. Gewöhnliche Klimatechnik wie man sie aus Einkaufszentren und sowas kennt.

Das stimmt also nicht uneingeschränkt, oder ich würde sagen, nicht mehr, dass die Doppelböden der Kaltbelüftung dienen. Das war mal so, ist aber eigentlich veraltet und passt nicht mehr zu heutigen Anforderungen. Heute macht man das mit Warm- und Kaltgängen, die von oben belüftet werden, und so ganz moderne, energieeffiziente Dinger wie das besagte haben gar keinen Doppelboden mehr. Weil sie ihn nicht brauchen.

Und wo kein Doppelboden mehr ist, hat man auch ein Brandproblem weniger.

Und es war auch eine meiner häufigen Fragen, wenn ich Rechenzentren überprüft habe, einfach mal irgendeine x-beliebige Bodenplatte aufzumachen den Kopf reinzustecken und mit der Taschenlampe mal rundum zu gucken. Das fällt jetzt unter die Vertraulichkeit, was ich da schon alles drin gefunden habe.

Nachtrag: Es hat auch nicht jedes Rechenzentrum einen Doppelboden. Das geht manchmal baulich einfach nicht, manchmal fehlt es an der Raumhöhe oder hat andere Gründe. Oder man braucht ihn nicht und spart sich die Kosten. Manche haben die Verkabelung lieber über Kabeltrassen oberhalb der Racks, zumal man das leichter erweitern kann.

Es muss auch nicht jedes Rechenzentrum zertifiziert sein, denn für sich selbst können Firmen das bauen, wie sie wollen.