Wasserbasierte Kühlung am Leibniz-Rechenzentrum

Wasser für die IT

Die Kühlung eines Rechenzentrums ist einer der größten Energiefresser des RZ-Betriebs. Neue Lösungen sollen dieser Tatsache so gut es geht entgegenwirken. Eine dieser – zugegeben nicht ganz neusten – Ansätze ist die wasserbasierte Kühlung. Völlig neu ist allerdings die technische Umsetzung von Megaware und Schäfer IT-Systems, die
für die Kühlung am Leibniz-Rechenzentrum gänzlich auf Luft verzichteten und auch Netzteile, Netzkomponenten und Switches mit Wasser kühlen – zu Gunsten einer deutlichen Steigerung der Energieeffizienz. Mit diesem System, CoolMUC-3, demonstrieren sie die technische Machbarkeit von komplett wassergekühlten IT-Systemen.

Megaware und Schäfer IT-Systems liefern komplett wassergekühlte IT-Systeme mit besonders hoher Energieffizienz für das moderne Rechenzentrum. (Bild: Schäfer Werke GmbH)

Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) ist das Hochschulrechenzentrum für die Ludwig-Maximilians-Universität (LMU), die Technische Universität München (TUM), die Bayerische Akademie der Wissenschaften sowie sonstige Wissenschaftseinrichtungen des Freistaates Bayern. Es bietet den weit über 100.000 Studierenden, Professorinnen und Professoren sowie Mitarbeiterinnen und Mitarbeitern IT-Dienstleistungen wie E-Mail, Internet, WLAN und VPN. Zusätzlich betreibt das LRZ Hochleistungsrechensysteme für jene Hochschulen sowie einen nationalen Höchstleistungsrechner, der zu den leistungsfähigsten Rechnern der Welt zählt und allen öffentlichen deutschen Forschungseinrichtungen zur Verfügung steht. Diese High-Performance-Computing-Systeme (HPC) bilden den Kern, um reelle Probleme zu simulieren. Dadurch werden Kosten für Laborexperimente vermieden und nicht realisierbare Experimente, wie im Bereich der Astrophysik, Flugzeugentwicklung oder des Katastrophenschutzes erst ermöglicht. Zu den Anwendungsbereichen gehören Chemie, Material-, Mechanik-, Ingenieurs-, Klima- und Umweltwissenschaften. Bei Letzteren werden beispielsweise Regenfälle simuliert, Überschwemmungen berechnet und damit aufgezeigt, welche Maßnahmen diese vermeiden können. Exemplarisch für Ingenieurswissenschaften sind simulierte Windkraft- und Windräderfarmen, deren Verteilung so berechnet werden kann, dass sie sich gegenseitig möglichst wenig beeinflussen.

Das LRZ setzt auf die 100-prozentige Wasserkühlung von Megaware und Schäfer IT-Systems für das Rechenzentrum, inklusive Komponenten wie Netzteile, Netzkomponenten und Switches. (Bild: Schäfer Werke GmbH)

Performance braucht Kühlung

Aufgrund der eingesetzten Hardwareplattformen und typischen Workloads in einem HPC-System ist eine effiziente und leistungsfähige Kühlung der IT-Komponenten von enormer Bedeutung. Standardisierte Architekturen für derartige Anforderungen kommen hier schnell an ihre technologischen Grenzen. Im besonderen Fall des LRZ wurde zudem eine zusätzliche und neue Rechenkapazität benötigt. Absicht war es, mit der Erneuerung auch ein System zu schaffen, das den Nutzern die Möglichkeit gibt, ihre Anwendungen für künftige Rechnerarchitekturen vorzubereiten. Mit dem Ziel Energie zu sparen, haben die Verantwortlichen des LRZ beschlossen, eine 100-prozentige Wasserkühlung einzusetzen. Der Verzicht auf Luftkühlung steigert die Energieeffizienz deutlich: Typische Leistungszahlen (Energy-Efficiency-Ratios) für Luftkühlung liegen unter fünf, für Warmwasserkühlung über 20. Da nur noch ein Kühlkreislauf ohne mechanische Kühlaggregate benötigt wird, werden Komplexität, Installations- und Betriebskosten der Infrastruktur deutlich reduziert. „Luftkühlung ist für unsere Rechner nicht die beste Lösung. Wir haben bisher schon warmwassergekühlte Systeme eingesetzt. Allerdings waren die besonders hinsichtlich ihrer Effizienz bei der Kühlung der Komponenten verbesserungsfähig, was natürlich auch dem Alter geschuldet war“, sagt Herbert Huber, Abteilungsleiter Hochleistungssysteme des LRZ, und spielt darauf an, dass das LRZ als Pionier bereits 2011 auf direkte Wasserkühlung seiner Systeme baute. Bei den eingesetzten Systemen wurden jedoch noch nicht alle Komponenten mit Wasser gekühlt, hauptsächlich waren das Netzteile, Netzkomponenten und Switches. Der entstandene, hohe Energieeintrag in die Umgebungsluft konnte nicht unter 15 Prozent gehalten werden. Huber: „Bei diesen großen Systemen mussten wir noch viele Kilowatt elektrische Leistung für die Luftkühlung aufbringen.“ Die Lösung lieferte die Firma Megaware Computer Vertrieb und Service mit ihrem Partner Schäfer IT-Systems. Zwar stammten schon die 2011 eingesetzten Systeme von Megaware, die Wasserkühlung des Unternehmens für High Performance Computing und IT-Lösungen ist inzwischen aber in der vierten Generation. Die Abwärme aller Komponenten wird mit Direktwasserkühlung abgeführt. Dafür wurden gemeinsam mit Schäfer IT-Systems, einem Hersteller von maßgeschneiderten Netzwerk-, Serverschrank- sowie Rechenzentrumslösungen, bestehende Lösungen weiterentwickelt und Komponenten beispielsweise mit Cold-Plates umgerüstet. Aktuell ist das System, das vollständig warmwassergekühlt arbeitet, laut Anbieter weltweit einmalig. Es ist thermisch isoliert und minimiert somit den Wärmeeintrag in die Umgebung auf rund drei Prozent Abwärme in den Raum. Den Rest erledigen Raumbefeuchtungs- respektive -entfeuchtungsanlagen. Zudem konnte das Temperaturniveau, bei dem die Wasserkühlung effizient arbeitet, angehoben werden. Damit wird das Heißwasser für Kühlkonzepte mit Zweitverwendungen, wie beispielsweise eine Gebäudeheizung, interessant. Auch beim LRZ wird das Kühlwasser für die Abwärmenachnutzung verwendet.

(Bild: Schäfer Werke GmbH)

Rack mit intelligentem Kühlungskonzept

Bei der jüngsten, europaweiten Ausschreibung 2017 war eine 100-prozentige Wasserkühlung aller Komponenten mit über 40 Grad Celsius warmem Wasser gefordert, um das Cluster ganzjährig ohne energieintensive mechanische Kälteerzeugung zu kühlen. Bei der Entwicklung hatten zwei Aspekte Priorität: die thermische Isolierung der Racks, damit weniger Abwärme in den Rechnerraum gelangt, und eine möglichst hohe Temperatur des Kühlwassers, um die Abwärme effizient, z.B. für Adsorptionskühlung, nachnutzen zu können. Insgesamt gingen drei Bewerbungen ein. „Das hat uns nicht überrascht. Nicht viele Unternehmen sind in der Lage, unsere technischen Anforderungen zu erfüllen. Megaware war der einzige Anbieter, der ein adäquates Kühlsystem anbieten konnte“, sagt Huber. „Im Anschluss haben wir gemeinsam einen Liefer- und Rahmenvertrag abgeschlossen und das HPC-System 2018 in Betrieb genommen.“ Mit dem Einsatz des Systems geht das LRZ in seiner Rolle als Pionier erneut einen weiteren Schritt voraus. Schließlich wird die Auswahl der Lieferanten für IT-Infrastrukturen eingeschränkt, die ein derartiges Kühlungskonzept mit passenden Systemen bedienen können. Durch seine Expertise konnte Schäfer IT-Systems diese Lücke bei der technischen Umsetzung der Kühlung für Megaware schließen. Das Unternehmen stimmte mit Megaware zunächst das Konzept und anschließend die entsprechenden Lösungen ab. Hohe Ansprüche stellte es beispielsweise an den Wasserkreislauf und dessen gleichbleibende Qualität: Das Kühlsystem besteht aus relativ kleinen Strukturen, durch die das Wasser fließen muss. Deshalb muss es möglichst frei von Partikeln sein. Durch die Berührung mit dem Kühlmittel ist auch das genutzte Material der Komponenten entscheidend. Das Ergebnis ist ein Rack, in dem sowohl Rohrleitungen für Wasser, ein Wärmetauscher samt Pumpengruppe als auch ein Druckausgleichsgefäß integriert sind. Dadurch kann die Wärme aus dem Schrank abgeführt werden, ohne dass es mit dem Wasserkreislauf des RZ in Berührung kommt. Ein geschlossener Kühlwasserkreislauf bzw. die Trennung der Kreisläufe in Serverschränken und Rechenzentrum ist ein notwendiger Schritt: Kreisläufe in Datacentern unterliegen weniger strengen Anforderungen an die Wasserqualität. Integriert ist ebenfalls ein Touchscreen, der mittels entsprechender Sensorik und Schnittstellen alle Temperaturen im Inneren und Äußeren anzeigt. Das ersetzt derzeit gängige App-basierte Cloud-Lösungen, die Seitens des LRZ aus Sicherheitsgründen keine Alternative waren. Das intelligente Rack bindet Werte in eine von Megaware programmierte und verwaltete Managementsoftware ein. Dadurch ist ein Zugriff durch Administratoren auch von anderenorts möglich. „Nach rund einem Jahr entspricht das HPC-System allen Erwartungen und Ausgangsanforderungen. Wir nutzen das System rege in Kollaboration mit Studenten, die wissenschaftliche Arbeiten anfertigen, um beispielsweise angewandte Forschung im Bereich Energieeffizienz zu betreiben. Vor allem aber stellen wir eine deutliche Energieeinsparung fest“, resümiert Huber.