Rechenzentren sehen oft wie unscheinbare Bürogebäude aus, müssen aber die Sicherheit eines Panzerschranks mit der Autarkie einer Polarstation und der Erreichbarkeit einer Feuerwehrzentrale verbinden. Die Kunden wollen ihre Daten geschützt wissen und zugleich jederzeit vollen Zugriff haben, selbst wenn ein Sturm am Standort der Server die Stromversorgung lahmgelegt hat. Dies beeinflusst natürlich auch die Anforderungen an die Elektroinstallation. Bewährte Konzepte selbst aus anspruchsvollen Industrieanwendungen sind nicht ohne Weiteres übertragbar. Dies beginnt schon bei so gängigen Standardprodukte wie RCDs (Residual Current Device – Fehlerstrom-Schutzeinrichtung). Dieser bewährte Schutz für Mensch und Maschine kann in Rechenzentren scheinbar ohne jeden äußeren Anlass ganze Serverracks lahmlegen. Grund hierfür sind die Netzfilter in Schaltnetzteilen und weiteren IT-Geräten, genauer gesagt, die dort häufig genutzten Y-Kondensatoren. Über diese können betriebsbedingt geringe Ableitströme in Größenordnungen von einigen Milliampere fließen. Da in der IT-Technik derartige Geräte in großer Zahl verbaut sind, können sich die Ströme leicht zu den 15-18mA summieren, bei denen der RCD bereits auslösen kann. Nachdem der Personenschutz gemäß DIN VDE 0100-410 natürlich auch in Rechenzentren gegeben sein muss, wird eine Alternative benötigt. Dazu später mehr; zunächst ein Blick auf die normativen Vorgaben.
Normen für das Rechenzentrum
Speziell mit der Messtechnik zur Befähigung zur Energieeffizienz von Rechenzentren befasst sich die harmonisierte DIN EN50600-2-2:2019. In ihr werden drei Granularitätsniveaus definiert. Diese beinhalten die Messpunkte, an denen der Stromverbrauch der elektrischen Einrichtungen zu erfassen ist. Ein Energiemanagement bei Rechenzentren beschränkt sich dabei nicht allein auf Effizienz, sondern dient der Überwachung von Energieflüssen. Daraus resultieren folgende Anforderungen an die Granularitätsniveaus:
Granularitätsniveau 1 beschreibt den Einsatz von Messgeräten an Primär- und Sekundärversorgungen (Trafos, Generatoren, Quellen). Mit entsprechender Messtechnik lassen sich hier auch die Spannungsqualität des EVU kontrollieren und Schwachstellen, zum Beispiel während des Netzersatzanlagenbetriebs, ausmachen.
Granularitätsniveau 2 beschreibt den Einsatz von Messgeräten an Zwischenpunkten wie Primärverteilungseinrichtungen und endgültigen Sekundärverteilungseinrichtungen (NSHV; USV; UV; Verbraucher, die direkt an die Verteilungseinrichtungen angeschlossen sind). An diesen Stellen wird die Gesamtenergie auf die unterschiedlichen Gewerke verteilt. Dies sind Verbraucher wie Klimatechnik, USV-Anlagen, AB-Systemverteiler für die IT, Beleuchtung usw. Auf Basis dieser Messungen lassen sich Kennzahlen wie der PUE-Wert (Power Usage Effectiveness) und DCiE (Datacenter Infrastructure Efficiency) bestimmen. An dieser Stelle müssen auch Neutralleitermessungen durchgeführt werden. Durch viele einphasige Lasten mit dritten Oberschwingungsanteilen kann der Neutralleiter im Extremfall überhitzen und einen Totalausfall verursachen. Trotz symmetrischer Belastung der Phasen addieren sich dritte Oberschwingungen (z.B. 150Hz) im Neutralleiter.
Granularitätsniveau 3 beschreibt den Einsatz von Messgeräten an den Steckdosen und Systemen zur Regelung der Umgebungsbedingungen (Klimageräte, Netzwerktechnik, IT). Hier werden auch die PDUs (Power Distribution Units) der einzelnen Racks erfasst. Da das IT-Equipment ständig ersetzt und erweitert wird, kann die Leistung pro Rack stark variieren. Hier müssen die Stromstärken überwacht werden, um einzelne Stromkreise nicht zu überlasten. Mittels flächendeckenden Messungen können so einzelne Racks verrechnet und Kunden in Form von Kostenstellen zugeordnet werden. Ferner können an dieser Stelle oberschwingungsbehaftete Netzteile identifiziert werden, die in Summe den Neutralleiter gefährden.
Energie für die Hartl Group
Die Hartl Group ist ein führender regionaler IT-Dienstleister in Deutschland. Full Managed Service für Cloud-Lösungen und SAP-Hosting gehören genauso zum Leistungsspektrum wie das Vermieten von Servern. „Viele unserer Kunden kommen aus den Branchen Finanzwesen, Automotive, Versicherungen und Pharma; es sind aber auch kleinere Mittelständler dabei“, beschreibt Projektleiter Bernd Buchbauer den Kundenkreis. Im Jahr 2015 nahm das Unternehmen einen Neubau mit 74 Schränken im niederbayerischen Hofkirchen in Betrieb. Die gesamte Ausstattung von der Stromversorgung bis zur Daten- und Glasfaserverkabelung hat die Firma Vintin aus dem Raum Schweinfurt übernommen. Der Spezialist unterstützt Unternehmen, Organisationen und öffentlichen Einrichtungen bei der digitalen Transformation. Vintin beauftragte die Ingenieurgesellschaft Ideas Christian Müller mit der Projektierung der Stromversorgung. Ideas ist spezialisiert auf Ingenieursdienstleistungen im Bereich Energieanlagen und -systeme. Christian Müller hat ein Konzept mit einem zentralen Trafo und je zwei NEA- und USV-Anlagen entwickelt (Netzersatzanlagen und Unterbrechungsfreie Stromversorgungen). Die Stromversorgung umfasst das eigentliche Rechenzentrum und die Büroräume sowie ein Backup-Rechenzentrum, das in Containern neben dem Gebäude untergebracht ist. Damit befindet es sich in einem separaten Brandabschnitt. Die Anschlussleistung beträgt 400kW zuzüglich 40kW für das Backup.
Stromversorgung gibt es nicht von der Stange
Christian Müller hat die Anlage von der Einspeisung bis zu den PDUs in enger Zusammenarbeit mit der Hartl Group entwickelt. Der erste Punkt war die Redundanz bei der Einspeisung: ein oder zwei Trafos? Da ein Rechenzentrum ohnehin fünf Tage lang autark funktionieren muss, entschied man sich für einen Trafo in Kombination mit dem Dienstleistungsvertrag Trafotechnik24. Bei einem Ausfall garantiert der Anbieter Bayernwerk innerhalb von 24 Stunden einen Ersatztrafo zu liefern. Mit den beiden NEA und USV ist der Betrieb solange gleich doppelt gesichert. Müller: „Es gibt acht komplette Szenarien, die wir berücksichtigt haben, etwa was passiert, wenn die Trafostation oder wenn eine NEA brennt. Für diesen Fall haben wir Netzkupplungen, so dass wir das Rechenzentrum weiter im Normalbetrieb fahren können. Der Trafowechsel kann dann mit bestromter Hauptsammelschiene stattfinden. Außerdem können wir beide Anlagen netzparallel betreiben, da sie synchronisierfähig sind.“ Auch die restliche Infrastruktur ist darauf abgestimmt. So benötigt die Klimatechnik so wenig Strom, dass sie bei Bedarf über USV betrieben werden kann. Andere Teile der Gebäudetechnik verfügen zumindest über eine SV (sichere Versorgung). Auch eine PV-Anlage ist vorhanden, deren Energie das Gebäude überwiegend selbst verbraucht. Erweiterungen, gegebenenfalls sogar eine weitere Trafostation, sind ebenfalls vorgesehen. Die Anlage ist somit ganz auf die individuellen Anforderungen der Hartl Group abgestimmt, oder wie Christian Müller es formuliert: „Stromversorgung für ein Rechenzentrum gibt es nicht von der Stange.“
Die richtige Messtechnik
Die gesamte Installation ist als TN-S-System mit zentralem Erdungspunkt ausgeführt. Dies ist für die EMV-Eigenschaften und das frühzeitige Identifizieren von beginnenden Isolationsfehlern entscheidend. Bei Anlagen mit fehlerhaften Verbindungen zwischen Neutral- und Schutzleiter vagabundieren Rückleiterströme über das Erdungssystem. Ein besonders ungünstiger Fall ist beispielsweise ein weit von der Trafostation entfernter Verbraucher in einem gut geerdeten Metallcontainer. Der Großteil des Stroms wird über das Erdungssystem und über Wasserleitungen, Lüftungssysteme, Armierungen usw. abfließen, nicht über den Neutralleiter. Durch die vagabundierenden Ströme mit verschiedenen Frequenzen und Gleichstromanteilen kann es zu Korrosion bis hin zum Lochfraß an Wasserleitungen kommen. Die Messtechnik stammt von Janitza Electronics. Ansprechpartner dort war Gerald Fritzen, der auf Rechenzentren spezialisiert ist und schon viele Projekte begleitet hat. „Wir haben ein Messkonzept über alle Granularitätsstufen, d.h. von der Einspeisung bis zum Endstromkreis aufgebaut“, umreißt er kurz das Projekt. „Besonders wichtig dabei war, dass wir in Anlagenteilen, in denen nichtlineare Ströme auftreten können, neben Fehlerströmen auch den Neutralleiter überwachen.“ Dies entspricht auch der Bitcom-Forderung nach einer ständigen Überwachung eines sauberen TN-S-Systems mit Aufschaltung auf eine durchgängig besetzte Leitzentrale. Hierfür ist bei der Hartl Group das Alarmmanagement in die ohnehin vorhandene IT-Rufbereitschaft eingebunden.
Allzweckwaffe Differenzstrommessung
Wie bereits erwähnt, ist Hochverfügbarkeit im Rechenzentrum Pflicht. Aber auch eine noch so gute, redundante Stromversorgung kann nicht verhindern, dass eine Sicherung auslöst. Deshalb müssen sich anbahnende Isolationsfehler und zu hohe Phasenströme erkannt werden, bevor ein FI-Schalter oder Leitungsschutzschalter anspricht. Davor schützt eine RCM-Messung (Residual Current Monitor / Differenzstrommessung) und Stromüberwachung über alle Granularitätsstufen. Diese erhöht nicht nur die Betriebssicherheit signifikant, sie macht auch die vierjährige Isolationsmessung der ortsfesten elektrischen Anlagen im Rahmen der DGUV V3 überflüssig. Abgesehen von den enormen Kosten ist diese in einem Rechenzentrum organisatorisch kaum möglich. Die Messung muss jedoch lückenlos sein. Christian Müller: „Für eine vollständige Überwachung sind Messungen nötig: drei Außenleiter, N-Leiter, Differenzstrom. Fehlt einer, kann man die Messung nicht sauber bewerten. Deswegen setzen wir das UMG 96RM-E ein.“ Auch bei der Wartung macht er keine Kompromisse: „Die Messung muss reproduzierbar sein. Deshalb haben wir Wandler-Prüfklemmen installiert. Bei der Wartung können wir so eine unterbrechungsfreie Vergleichsmessung mit einem mobilen UMG durchführen.“ Die Messungen erfolgen bis in die Zuleitungen zu den Racks. Ursprünglich waren dort intelligente PDUs vorgesehen, was sich jedoch nicht bewährt hatte. Bernd Buchbauer: „Eine einfache PDU geht praktisch nicht kaputt, wenn dann eher die Messtechnik. Außerdem stehen die Racks im Sicherheitsbereich. Da kann ich nicht ohne Betriebsausfall arbeiten. Die Überwachung zusammengefasst in einem Gerät ist sehr viel einfacher und bietet zudem ein besseres Preis/Leistungsverhältnis gegenüber vielen Einzelgeräten. Außerdem kann ich durch die Messung bis zur Rackversorgung Kostenstellen für vermietete Server generieren.“ Neben der RCM-Überwachung übernimmt die Messtechnik noch weitere Aufgaben, beispielsweise die Steuerung der Notstromversorgung.
Sichere Steuerung direkt aus dem Messgerät
Wie beschrieben verfügt das Rechenzentrum über je zwei unabhängige NEAs und USV-Anlagen. Bei Netzausfall übernimmt die USV die Versorgung und der Generator läuft hoch. Nach ca. 15 Sekunden hat er 1.500upm erreicht und die Anlage schaltet zu. Der Kraftstoffvorrat reicht für fünf Tage. Jede NEA für sich ist leistungsfähig genug, um alle wesentlichen Anlagenteile zu versorgen. Es wäre fatal, wenn eine NEA ans Netz geht, obwohl die reguläre Versorgung noch funktioniert. Deshalb hat Christian Müller eine Umschaltautomatik vorgesehen, wie sie auch in der Hochspannungstechnik zur Überwachung eines Leistungsschalters üblich ist. Für eine fehlerfreie Alarmmeldung nutzt er drei UMG 96RM-E, die über je zwei programmierbare digitale Ausgänge verfügen. Deren Zustände werden über ein 2-bit Verfahren überwacht und verhindern so Fehlauslösungen, z.B. durch Leitungsunterbrechungen. Christian Müller: „Das ist eine echte Schutzfunktion. Ich kann an den UMGs sogar eine Verzögerung einstellen. Damit kann ich einen Unterspannungsschutz ähnlich dem ANSI-Standard realisieren.“ Solange das Gerät online ist, kann es bei einer Störung sogar eine Alarmmeldung mit aktuellen Messwerten per Mail oder SNMP absetzen. Dann hat der Servicetechniker bereits einen ersten Status. Alle drei Messgeräte, die für die Umschaltung sorgen, sind über Kreuz USV-versorgt, d. h. das Messgerät für das A-Netz von USV B. Bei den UMGs sind Mess- und Hilfsspannung selbstverständlich getrennt. Damit ist die Alarmierung bei einem Spannungsausfall sichergestellt. Diese Verfahren aus der Hochspannungstechnik erleichtern einen eventuell nötigen Service, denn nicht jeder Elektriker hat Modbus-Kenntnisse oder entsprechende Spezialgeräte zur Hand. So kann er den Status der Ein- und Ausgänge ganz einfach mit einem Vielfachmessgerät prüfen.
„Für Alarmmeldungen lassen sich die Geräte so programmieren, dass bei einer Grenzwertüberschreitung die Hintergrundbeleuchtung des Displays blinkt und somit sofort ersichtlich ist, welcher Abgang gestört ist“, erläutert Gerald Fritzen. Bernd Buchbauer weiß dieses Feature zu schätzen: „Das ist für unsere Rufbereitschaft ideal, die einen 24/7-Betrieb aufrecht erhalten muss. Wir sind IT-Spezialisten, keine Elektrotechniker, aber mit so einer Meldung können auch wir gut arbeiten.“
Schlüssiges Gesamtkonzept
Die Messtechnik überwacht die gesamte Anlage. Christian Müller hat für jeden Bereich eine individuelle Lösung entwickelt. Neben den bereits beschriebenen Maßnahmen gehört dazu auch eine RCM-Überwachung der USV-Anlagen mit einem UMG 20CM. Müller: „Da ein USV-Stromkreis aus dem Gebäude führt, haben wir großen Wert auf Überwachung gelegt. So erfahren wir rechtzeitig, wenn sich ein Isolationsfehler in diesem sensiblen Bereich anbahnt.“ Die grundlegenden Sicherheitsmaßnahmen waren natürlich von Anfang an vorhanden, aber das Konzept entwickelt sich noch weiter. Die Geräte bieten alle nötigen Schnittstellen, vom Webserver bis zum SNMP. Zur Überwachung und Dokumentation nutzt die Hartl Group auch die internen Speicher der Messgeräte, die ausreichend Kapazität für einen Zeitraum von vier Jahren bieten. Bernd Buchbauer: „Über SNMP kann ich nicht beliebig oft Messwerte abfragen und verarbeiten, wenn ich die CPU nicht überfrachten will. Aber bei einem 60 Sekunden-Takt bekomme ich nur Zufallstreffer. Das Gerät speichert jedoch kontinuierlich Max-, Min- und Mittelwert. Damit bekomme ich ohne großen Aufwand ein genaues Bild.“ Auch weitere Optionen werden getestet. Die Software GridVis von Janitza bietet Möglichkeiten, wie Reporting, Alarmmanagement oder Datenerfassung und Visualisierung. So lassen sich Schieflasten erkennen, PUE- und EUE-Kennzahlen ermitteln oder der Autarkiegrad der elektrischen Anlagen berechnen, d.h. wie lange der Treibstoffvorrat reicht. Das Software-Modell von Janitza macht den Einstieg leicht. Man kann mit einer Planerlizenz alle Funktionen ohne Ausbaustufen testen und dem Kunden anbieten, ohne auf Verdacht in Lizenzen zu investieren. So kann er ohne Kostenrisiko sein Messkonzept ständig weiterentwickeln. Die Hartl Group profitiert von der aktiven Mitarbeit bei der Verbesserung der Infrastruktur und kann auf ein System vertrauen, das aufgrund seiner Flexibilität höchste Investitionssicherheit bietet.
www.janitza.de
