d-on-d — Datacenter On Demand

Wer ein Rechenzentrum betreibt, kann ein Lied über den hohen Energiebedarf und die Energiekosten singen. Als wir anfangs 2010 die Produktion an der Eggbühlstrasse 28 aufnahmen war klar, dass die Energiezufuhr zum Gebäude gerade so für die Anfangsproduktion genügen würde. Dass früher oder später eine dickere Stromleitung fällig würde, vor allem auch, wenn weitere Mieter mit einem hohen Energiebedarf einzögen, war abzusehen. Der Elektriker hatte mir immer wieder erzählt, dass die Hauptleitung sehr warm wäre, was auf eine hohe Auslastung hinweist.
Vor zwei Wochen war es dann so weit, es wurde eine dickere Leitung zum Gebäude verlegt. Nun sind 600A zum Gebäude vorhanden. Das dürfte bis auf weiteres genügen. Der kleine Ausbau-Spass kostet gut CHF 100’000.–.

Das EWZ schliesst des neue Kabel an:

Weihnachten sind vorbei und das neue Jahr um 24 Tage angeknabbert. Ich habe endlich den ärgsten Arbeitsstau bewältigt und werde nun etwas mehr Zeit haben mich wieder vermehrt dem Blog zu widmen.

Traditionellerweise habe ich mir, oder besser gesagt dem d-on-d, Weihnachtsgeschenke gekauft, die ich noch gar noch nicht richtig ‘geniessen’ konnte.

Das eine Device ist eine Firewall von Palo Alto Networks PA-2050. Damit spielen werde ich ab nächster Woche und dann gerne über meine Erfahrungen mit dem Device berichten.
Meine Fortinet Infrastruktur habe mit einem FortiAnalyzer-400B und vier Access Points erweitert.

Palo Alto PA-2050 oben und FortiAnalyzer-400B unten:

Die Access-Points von Fortinet habe ich schon eine Weile im Einsatz und ich muss sagen, diese sind absolut cool. Das erste was auffällt ist, dass in der Firewall, in welcher der Access-Point registriert wird, für den Access-Point ein virtuelles Interface erzeugt wird. Dies kann dann mit Firewall-Regeln bedacht werden, wie bei anderen Firewall-Schnittstellen auch. Somit ist die Verwaltung der Access-Points voll integriert. Weil die Dinger so cool sind habe ich insgesamt 3x FortiAP-220B und einen FortiAP-222B integriert.

FortiGate mit zwei integrierten FortiAP, dargestellt als virtuelle Firewall-Interface’s:

Eine weitere, sehr hübsche Funktion der FortiAP’s ist, dass man sie zum scanen der Umgebung verwenden kann. Dann werden alle Access-Points aufgelistet, die sich in der Umgebung finden. Die gefundenen Access-Points kann man dann klassifizieren in ‘Accepted’ und ‘Rogue’. Ist ein Access Point als ‘Rogue’ klassifiziert, kann über rechte Maustaste ein Menu geöffnet und der Access-Point mit ‘Supress AP’ bedacht werden. Eine Verbindung zu diesem Access-Point ist dann nicht mehr möglich. Das funktioniert prima, meine Frau hat es natürlich nicht so lustig gefunden wie ich.

Screenshot Suppress AP:

Ich denke das Trio FortiGate, FortiAP und FortyAnalyzer ist echt stark. Die APs können sicherheitstechnisch fein gesteuert werden und der Analyzer kann dazu verwendet werden, Fummeleien durch unberechtigte aufzuzeichnen und zu alarmieren.

Man merkt, wenn im Blog keine Einträge erscheinen, dass im d-on-d wieder einmal Hektik herrscht und ‘viel zu viel läuft’.

In der Tat ist viel gelaufen und etwas ganz historisches hat sich ereignet! Ich habe meinen ersten Mitarbeiter eingestellt. Eigentlich war das ein ‘schleichender Prozess’ mit anfänglich 25% Arbeitsleistung, Ausbildung zum VMware-Trainer’ und seit dem 01.10.2011, zu 100% produktiv für die KYBERNETIKA AG, als Mitglied im Team d-on-d.
Mein neuer Mitarbeiter heisst Tom Lüssi. Wir haben eine gemeinsame Vergangenheit insofern, als dass wir beide die stürmische Zeit mit der Evernet AG erleben durften. Tom hat mir beim legendären 36-Stunden-Umzug des d-on-d geholfen und kennt die Materie und die Vision hinter dem Projekt aus dem effeff.

Das bedeutet nun, dass d-on-d nun nicht mehr ein 1-Mann-Projekt, sondern breiter abgestützt ist.

Für 2012 sind diesbezüglich weitere Tasks vorgesehen um eine solide Basis zu bilden. So viel kann ich schon verraten, ein weiterer Mitarbeiter und ich haben einander schon zugesagt und mit grosser Wahrscheinlichkeit werden wir nächstes Jahr unseren ersten Lehrling / Lehrtochter haben. Das sind dann auch Vorsätze, die ich im 2012 potenziell sehr gut erreichen kann. Das mit dem ‘Gewicht-Abnehmen im nächsten Jahr’ hat noch nie funktioniert.

Es finden vier VCE (VMware / Cisco / EMC) Bootcamps statt, zwei davon, am 28./29.11.2011, im d-on-d  selbst.

Agenda:

08:30 Registration / Welcome Coffee
09:00 Introduction
09:10 Cisco Unified Computing (UCS) update incl. live demo Intelligent Automation
10:10 Break
10:30 EMC VSI & Replication Manager
11:30 VCE, the integrated Infrastructure solution
12:15 Lunch
13:15-17:00 Cisco+EMC Hands-on Training on the Labs

Das Bootcamp kann ich allen, die moderne Technologie live erleben und damit arbeiten möchten, wärmstens empfehlen.

Die VCE-Bootcamp-Website findet man hier: ->Link

Die Bootcamps im d-on-d bieten den Vorteil, dass man die Installation des Equipments auch physisch vor Ort hat und somit einen Augenschein davon mitnehmen kann.

Nachdem mich Brady mit dem Schweizer Importeur, Schärer+Kunz, bekannt gemacht und ich die Labels von Brady positiv testen konnte, war es ein Reflex ein Sponsoring vorzuschlagen. Bin ich doch bestrebt die besten Firmen und Produkte, für Themen im Datacenter, für eine Unterstützung von d-on-d zu gewinnen.
Es freut mich, für den Bereich von Beschriftungen und  Signalisation, im d-on-d, die neuen Sponsoren Schärer+Kunz mit Brady bekannt zu geben.
Wie ich in der Praxis selbst feststellen durfte, ist das Thema Beschriftung im Datacenter ein wichtiges Thema, kein Wunder bei tausenden von Kabeln und Steckverbindungen. Qualitativ einwandfreie und gute Lösungen sind in diesem Gebiet ein nicht zu unterschätzendes Thema.

In einem früheren Bericht, über meine Erfahrungen, mit Dymo RHINO Labels  (Art# 18759) in meinem Rechenzentrum, bekam ich diverse Tipps was es noch als Alternativen, zur Kabelbeschriftung geben könnte, als die verwendeten Dymo RHINO Labels  (Art# 18759): http://d-on-d.info/2011/04/03/dymo-rhino-labelprinter-ouch-labels-fallen-teilweise-ab/

Dank einem Tipp wurde ich auf den Hersteller Brady aufmerksam. Ich bekam die Gelegenheit die Labels von Brady zu testen und muss sagen, dass sich diese nach etwas über drei Monaten nicht ein bisschen gelöst haben, im Gegensatz zu den Dymo RHINO Labels  (Art# 18759). Somit kann ich sagen: Brady hat den Test bestanden und eignet sich für den Einsatz in meinem Datacenter definitiv besser.

Anbei die Brady und Dymo RHINO Labels (Art# 18759)  im Vergleich nebeneinander:

Wie man sehen kann, das Brady Label ist perfekt im Heissgang, auch für Glasfaserkabel, das Dymo RHINO Label (Art# 18759) hat sich gelöst.

Dazu gibt es noch eine andere persönliche Erfahrung, mit Brady und Dymo, in punkto Kundenbetreuung, die ich machen konnte. Brady hat sich für das Problem sofort interessiert und mir den Zugang zu Testmustern und Ansprechpartnern verschafft. Nicht so bei Dymo. Nachdem ich einen Herrn von Dymo über Xing ausfindig gemacht und angeschrieben hatte, bekam ich von diesem folgende Antwort:

Sehr geehrter Herr Adler

Vielen Dank für Ihre Nachricht und Ihren interessanten Artikel mit der Erfahrung mit Dymo Geräten.

Ich persönlich verstehe Ihren Ärger aber kann Ihnen bestätigen, dass ich selbst als Anwender dieser Geräte diese Erfahrung noch nicht gemacht habe und grundsätzlich sehr zufrieden bin.

Aus diesem Grund habe Ihre Nachricht bereits an meinen Channelmanager Herrn S….. weitergeleitet damit sich der richtige Verantwortliche Mitarbeiter aus diesem Bereich sich Ihrer Reklamation annimmt.

Bis dahin stehe ich Ihnen für weitere Fragen gerne zu Ihrer Verfügung.

Danke & lg

Antwort von Hern S….. indes bekam ich bis heute leider nicht.
Einzig was sich bis dato verbessert hatte, Dymo hat mir die CHF 100.– aus einer damaligen Label-Printer Aktion, nach gut eineinhalb Jahren, überwiesen. Immerhin konnte dieser Punkt erledigt werden. Der Schaden an Arbeitszeit wegen den ungeeigneten Labels indes bleibt.

Heute war ein sehr erfreulicher Tag, trotz klebriger Sommerhitze. Ich habe eine handliche Palette, vollgepackt mit Boxen, bekommen. In diesen befindet sich eine EMC VNX5500, die nun in mein Arsenal aufgenommen wird.

Die Ausstattung umfasst:

- 20x 300GB SAS, 10k Disks
- 10x 2TB SATA, 7.2k Disks
- 8x 100G Flash Disks
- FCoE, 8G FC, 10G und 1G LAN-Anschlüsse

Weitere Infos über den Neuzugang werde ich gerne nach der Inbetriebnahme veröffentlichen.

Zur Abwechslung mal eine kleine Story für’s Wochenende, unter dem Motto, ‘Wie das Leben so spielt’.

Ich wollte heute, kurz vor Ladenschluss, noch Akkus in einem Ladengeschäft für Elektronikzubehör kaufen.
Ein Blick gen Himmel zeigte die Möglichkeit eines Regenschauers auf. Ich habe gedacht naja, lange bin ich ja nicht weg und so kam es wie es kommen musste.
Nach 200m fielen die ersten Regentropfen. Das waren richtig kleine, fette Wassertropfen, richtiger wäre der Ausdruck kleine Wasserbomben.
So drehte ich um, damit ich schnell wieder unter einem Dach zu stehen käme. Aber schon nach 50 Metern setzte ein unglaublicher Platzregen ein. So einer, wo nicht einmal mehr normale Regenschirme helfen.
Binnen weiteren 50 Metern war ich so nass, wie wenn ich in einen See gesprungen wäre. Am Ende stand ich also klatschnass und triefend im d-on-d. Alles klebte an meinem Körper und fühlte sich ecklig kühl an.
Nun war da das Problem: Ich hatte keine Ersatzkleider. Wirklich die perfekte Situation!
Hmm… wie bekomme ich nur die Kleider wieder trocken? Nach ein paar Wicki-Nasenreibern und einem Blick auf den Heissgang unseres Hot Aisle Containment war klar was Hilfe versprach!

Die Lösung um nasse Kleider zu trocknen, Heissgang (oder Warmgang) zweckentfremdet:

Besonders vorteilhaft ist, wenn die Kleider hinter HP DL380G5 gehängt werden, da diese Server massiv Wärme ausblasen. Das Hemd war nach fünf Minuten einwandfrei trocken und fühlte sich an, wie wenn es aus dem Tumbler gekommen wäre.

Fazit: Ich bin wirklich froh, mich damals im Projekt für eine Heissgang-Lösung entschieden zu haben. Die hat sich in den verschiedensten Situationen als perfekt erwiesen.

Nach der Ankündigung von vSphere 5 durch VMware, wurden uns Trainern auch die Details zu den Kursen mitgeteilt.

Die ersten Kurse gibt es ab:
- 25.08.2011, VMware vSphere 5: What’s New
- 12.09.2011, VMware vSphere 5: Install Configure Manage

Kurse für Produkte, wie Site Recovery Manager 5, vCloud Director 1.5, etc. wurden noch keine bekannt gegeben. Weder Daten, noch die zu erwartende Form.

Der Upgrade-Pfad zum VMware Certified Professional 5 (VCP5), ist vom Prinzip her gleich, wie es auch früher war. Diejenigen, welche einen gültigen VCP4 besitzen, können bis zum 29. Februar 2012, ohne einen vorgängigen Kursbesuch, direkt an die Prüfung gehen.  Nach diesem Datum muss der What’s New Kurs besucht werden.
Für alle die keinen gültigen VCP haben, die müssen einen anerkannten Kurs besuchen, d.h. für VCP5 den Install Configure Manage.

Anbei die Pfade als Grafik, alternativ kann auch das PDF heruntergeladen werden: VCP5_Data_Sheet

Fragen und Antworten zum VCP5 gibt es ebenfalls in einem PDF: VCP5_FAQs

Wer die Kurse bei einem Trainer vom Team d-on-d buchen möchte, kann dies über die Digicomp Academy tun: Link

Wir haben nun, nach ca. 7 Monaten, nachdem das Projekt gestartet wurde, endlich den Trailer, der als Film-Vorspann für unsere YouTube’s dient, bekommen. Nächstens werde ich Content in unseren Channel hochladen.

Die Klimatechniker haben die neue Pumpe nun verbaut. Alles ist diesbezüglich perfekt verlaufen. Die Notfallaggregate bleiben im Moment aber noch im Hause, damit reagiert werden kann, falls es wider erwarten Probleme geben sollte. In den nächsten Tagen wird die Pumpe der anderen Kältemaschine ebenfalls ausgetauscht, plus das Zusammenspiel der Kältemaschinen mit den APC InRowChillern getestet. Dafür müssen noch Messgeräte aufgefahren werden, um die Strömung in den Leitungen messen zu können.

Die nächsten Tage wird der ganze Vorfall noch weiter untersucht und durch Log-Analysen dokumentiert. Die Überwachungskameras und Monitoring-Systeme haben eine Menge an Daten generiert, die zur Auswertung des Vorfalls herangezogen werden können.

Am 07.07.2011 hatten wir einen Super-GAU, den man sich in keinem Datacenter wünscht. Wir hatten einen Totalausfall der redundanten Klimaanlage.

Vorgeschichte:
Seit dem 16.06.2011 hatten wir wiederholt Ausfälle eines unserer IndoorChiller. Das war weiter nicht dramatisch, da wir ja eine redundante Auslegung haben. Ärgerlich war einfach, dass die Servicetechniker das nicht in den Griff bekamen und schon sechs Mal vorbeischauen mussten. Mal dies gemacht, mal das versucht, auch die Elektronik getauscht, nichts hat geholfen. Dazu bekam ich auch jedes Mal gleich eine Rechnung für die ‘erbrachte Dienstleistung’. Ich bin ja wirklich geduldig, aber irgendwann musste ich sagen, dass es so nicht weitergehen kann. Also wurde der 07.07. abgemacht um das Problem definitiv zu fixen. Dazu käme DER Techniker vorbei, der diese Anlage in- und auswendig kenne.

Arbeiten bis zum GAU:
Drei Techniker kamen am frühen Nachmittag, wie abgemacht – perfekt – endlich besteht Hoffnung auf eine definitive Lösung.
Die NetApp Users Group hatte sich ebenfalls im d-on-d eingefunden und behandelte ihre Themen rund um NetApp Storage.

Am späteren Nachmittag bekam ich, auf einmal, diverse Warnmeldungen von unseren Überwachungssystemen, dass die Temperatur zu hoch sei. Als dann auch noch die Storage Systeme anfingen Alarme abzusetzen, sah man mich sehr schnell im Serverraum verschwinden. In diesem herrschte ziemliche Hektik und eine enorme Hitze. Alle Fenster waren geöffnen, was relativ wenig Entspannung brachte, da in einem HD-Datacenter sehr hohe Energiedichten vorhanden sind. Somit musste ich wohl oder übel beginnen Systeme, sehr schnell, ausser Betrieb zu setzen. Wohlgemerkt waren das Systeme, auf denen, zu der Zeit, weit über 150 Kunden arbeiteten, plus ein vielgelesenes Blog, wie virtualization.info, welches bei uns gehostet wird. Die Möglichkeit Kunden zu informieren gab es zu dem Zeitpunkt nicht, schnelles Handeln war angesagt. Ein anderer Handlungsstrang war unmöglich, da die Techniker es nicht schnell genug schafften die Klima-Aggregate wieder in Betrieb zu setzen.

Einzelne Systeme begannen schon sich selbst abzuschalten. Unter anderem auch unser NetApp Metro-Cluster. Das war für die anwesende NetApp Users Group natürlich ein grosser Spass. Zu sehen, wie das Servicepersonal hektisch hin und her rannte und die NetApp Systeme bis zu letzt ihren Dienst wie geplant durchführten. Das heisst: Zuerst Warnungen und Alarme absetzen, wenn niemand reagiert den Self-Shutdown des Systems zu vollziehen. Funktioniert hat das einwandfrei.

Was war geschehen?
Die Kältemaschine, welche seit drei Wochen mehrfach Probleme machte, war abgeschaltet, wie vorgesehen, damit die Service-Arbeiten durchgeführt werden konnten. Ein Techniker hat, aus welchen Gründen auch immer, die bisher ohne Probleme und einzig noch laufende Kältemaschine abgeschaltet. Als er diese wieder anschalten wollte, ist die Pumpe für die Wasserzufuhr zu den APC InRow-Chillern kapputt gegangen. Das Wasser sei aus dieser nur so herausgeschossen. Damit fiel die letzte Kältemaschine aus und es fand keine Kühlung mehr statt.

Meine Meinung dazu?:
Wie kann man nur bei einem doppelt ausgelegten System, in einem produktiven Datacenter, die einzig laufende Kältemaschine abschalten, wenn das andere System nicht einsatzbereit ist?
Wer von Geburt an keinen ‘Redundanz-Instinkt / Reflex’ mitbringt, hat im Datacenter-Umfeld wahrlich ein massives Handicap! Das kann man sicher durch Ausbildung weitestgehend egalisieren. In dieser lernt man doch sehr früh, dass man bei einem 2-Node-Cluster, den verbliebenen Node nicht herunterfährt – ausser man will den Totalausfall des Systems provozieren!?!

Die Suche nach Erklärungen – Ausreden – Versprechungen:
Nachdem ich mit dem Techniker gesprochen hatte und gehört habe, was vorgefallen war, habe ich ihm meine Meinung zu seiner Arbeitsweise klipp und klar mitgeteilt. Er hat sich natürlich mit Händen und Füssen gewehrt. Das sei alles ein blöder Zufall, shit happens, so eine Pumpe gehe nicht einfach kapputt, das müsse weitergehende Ursachen haben. Eventuell seien die APC InRow-Chiller schuld. Vielleicht hätten sie nur Zweiweg- statt Dreiweg-Ventile. Oder die Ventile sind falsch eingebaut. Dann müsse die Pumpe gegen Widerstand arbeiten, was zum Ausfall der Pumpe führen könne.
Er werde morgen extra zum Lieferanten der Firma fahren und eine Ersatzpumpe besorgen.
Der Chef der Klima-Division sprach mir auf die Combox und entschuldigte sich für den Vorfall. Er werde mich Morgen nochmals kontaktieren.

Konfrontation:
APC wurde von mir natürlich mit der Aussage des Technikers gleich konfrontiert. Zuerst hatte ich Lindo Grossert, von APC, angerufen und ihm die Vermutung des Technikers mitgeteilt.  Wer Lindo kennt weiss was jetzt kommt: Verbinde mich mit dem Techniker! Dem wurde dann auch sogleich der Marsch geblasen, einfach solche Aussagen, wie Zweiwegventile, etc. in die Welt zu setzen.
Danach hat Lindo alle Hebel in Bewegung gesetzt um die Installation überprüfen zu lassen. Er hat das ganze intern eskaliert und APC gab mir Rückmeldung, dass sie mich am Morgen des kommenden Tages kontaktieren würden. Sie gaben mir noch die Notfallnummer durch, falls ich sie früher benötigen würde.

Der Tag danach:
APC hat sich sofort gemeldet und ist mit mir die Installation durchgegangen. D.h. die besagten Ventile wurden überprüft. Fazit: Alles korrekt. Ein APC Mitarbeiter kam noch vor Ort um zu schauen, was man noch machen könnte und wie man die Redundanz wiederherstellen könnte.
Der ganze Tag war eigentlich für die Vorbereitung zum V-Day und zum Schreiben von Offerten geplant. Nichts davon. Ich bekam natürlich, zu Recht, eine ganze Menge Kundenreklamationen rein. Diese, mit meinen Antworten / Entschuldigungen, habe ich immer gleich an den Chef des Verursachers geleitet. Spätetsens anhand von diesen Reklamationen und der Menge von betroffenen Kunden musste klar sein was für ein GAU das war. Leider musste ich dem Verursacher nachrennen. Was ist mit der Pumpe, wann kommt sie, ah sie wird doch nicht geholt, erst Mitte nächster Woche verfügbar, Versprechen von Rückrufen - niemand rief zurück, immer ich musste hinterherrennen, etc., etc., wirklich sehr ärgerlich.
Ich befand mich in der Situation, dass mein Datacenter nun auf der Kältemaschine lief, welche bisher immer so alle 2-3 Tage in die Knie gegangen war. Von den Klimaleuten kam keiner auf die Idee ein Ersatzaggregat zu liefern, damit eine Notfall-Redundanz existierte, sogar deswegen musste ich intervenieren.
Immerhin die Pumpe soll am Montag kommen und dann auch gleich verbaut werden.

Fazit:
1.
Ausreden, wie: Ich war es nicht, die Pumpe war’s – öh eigentlich war es die auch nicht, das müsste eher ein System, das nicht zu uns gehört, sein, sind nicht stimmig.
Es gibt nur eine Frage: Wer hat das noch einzig laufende System ausgeschaltet? Die Antwort dazu benennt den wirklich Schuldigen.

2.
Wenn 1. nicht begriffen: Leute im Datacenter-Umfeld, sollten, wenn sie den Redundanz-Instinkt nicht schon in die Wiege gelegt bekamen, diesbezüglich eine Ausbildung geniessen, damit die Knospe der Erkenntnis gekitzelt wird und ein bisschen dieses Redundanz-Reflexes aufblüht. Ansonsten kann ich nur raten diese für Kälte-Anlagen in Supermärkten einzusetzen. Dann gehen höchstens, nach etwas mehr Vorlauf wie im HD-Datacenter, ein paar Tiefkühlprodukte, wie Fischstäbchen und Pizzen drauf und das Gemüse wird schlapp. Der gewiefte Filialleiter kann sowas dann auch gleich als PR verwerten und den Kunden die Produkte kostenlos abgeben, bevor sie verdorben sind - er wird als origineller Manager von den Leuten gefeiert. Als Datacenter-Betreiber kann man solche Situationen leider nicht originell verwerten, man ist immer der Verlierer.

3.
Wenn man etwas ‘verbrochen’ hat, sollte man sich auch proaktiv um die Sache kümmern und nicht den Kunden rumrennen und im Dunkeln sitzen lassen. Dazu gehört auch die Anlage soweit wiederherzustellen, damit man wenigstens einigermassen wieder in Richtung Redundanz kommt.

4.
Kann sich jeder selber denken.

d-on-d mit Notfall-Redundanz (80% der Systeme ausgeschaltet):

Bald wird unser YouTube Channel mit Inhalten gefüllt. Im Zuge des Projektes habe ich einen Trailer als Intro produzieren und das dabei entstandene Bildmaterial in verschiedene Formen bringen lassen.

Das ist somit das erste Resultat aus dem Projekt:

In der aktuellen Netzwoche, 11/2011 ist ein Artikel über das Projekt d-on-d erschienen.

Anbei der Link zu dem entsprechenden PDF (mit freundlicher Genehmigung der Netzwoche):

Von Serverschränken im Büro zum eigenen Rechnzentrum: Ein Pionier auf Erfolgskurs

Starwind Software, eine altbekannte iSCSI-SW-Schmiede, hat einen Wettbewerb lanciert, den:

Server Room Beauty Contest

Nachdem mich Michel Lüscher von Server Talk darauf hingewiesen hat, habe ich nun das d-on-d gepostet.

Eigene Server-Räume einreichen, oder die Stimme für den hübschesten, kann man hier abgeben: http://www.starwindsoftware.com/server-room-beauty-contest