Es gibt Momente im Leben eines Sysadmins, in denen man kurz innehalten und sich fragen sollte, ob alles noch so läuft wie geplant. Einer dieser Momente war, als mir der Typ an der Domino’s Theke eine Goldcard in die Hand drückte.
Nachtschichten und Pizza
Wer regelmäßig Nachtschichten im Serverraum schiebt, kennt das Dilemma. Es ist 23 Uhr, der Storage-Umbau läuft, die Migration zieht sich und der letzte vernünftige Bissen war irgendwann mittags. Döner hat zu, der Kühlschrank im Büro gibt maximal eine traurige Käsescheibe her. Aber Domino’s liefert. Immer. Egal ob Mitternacht oder drei Uhr morgens.
Irgendwann kennen die einen. Erst am Telefon („Ach, Sie schon wieder, das Übliche?“), dann an der Theke. Man wird Stammkunde, nicht weil man Domino’s so wahnsinnig toll findet, sondern weil die halt offen haben wenn sonst niemand mehr offen hat. Pragmatismus schlägt Kulinarik, vor allem um zwei Uhr nachts mit einer Hand am Terminal.
Die Goldcard
Jedenfalls drückte mir eines Abends der Filialleiter kommentarlos eine goldene Plastikkarte in die Hand. Domino’s Goldcard. Heißt im Klartext: Ab sofort gibt es auf jede Bestellung Rabatt. Weil man so oft da war. Weil man so viel bestellt hat. Weil man offenbar zu den besten Kunden der Filiale gehört.
Da steht man dann mit seiner Goldcard und fragt sich: Ist das jetzt eine Auszeichnung oder eher ein Hilferuf? Wahrscheinlich beides. Aber immerhin, die Server liefen am nächsten Morgen und die Pizza war warm. Prioritäten.
Falls du auch regelmäßig dein Rechenzentrum mit Pizza am Laufen hälst und Fragen hast, kannst du mich gerne fragen. Zur Pizza kann ich leider nicht mehr viel sagen, die Filiale hat inzwischen zugemacht. Wahrscheinlich nachdem ich weggezogen bin.
Das Telekom SmartHome System hat seit gestern am Morgen Probleme. Die automatischen Regeln tun was sie sollen und lokal kann man sich ebenfalls noch mit der Box verbinden und fast wie gewohnt steuern. Online ist aber kein Stich zu machen. Ebenfalls die Anbindung mit anderen Onlineservices ist damit tot.
Ausfällt und Probleme kann es immer mal geben. Vor allem dieses Qivicon / Telekom „Ding“ ist mäßig stabil, tat aber in den letzten Monaten recht brauchbar seinen Dienst. Ein Ausfall von nun knapp 24Stunden ist dennoch echt heftig. Ich kann mir nicht viele Dinge vorstellen bei denen es zu so einem langen Ausfallen kommen kann, vor allem das die Herren so ja keinen besonderen Peak haben dürften. Hier hat wohl jemand echt massiv verkackt, sofern nicht gerade jemand die Jungs mit einem DDoS „warm“ hält. Das hätte man sicher schon über andere Wege erfahren.
Ob da wohl jemand die Datenbank kaputt gemacht hat? Vielleicht ist hier ja was out of sync, das wieder zusammen zu bekommen kann schon mal echt lange dauern. Fast alles andere ist: An der falschen Stelle gespart oder halt epic fail.
Samstag am Morgen hat es angefangen, na da werden wohl jetzt ein paar Bereitschaftsadmins und Devs um ihr Wochenende gebracht. Na dann….
Das Projekt FragDenStaat kennt ja inzwischen fast jeder und die meisten werden es schon mal genutzt haben. Etwas übersehen habe ich Topf Secret. Kommt aus dem gleichen Projekt, dreht sich dabei aber speziell um das Thema Lebensmittelhygiene.
Ich habe ein paar Anfragen gestellt, bin mir nur noch nicht ganz Sicher ob ich es wirklich wissen möchte. Ein Kollege hat mir mal gesagt: „Wer viel fragt; bekommt viele Antworten!“ :-/ Was meint ihr dazu?
Mitten im Einsatz ist mir meine Schlagbohrmaschine von Bosch „explodiert“ 🙁 Zum Kauf habe ich direkt für die erweiterte Garantie auf drei Jahre gesorgt daher war mein Ärger überschaubar.
Mitten im Bohren eines einfachen Loches hat es erst hinten in der Maschine geknallt, dann geblitzt und im Anschluss rauchte es. Über die Hotline habe ich einen Abholauftrag erstellt um das Gerät einfach auf der Arbeit abholen zu lassen. Dieses erledigte sich am 16.01.2019 fast von alleine. Heute am 21.01.2019 habe ich das Teil schon wieder zurück. Im Reparatur-Lieferschein stehen 1,5h Arbeit. Ein neuer Anker, neuer Polschuh und ein neuer Bürstenhalter. Damit ist klar was da explodiert ist! Kostet 0€ und am 18.01.2019 war die Schlagbohrmaschine schon wieder repariert.
In der Regel wundere ich mich ja erst darüber, dass ich noch nichts gehört habe und bekomme als Antwort auf meine Nachfrage: „Bitte noch etwas Geduld“. Aber das funktioniert hier spitze. Vor ein paar Jahren war schon einmal eines meiner Bosch Werkzeuge def. da hat die Reparatur ebenfalls ohne jedes Problem funktioniert. Dieses scheint wohl noch immer so zu sein. Ich stoße in der Regel eher an meine Grenzen als an die meiner Werkzeuge, daher passt es für mich. Haltbarkeit und Service/Support sind noch immer Top. Ich bleibe also Bosch ganz sicher ebenfalls bei den nächsten Werkzeugen wieder treu!
Für genau das Gefühl bin ich immer wieder bereit mehr Geld zu bezahlen! Danke Bosch!
Das mir meine Kinder ein Bild malen ist nichst ungewöhnliches. Heute hat mir aber ein Arbeitskollege ein Bild überreicht, welches er mir zum Geburtstag gemalt hat.
Die netten Leute von Thomas Krenn haben uns ihr OpenPOWER-Testsystem zur Verfügung gestellt. Wir wollten dieses System schon länger in die Finger bekommen. Jetzt hat es endlich geklappt.
Die Hardware
Der Server zieht mit seinen zwei 1200-Watt-Netzteilen in der Spitze etwa 370 Watt (im Normalbetrieb um die 230 Watt) und soll laut Thomas Krenn 1.325 BTU/h produzieren. Verbaut sind 128 GB RAM und eine POWER8-CPU:
root@ubuntu:~# lscpu
Architecture: ppc64le
Byte Order: Little Endian
CPU(s): 64
Thread(s) per core: 8
Core(s) per socket: 8
Socket(s): 1
Model name: POWER8 (raw), altivec supported
CPU max MHz: 3857.0000
L1d cache: 64K
L1i cache: 32K
L2 cache: 512K
L3 cache: 8192K
64 Threads auf 8 Cores, SMT8. Das Betriebssystem war ein Ubuntu 16.04 LTS (ppc64le).
Storage-Anpassung
Die mitgelieferten Festplatten (3,5″ Nearline SAS mit 7,2k) waren für unseren Datenbanktest zu langsam. Also haben wir ein paar ältere 15k-SAS-Platten aus dem Lager verbaut und in ein RAID 10 geworfen. Damit war das lokale Storage laut pg_test_fsync vergleichbar mit unseren anderen Testsystemen. Wir wollten ja CPU-Leistung vergleichen, nicht Festplatten.
Alltagsvergleich
Als Erstes ein paar alltägliche Operationen im Vergleich mit Intel-Systemen:
CPU
SHA256 500 MB
bzip2 500 MB
AES 500 MB
2× Xeon E5-2665 @ 2.40 GHz
3,859 s
5,445 s
1,337 s
1× POWER8 @ 3.86 GHz
3,803 s
7,868 s
0,866 s
1× Core i7-6700 @ 3.40 GHz
2,370 s
4,207 s
0,831 s
2× Xeon E5-2650 v4 @ 2.20 GHz
2,652 s
5,413 s
1,585 s
2× Xeon E5-2650 v3 @ 2.30 GHz
2,484 s
5,217 s
1,500 s
AES-Verschlüsselung: POWER8 vorn. SHA256: gleichauf. bzip2: Intel deutlich schneller. Ein gemischtes Bild.
UnixBench
Das OpenPOWER-System gegen ein Dell-System mit zwei Intel Xeon E5-2665 (nur CPU/RAM relevant):
Benchmark
2× Xeon E5-2665
1× POWER8
Dhrystone 2
34.551.077 lps
27.167.564 lps
Double-Precision Whetstone
4.082 MWIPS
4.092 MWIPS
Execl Throughput
2.124 lps
2.776 lps
Pipe Throughput
2.067.851 lps
465.884 lps
Process Creation
4.278 lps
7.391 lps
Shell Scripts (1 concurrent)
5.543 lpm
7.085 lpm
Shell Scripts (8 concurrent)
6.090 lpm
4.357 lpm
System Call Overhead
4.186.840 lps
344.157 lps
Index Score
1.629,6
851,8
Process Creation und Shell Scripts (single): POWER8 vorn. System Calls und Pipe Throughput: Intel massiv besser. Der Index-Score geht klar an Intel, wobei der Vergleich nicht ganz fair ist (Dual-CPU gegen Single-CPU).
PostgreSQL-Restore
Die hohe Thread-Anzahl und die breite Speicheranbindung machen die POWER8 theoretisch zum guten Datenbankprozessor. Wir arbeiten viel mit PostgreSQL, also haben wir unsere Testdatenbank restored:
CPU
Restore-Zeit
2× Xeon E5-2650 v3 @ 2.30 GHz
129 min 34 s
1× POWER8 @ 3.86 GHz
120 min 43 s
Knapp 9 Minuten schneller als das Dual-Xeon-System. Bei Datenbank-Workloads macht sich die Speicheranbindung bemerkbar.
Fazit
Die POWER8 ist ohne Zweifel leistungsstark. Die Speicheranbindung und die 64 Threads merkt man bei Datenbank-Workloads. Im Single-CPU-Vergleich macht das System bei Datenbanken den Stich. Aber: Das OpenPOWER-System von Thomas Krenn gibt es nur mit einem CPU-Socket, preislich liegt es aber auf dem Niveau eines Dual-Xeon-Systems. In diesem Vergleich hat Intel die Nase vorn.
IBM hat die POWER8 2013 vorgestellt, unser Test war 2018. Die Vergleichssysteme waren ebenfalls nicht brandneu. Unterm Strich: Tolle CPU, aber im Preis-Leistungs-Verhältnis für einen Datenbankserver gegenüber Intel der Verlierer. Im HPC-Bereich oder bei der Anbindung von Nvidia-Beschleunigern sieht das sicher anders aus. Dual-CPU-Systeme oder direkt POWER9 (mit AES und GZIP im Chip) wären spannend gewesen. Da IBM von diesen CPUs im Vergleich zu Intel nur geringe Stückzahlen verkauft, bleibt der Preis hoch.
Wer FreeBSD auf anderer Hardware ausprobieren will: FreeBSD auf dem Desktop beschreibt die Grundinstallation mit MATE. Und mit bhyve und vm-bhyve lassen sich Windows-VMs auf FreeBSD betreiben.
Das Internet funktioniert nicht, wie euer normales Netzwerk zuhause. Es basiert in den weitesten Teilen auf BGP, dem Border Gateway Protocol. Natürlich kann es auch dabei zu Problemen kommen, mal macht ein Mensch einen Fehler, mal Hardware oder Software oder eine Regierung möchte etwas „blockieren“… Naja, oder die bösen Hacker halt.
Unter folgendem Link, werden BGP Probleme visualisiert und mit einer Historie versehen:
Klickt unbedingt auch mal auf „More detail“ bei einem Event und schaut euch das Replay an, das ist nicht nur interessant, sondern auch lehrreich. Viel besser zu verstehen, als wenn man nur die BGP Events im Log fliegen sieht!
Mein Brötchengeber hat vor ein paar Tagen noch mal richtig einen „rausgehauen“. Es gab eine knapp einwöchige inhouse Schulung/Training der Firma tecRACER bei uns.
Und was passiert bei euch so? Ich könnte echt mal wieder ein spannendes Thema brauchen.
Es gibt Tage, da fragt man sich ob man wirklich in einem IT-Unternehmen arbeitet oder doch im Kindergarten gelandet ist. Heute war so ein Tag.
Kollektivstrafe: Kein Kaffee
Die Kaffeemaschine ist abgeschaltet worden. Nicht kaputt, nicht leer, abgeschaltet. Weil eine unserer Küchen nicht ordentlich gehalten wurde. Dreckiges Geschirr neben der Spüle statt in der Spülmaschine. Jemand hat seinen Teller einfach auf die Arbeitsplatte gestellt und ist gegangen. Wie ein Kleinkind das erwartet, dass Mama hinterherräumt.
Die Reaktion der Geschäftsführung: Kollektivstrafe. Kein Kaffee mehr für den Rest des Tages. Für alle. Weil ein paar Leute sich benehmen wie Fünfjährige, kriegen alle keinen Kaffee. Man sollte doch wohl in der Lage sein, das schmutzige Geschirr in die Spülmaschine zu stellen. Die steht drei Schritte neben der Spüle. Drei Schritte.
Ich sitze also an meinem Schreibtisch, die Server laufen, die Tickets kommen rein und ich habe keinen Kaffee. Weil irgendein Kollege seinen Teller nicht wegräumen kann. Der Admin in mir sagt: Monitoring auf den Geschirrspüler, Alert wenn Kapazität unter 50%, automatisches Ticket an den Verursacher. Problem gelöst.
Stattdessen gibt es Kollektivstrafe. Ich bin hier echt im Kindergarten.
Falls jemand weiß wie man Kollegen zum Spülmaschine-Benutzen erzieht, kann man mich gerne fragen. Ich bin für jeden Tipp dankbar. Außer Kollektivstrafen.
