Hetzner: Protokoll eines Scheiterns
Der Beitrag ist inzwischen etwas unübersichtlich geworden. Hier geht es zum ursprünglichen Anfang.
Nachtrag 20.11.2006 20:56 Uhr:
Heute morgen, kurz nach dem offiziellen Supportbeginn bei Hetzner (7:30 Uhr), war der Blogger.de-Datenbankserver wieder erreichbar und eine Mail aus dem Ticketing-System lag vor: Die nicht verwendete Platte könnte gegen eine neue ausgetauscht werden, so dass ich die Daten der verbliebenen Platte rüberkopieren könnte. Anschließend würde man dann auch die zweite defekte Platte austauschen. Ausnahmsweise (und das glaube ich und ich bin da auch sehr froh drüber!) hat man mir angeboten, den kompletten Vorgang des Austauschen und Kopieren von Seiten Hetzners in die Hand zu nehmen. Dieses Angebot habe ich dankend angenommen, eine 160 GB Festplatte Byte für Byte zu kopieren dauerte halt ein wenig, aber um 16:45 Uhr lief die Datenbank wieder. Auf eine Zwischenfrage von mir, wie es denn aussieht, wurde von Seiten Hetzners, schnell und ordentlich geantwortet.
Ich bin also froh, dass das Problem nun dauerhaft beseitigt ist, außer den regelmäßigen Ausfällen der Datenbank gab es in den letzten Monaten nämlich keinen Ausfall bei Blogger.de zu verzeichnen.
Ich hatte Hetzner noch um die Beantwortung ein paar Fragen gebeten, weil ich wissen wollte, wie der Support denn nun tatsächlich funktioniert und wie man im Fehlerfalle am Besten vorgeht. Hier meine Fragen und die Antworten von Hetzner:
Sind am Freitag tatsächlich Mails an das Ticketing-System verloren gegangen? Die Mail von Hetzner, die mich um 12:38 Uhr erreichte, legt diesen Schluß nahe.
Hetzner: Diesbezueglich ist mir nichts bekannt.
Wie lange dauert es im Durchschnitt, bis ein Reset-Auftrag ausgeführt wird?
Hetzner: Die Reaktionszeit sollte ca. 30 Min. dauern.
Gibt es jedoch mal sehr viele Supportanfragen so kann sich dies verzoegern.
Wir empfehlen Ihnen den ‚Automatischen Reboot‘ fuer einmalig 20,- Euro pro Server fuer Ihre Server einrichten zu lassen. Dann sind Sie in Sachen Reboot unabhaengig.
(Hier habe ich nochmal nachgehakt, da ich in dem Paket ja den ‚Automatischen Reboot‘ drin habe:)
Wie genau funktioniert dieser Automatische Reboot? Bei dem Server, um den es am Freitag ging, war das Paket ja bereits inklusive und hat leider nicht funktioniert. Lag das evtl. daran, dass dies nicht richtig eingerichtet war, oder daran, dass dadurch eine Art Reset ausgeführt wird, die dem Aus- und Einschalten eines Rechners nicht gleichkommt?
Hetzner: Es wird ein echter Hardware Reset ausgefuehrt.
Bleibt der Server aber im Bios haengen hilft auch der automatische Reboot nichts.
Werden Nachfragen im Ticketingsystem genau so behandelt, wie neue Tickets? Landen sie also wieder am Ende der Warteschlange und es dauert entsprechend bis sie bei ihnen bearbeitet werden?
Hetzner: Bedingt. Neue Tickets werden permanent ueberwacht. Antworten auf bestehende Tickets nur in bestimmten Zeitabstaenden.
Gehören die RZ-Telefonnummern zum offiziellen Support und sollen bei Problemen genutzt werden? Wie wird dort eine Authentifizierung des Anrufers vorgenommen?
Hetzner:Als ersten Schritt sollen Sie versuchen das Problem selbst zu loesen.
Gelingt dies nicht dann aus dem Robot eine Supportanfrage stellen.
Da ist dann keine Authentifizierung mehr noetig.
Sie koennen auch im Rechenzentrum anrufen.
Zur Authentifizierung muessen Sie dort die ersten 4 Zeichen Ihres Robot Passwortes nennen.
Für mich ist die Sache damit erledigt. Der Server läuft wieder, das Preis-/Leistungverhältnis stimmt wieder und eine Menge gelernt habe ich zusätzlich. Als nächstes werde ich mich mit der Installation des Software-RAIDS auseinandersetzen.
Nachtrag 20.11.2006 16:36 Uhr: Die Datenbank läuft wieder, Platten sind getauscht, Blogger.de wieder online. Mehr Infos heute Abend
Nachtrag 20.11.2006 08:35 Uhr: Der Hetzner-Support hat mir ausnahmsweise angeboten, die Spiegelung der Daten von der alten auf die neue Festplatte komplett durchzuführen. Dafür bin ich sehr dankbar, da ich das Rescue-System nicht kenne, mit dem ich das hätte machen müssen. Ich hätte erst heute Abend Zeit dafür gehabt, mir den Umgang damit anzulesen, um den Vorgang fehlerfrei durchzuführen. Ab ca. 11:00 Uhr wird Hetzner die Platten also austauschen und kopieren. Anschließend kann die Datenbank von Blogger.de wieder online gehen. Da die Datenbank wieder verfügbar ist, habe ich die Tabellen gecheckt und repariert, zur Zeit wird Komplettbackup auf einen anderen Server gemacht, um auch für Probleme beim Kopiervorgang gewappnet zu sein.
Bei Hetzner stehen für Blogger.de und Blogscout.de insgesamt fünf ihrer Rootserver. Bislang war ich sehr zufrieden und habe Hetzner sogar weiterempfohlen: Mail von Hetzner
Nach den Erfahrungen der letzten Tage bin ich jedoch ziemlich ernüchtert. Ich hatte mich damals extra gegen 1&1, sowie Strato entschieden, weil ich lieber einen „kleinen“ Hoster unterstützen wollte. Hinzu kommt, dass die Preise von Hetzner (im Gegensatz zu z.B. HostEurope), es mir überhaupt erst ermöglichen, die Dienste durch Werbung zu refinanzieren.
An dieser Stelle möchte ich protokollieren, wie schwierig sich die Kommunikation mit Hetzner gestaltet hat. Zum Telefonhörer habe ich extra nicht gegriffen, da meine letzte Erfahrung mit dem Telefonsupport nur war, dass man mir sagen konnte, wieviele Tickets noch vor meinem stehen. Mit einem Techniker kommt man da nicht in Kontakt. Außerdem kenne ich Abläufe in Support-Abteilungen und weiß, wie wichtig ein (funktionierendes) Ticketing-System ist. Deshalb ist es hilfreich, wenn alle Kundenkontakte darüber abgewickelt werden.
Ein Supporteinsatz am Wochenende und nachts kostet 116,- Euro inklusive 15 Minuten Arbeit. Das ist eine Summe, für die ich die Blogger.de-Server für einen Monat bezahlen kann. Aus dem Grund müssen wir leider bis Montag morgen warten, bis Hetzner dann hoffentlich schneller den DB-Server resettet und vielleicht auch gleich schon eine der defekten Platten austauscht.
- 16.11.2006 22:58 Uhr
- Letzter Eintrag auf Blogger.de, bevor der DB-Server einfriert
- 17.11.2006 00:58 Uhr
- Axel stellt den Webserver um, so dass eine Fehlermeldung sichtbar ist. Der Server ist anpingbar, ein connect per ssh funktioniert jedoch nicht und die DB lässt sich vom Blogger.de-Applikationsserver nicht erreichen.
- 17.11.2006 08:42 Uhr
- Ich stelle einen Auftrag auf Hardware-Reset über das Service-Menü von Hetzner.
Ihr Server ist sowohl anpingbar als auch per SSH erreichbar. Sind Sie sicher, dass wir Ihren Server neu starten sollen? Sie können Hard- und Softwareresets auch direkt über den Resetservice an Ihren Server leiten. Können wir Ihnen evtl. anderweitig weiterhelfen?
Der Server ist (wie leider schon so oft), nicht per ssh erreichbar: ssh XXX.XXX.XXX.XXX bringt nichts. Deshalb ist blogger.de auch seit dieser Nacht offline :-(
Bitte also schnellstmöglich den Server neustarten. Auf den manuellen Reset über das Tool reagiert der Server in solchen Fällen auch nicht!
Deswegen wollte ich sowieso nochmal nachfragen, was man da gegen diesen instabilen Server tun kann. Alle paar Wochen ein Totalausfall ist einfach nicht hinnehmbar. Vor allem nicht auf eine DB-Server.
Wie sieht’s aus? Der Reset-Auftrag wurde vor mehr als zwei Stunden gestellt…
Was ist denn los? Als ein Server das letzte Mal hing, dauerte der Reset auch schon einige Stunden. Damals sagten sie, dass durch den Stromausfall viel Arbeit liegen blieb.
Woran liegt es nun? Ich halte es nicht für akzeptabel, mehrere Stunden auf einen Reset zu warten, in Frage gestellt zu werden, ob der Server wirklich resettet werden soll, eine falsche Diagnose zu stellen (der Server ist seit heute morgen gegen 1:40 nicht mehr per SSH zu erreichen und auch die DB auf dem Server konnte nicht mehr angesprochen werden) und dann nicht mehr zu reagieren.
Ich möchte auch dringend wissen, wie sie mit dem defekten Server umgehen wollen? Bekomme ich einen anderen zur Verfügung gestellt, auf dem ich mit der Datenbank umziehen kann? Ich bitte dabei 10 Arbeitstage für einen parallelen Betrieb einzuplanen, da der neue Server erst komplett eingerichtet und auch die Backup-Skripte angepasst werden müssen.
Dies ging zur angegebnenen Zeit an Sie raus.
[…]
Ihr Server ist sowohl anpingbar als auch per SSH erreichbar. Sind Sie sicher, dass wir Ihren Server neu starten sollen? Sie können Hard- und Softwareresets auch direkt über den Resetservice an Ihren Server leiten. Können wir Ihnen evtl. anderweitig weiterhelfen?
[…]
koennten Sie uns bitte definitv sagen ob wir das System, das fuer uns erreichbar ist, nun Reseten sollen oder nicht?
Auf diese Mail habe ich schon zwei mal geantwortet!
JA, der Server soll resettet werden! Er ist nämlich per SSH *NICHT* zu erreichen.
Ja, Server bitte sofort resetten. Er ist seit heute morgen 1:40 nicht mehr per ssh zu erreichen!!
Vielleicht kommt ja auch nur jede dritte Mail bei ihnen an: bitte endlich den DB-Server von Blogger.de resetten! Es sind nun schon fast 5 Stunden, seit dem Auftrag vergangen :-(
Und eine Antwort, wie mit dem offensichtlich defekten Server verfahren wird, wurde mir auch noch nicht gegegen.
In Ihrem System sind noch Maxtor-Platten verbaut. Diese haben das Problem, nach unbestimmter Zeit einfach aus dem System zu verschwinden.
Vorgehen:
– wir tauschen sdb gegen ein anderes Model aus
– Sie machen via dd und rescuesystem ein abbild von sda auf sdb
– wir tauschen sda gegen sdb (neue Platte wird sda) und tauschen auch die zweite Maxtorplatte aus.
Sollten Sie beide Platten in verwendung haben tauschen wir erst eine Platte damit sie eine kopie machen koennen, Dann die anderen und haengen am Ende die beiden neuen Platten in das System.
Warum meine Kollegen die Maxtorplatten nicht gesehen haben bzw. Ihnen das Problem nicht mitgeteilt haben kann ich Ihnen nicht sagen.
Soweit ich weiß, nutze ich sdb nicht. Zumindest wusste ich bis gerade nicht, dass da zwei Platten drin sind…
Sie können also sdb austauschen und irgendwann in den nächsten Tagen werde ich versuchen, das System auf sdb zum Laufen zu bekommen – wie gesagt, dass ist der DB-Server von Blogger.de, da kann ich schlecht mal daran rumdoktern, vor allem habe ich zu solchen Spielen eigentlich nur am WE Zeit und kann dann nicht auf ihren Support zurückgreifen.
Wenn das System dann irgendwann mal auf sdb läuft, kann auch die andere Platte ausgetauscht werden.
Da ich auf meine letzte Mail keine Rückmeldung erhalten habe und der Server immer noch nicht zu erreichen ist, hier nochmal eine Mail für den Fall, dass tatsächlich Mails bei Ihnen verschwinden.
Fast 6 Stunden sind nun seit dem ersten Reset-Auftrag vergangen…
Da heute wohl wirklich nur jede dritte Mail ankommt, hier also noch einmal der Hinweis, dass der Server immer noch nicht erreichbar ist. Um 13:47 habe ich bereits dies hier geantwortet:
„Soweit ich weiß, nutze ich sdb nicht. Zumindest wusste ich bis gerade nicht, dass da zwei Platten drin sind…
Sie können also sdb austauschen und irgendwann in den nächsten Tagen werde ich versuchen, das System auf sdb zum Laufen zu bekommen – wie gesagt, dass ist der DB-Server von Blogger.de, da kann ich schlecht mal daran rumdoktern, vor allem habe ich zu solchen Spielen eigentlich nur am WE Zeit und kann dann nicht auf ihren Support zurückgreifen.
Wenn das System dann irgendwann mal auf sdb läuft, kann auch die andere Platte ausgetauscht werden.“
Zu ihrer Information: ich habe gerade noch einmal einen Reset in Auftrag gegeben, nachdem ich hier keine Rückmeldung erhalte, der Server immer noch nicht zu erreichen ist und im Robot-Interface das „Rest wird ausgeführt“ verschwunden war.
Einmal resetten reicht natürlich. Wäre aber nur schön, wenn ich nich noch einmal 7 Stunden darauf warten muss.
Wenn Sie wuenschen kann ich sdb morgen frueh austauschen und Sie koennen tagsueber die Kopie machen.
Am Problemlosesten ist es im Rescuesystem die Platten einfach mit Hilfe von dd zu spiegeln. In diesem Fall kann ich die Platten einfach gegeneinander austauschen, ohne das weitere Eingriffe am System noetig werden.
Das System ist uebrigends nach dem lezten Reset Problemlos neu gestartet.
Um welche Uhrzeit morgen? Können Sie sich auch einloggen und die DB herunterfahren?
Den Server kann ich jedoch nicht pingen:
36 bytes from XXX.rz6.hetzner.de (XXX.XXX.XXX.XXX):
Destination Host Unreachable
Vr HL TOS Len ID Flg off TTL Pro cks Src Dst
4 5 00 5400 060d 0 0000 39 01 415e XXX.XXX.XXX.XXX XXX.XXX.XXX.XXX
Per ssh komme ich somit auch nicht drauf…
Ich bin heute echt super ernüchtert worden. Keinen Hinweis darauf, ob alle meine Mails zwischendurch doch angekommen sind, oder nicht. Warum alles so lange dauert, vielleicht brennt bei Ihnen ja gerade wirklich was und die Sachen werden Schritt für Schritt abgearbeitet.
So weiß ich nicht, ob meine Mail angekommen ist, dass der Server immer noch nicht läuft, was sehr, sehr enttäuschend ist, überschreiten wir doch gerade die achte Stunde, nach der ersten Bitte um einen Reset.
In der Zeit hätte ich es ja sogar geschaft, zu ihnen ins Rechenzentrum zu fahren und selbst auf den Knopf zu drücken!
Also bitte mehr Feedback! Ein paar tausend Blogger warten darauf, dass ihr Dienst wieder läuft!
Hallo? Jemand da? Kann sich mal bitte jemand meinen Server anschauen? Der wartet schon seit heute Morgen 8:42 Uhr darauf, resettet zu werden!
Vielleicht mal auf diesem Weg. Denn seit heute morgen 8:42 Uhr warte ich darauf, dass obiger Server neu gestartet wird (siehe auch http://blogger.de).
Er ist immer noch nicht zu erreichen, die Antworten aus dem Support sind sporadisch und unvollständig. Die letzte Meldung von 16:07 Uhr war, dass der Server ohne Probleme neu gestartet wurde.
Er ist seitdem nicht einmal mehr anpingbar, was vorher noch ging. Nur der Rest war eingefroren.
Es sind nun also fast 9 Stunden rum und das Problem ist immer noch nicht gelöst. Mehrere tausend Blogger sind von ihrer Plattform abgeschnitten, falls ihnen zahlende Kunden nicht genügend Motivation sein sollten.
Ihr Server ist nach einem Reset wieder per SSH erreichbar!!
To be continued…
Hinweis: Alle Tippfehler von mir und von Hetzner habe ich drin gelassen. Begrüßungs- und Schlußformulierungen habe ich herausgenommen. Die im Protokoll angegeben Zeiten sind korrekt, die aus meinen Mails nicht immer. Mir fehlte am Freitag die Zeit, um den Vorgang lückenlos zu protokollieren.
Nachtrag 19.11.2006 16:17 Uhr: Eine andere Sicht auf die Dinge im Forum von Hetzner. Ich behaupte ja garnicht, dass Blogger.de 100% ausfallsicher ist. Ich wüsste, was dazu notwendig ist und kann es schlicht und einfach finanziell nicht stemmen. Also haben wir ein tägliches Backup aller Blogger.de Daten inklusive Datenbank. Dieses Backup liegt auf einem anderen Server, so dass wir ziemlich gut damit leben könnten, wenn ein Server ganz kaputt geht. Das ist alles kein Beinbruch, die Leute, die ihr Blog bei Blogger.de hosten wissen, dass sie dort kostenlos einen Service nutzen, der privat betrieben wird. Und entsprechend gnädig gehen sie mit Ausfällen um. Ich auch, solange kommuniziert wird, was los ist. Ich bin nicht sauer, weil der Fehler mit den Platten erst jetzt aufgefallen ist. Nein, ich bin froh, dass der Fehler überhaupt gefunden wurde, denn ich weiß, wie schwierig es sein kann, an einem defekten System die Ursache zu finden. Gerade wenn der Defekt nicht reproduzerbar auftritt. Nervig ist aber, wie mit dem Problem umgegangen wird. Ein „hier ist gerade Stress, wir schauen uns das so schnelll wie möglich an, weil wir lieber erst die Platte austauschen würden, als einen defekten Server online zu stellen“, wäre für mich vollkommen akzetabel gewesen (Der Grund ist rein hypotethischer Natur. Bis auf die hier protokollieren Mails ist nichts von Hetzner gekommen). Sowas kann ich auch den Bloggern mitteilen und alle sind froh, wenn sie zwei Tage später unbeschwert weiter bloggen können.
Ein Mal Recht haben = 576,06 Euro
In meinem Blog gibt es einen Beitrag, der fast wöchentlich einen neuen Kommentar erfährt. Es handelt sich hierbei um eine Sache aus dem Herbst 2004 mit dem schönen Titel Abmahnwahn: Die unendliche Geschichte Teil x+1. Dabei geht es um ein Call-Center von offensichtlich zweifelhaftem Ruhm und darum, dass ich als Betreiber von Blogger.de für Kommentare in einem dort gehostetem Blog eine Unterlassungserklärung unterschreiben sollte. Udo Vetter hat mich damals vertreten, ist nach Berlin gereist und hat die Sache für mich gewonnen.
Parallel dazu hat Herr Drews eine Einstweilige Verfügung für etwas ganz ähnliches gegen mich erwirkt. War er doch Geschäftsführer des Call-Centers und hat versucht, privat gegen die Kommentare vorzugehen. Dies hat Udo ebenfalls für mich aus der Welt geschafft – und zwar indem auch dieser Prozeß für mich erfolgreich ausging.
Vor ein paar Wochen kontaktierte mich Sascha Kremer, welcher bei Udo in der Kanzlei arbeitet. Im Laufe der letzten zwei Jahre gab es immer wieder neue Wendungen in dem Fall, sogar die Gerichtsvollzieherin stand bei mir schon vor der Tür und wollte die Gerichtsgebühren eintreiben, während vor Gericht noch geklärt wurde, wer denn nun welche Kosten zu tragen hätte. Relativ schnell war klar, dass Herr Drews zahlen muss, da er die ganze Sache angestrengt hat, obwohl sie keinen Bestand hatte. Leider ist Herr Drews pleite und hat sich zwischenzeitlich nach Spanien abgesetzt. Aus einem Erbfall besitzt er nun zwar ein Grundstück, welches einen Wert von 200.000 Euro hat, dieses ist aber schon wieder mit 250.000 Euro belastet, so dass ich nun zwar einen Titel gegen Herrn Drews in der Hand halte, ich aber ansonsten erst einmal auf Kosten in Höhe von 576,06 Euro sitzen bleibe.
Ich fasse kurz zusammen:
- Eine Firma bedient sich seltsamer Praktiken;
- Ein Betroffener schreibt darüber in seinem Blog;
- Ein Angesprochener der Firma ist darüber erzürnt und strengt rechtliche Mittel gegen den Bloghoster an;
- Der Bloghoster gewinnt vor Gericht;
- Der Bloghoster zahlt dafür 576,06 Euro, da der Kläger pleite ist
Ich bin da so sauer darüber, dass ich mich anstrengen muss, hier nicht bald Millionen von Google-Usern auf der Suche nach derben Schimpfworten zu empfangen. Ich bin nicht sauer auf unser Rechtssystem oder auf Udo und Sascha. Die haben einen prima Job gemacht, mich immer auf dem Laufenden gehalten und für mich ein doch brisantes Thema erledigt. Ich bin auch nicht sauer auf den Blogger, der das Thema aufgebracht hat, oder den Kommentator dort in dem Blog. Ich lasse in meinem Blog auch gerne mal angestaute Luft raus, wenn ich mich über etwas ärgere.
Ich bin sauer wegen der Art und Weise, wie diese Sache über die Bühne gegangen ist und Herr Drews dabei offensichtlich keine Sekunde an eine andere Person außer an sich selbst gedacht hat. Wie kann ich denn etwas vor Gericht zerren, wenn ich zum einen weiß, dass die Sache recht zweifelhaft ist und ich selbst pleite bin (so viel Geld verliert man nicht über Nacht, er muss also vorher schon sehr klamm gewesen sein)? Während der zwei Jahre musste eine mündliche Verhandlung sogar wiederholt werden, weil Herr Drews nicht anwesend war. Ein Umstand, der die Rechnung vom Anwalt auch nicht kleiner werden lässt.
Diese rücksichtslose Art und Weise macht mir zu schaffen, einzig der Gedanke, dass es richtig war die Einstweilige Verfügung nicht einfach so hinzunehmen, tröstet mich. Zumindest bis der oben zuerst angesprochene Fall soweit abgeschlossen wird, dass sich auch daraus eine Rechnung ergibt, die mich dann wieder wütend werden läßt.
Wie nett: meine Packstation vermisst mich!
Vor ein paar Wochen habe ich mich dazu durchgerungen, die Packstation der Post nutzen zu wollen. Denn zu den normalen Öffnungszeiten der Post habe ich kaum eine Möglichkeit zu meiner Postfiliale zu kommen.
Ganz toll ist es dann, wenn mir nach der Anmeldeprozedur mitgeteilt wird, dass mir ein Einschreiben zugeschickt wird um mich zu legitimieren. Liebe Post, klingelt’s? Ihr könnt mir doch keinen verschlossenen Safe schicken und den Schlüssel reinlegen. Das Einschreiben konnte ich natürlich nicht abholen.
Tja und heute bekam ich dann eine SMS und eine Mail, um mich nochmal auf die Packstation hinzuweisen. Anstatt für 12ct/Minute mit einer Hotline zu telefonieren, die ja eh nichts ändern kann, habe ich also mal ein wenig patzig auf die Mail geantwortet. Keine zwei Sekunden später dann diese Fehlermeldung:
Sehr interessant, dass die Mails der Packstation bei einem Mailkonto auf Web.de aufschlagen. Sieht sehr professionell aus! In einer anderen Mail mit dem Betreff Wir haben was, was Ihnen gehört!, wurde mir dann mitgeteilt, dass mein Begrüßungsset wieder zurückgeschickt wurde, weil ich es aus unbekannten gründen nicht persönlich abholen konnte. Dort habe ich meine ursprüngliche E-Mail auch noch einmal hingeschickt und darum gebeten, mir das Begrüßungsset (Was da wohl drin ist? ich brauche doch nur eine PIN, oder?) einfach so ohne Einschreiben zuzusenden.
Den Blogbeitrag hier habe ich auch erwähnt. Ist ja vielleicht Legitimation genug…
Michael Schumacher in „Cars“
Da habe ich nicht schlecht gestaunt: Michael Schumacher hat eine Sprechrolle in dem Pixar-Film Cars. Ich nehme an, dass es nicht nur in der Originalfassung so ist?