Die Shortstory: Der Speichercoup

Hitze

Selbst im Vereinskeller schwirrte die Luft. Nach 42 Hitzetagen spielte der Ort kaum mehr eine Rolle. Im Keller von Bexiron befanden sich sowohl das Vereinsbüro, als auch der Serverraum. Die Kühle des Kellers, zusammen mit der Heizleistung der Server, resultierte in einer Durchschnittstemperatur von knapp 29 Grad Celsius.

Spenden

Markus und Andreas umkreisten sich wie die Hyänen. "Du weisst genau, wie unsere Finanzen aussehen. Unsere Spendeneinnahmen decken bei Weitem nicht die Ausgaben für den Betrieb der Server. Und jetzt auch noch das", schnauzte Markus, verantwortlich für die Vereinsbuchhaltung. "Bin ich Hellseher? Woher sollte ich wissen, dass sich zwei Platten gleichzeitig verabschieden?" raunzte der SysAdmin Andreas. "Meine Güte, dann kümmere dich darum, dass die Backups so schnell wie möglich restored werden. Im Fediverse gibt es Anbieter wie Sand am Meer. Wir können uns keinen Ausfall leisten. Die Spendenmoral für Dienste wie unsere ist am Boden. Wenn wir keine zuverlässige Leistung zeigen, wandern die wenigen Leute wieder zu X oder Bluesky ab."

Raid

Ein Raid1-System soll genau das verhindern, was beim Bexiron-Server vorgefallen ist. Doch es kam anders, weil bei den baugleichen NVMe-Medien im Abstand von zwei Minuten beide die Hufe in den Himmel streckten. Ein Controller-Fehler bei Medium 1 führte zur Last-Verschiebung auf Medium 2, worauf dort derselbe Fehler auftrat.

Nachdem Andreas die defekten NVMes durch doppelt so teure Modelle (es geht ein Dank an die Magnificent 7 raus) ersetzt hatte, galt es, die Backups einzuspielen. Als Verein mit technischer Expertise und Ehre, sind Backups eine Selbstverständlichkeit. Sicherheitskopien entstehen im Schlaf. Kein SysAdmin denkt darüber nach, sondern hat diese Binsenweisheit im Rückenmark verankert. "Hast du eine Disaster-Recovery überhaupt einmal ausprobiert?", frotzelt der Buchhalter. Andreas streckt den Mittelfinger in die heisse Luft: "Kein Backup, keine Gnade". "Ich rede nicht vom Backup, sondern vom Restore. Und zwar vom System-Restore, nicht vom Zurückkopieren von Tante Lieschens Einkaufsliste." quengelt Markus.

Restore

Doch Andreas hört davon nichts mehr, weil er sich längst über die Backups gebeugt hatte. Kein Problem, der Backup-Prozess wurde bereits vor Jahren von ihm und seinem Vorgänger im Verein, automatisiert. Bernd, der alte Admin, hatte einen tollen Job gemacht. Zugegeben, der Prozess ist ein wenig kompliziert, aber im Verein vertraut man einander. Andreas konnte sich auf Bernds Vorarbeit verlassen und darauf aufbauen.

Die Konfig-Files sind da, alle Log-Dateien und die Skripte präsentieren sich im Backup wie auf dem Silbertablett. Die MariaDB … Moment mal … die Datenbank, ah, da ist sie. Seltsam, warum ist sie nur 58 GB gross? Andreas wiegt sein Kinn in der Handfläche. Trotz der Handstütze fällt sein Kinn zwei Sekunden später mit voller Wucht auf die Tischplatte. Der Zeitstempel des Datenbank-Dumps zeigt: 2024-10-30.

Claudia

Die Kellertür schwingt auf, ein leichter Luftzug zieht durch den Vereinskeller, Claudia tritt ein. Als Vereinspräsidentin kümmert sie sich seit zwei Jahren um die Aussenwirkung des Vereins. Seitdem Claudia die Geschicke lenkt, hat sich vieles zum Besseren gewendet. Der Verein ist bekannt und wird als vertrauenswürdiger Provider in der Community geschätzt. Nur bei den Spendeneinnahmen hapert es. Sie reichen gerade einmal, um die Infrastrukturkosten des Vereins zu tragen.

Krise

Plopp – Andreas hat sich das zweite Bier aufgerissen und starrt immer noch ungläubig auf seinen Monitor: 2024-10-30. "Trinkst du alleine, oder gibst du mir auch ein Bier ab?", fragt sie und blickt ihm über die Schulter. "Soll ich dir eine Karte mit dem Weg zum Kühlschrank malen?" "Warum so nervös? Ich kenne unseren Kühlschrank", entgegnet Claudia. "Was heisst: mariadb_dump_2024_10_30?", fragt sie, während sie immer noch trocken hinter ihm steht und auf den Monitor schaut.

"Nun ja, Claudia. Es kommt Arbeit auf dich zu! Wir sind gerade technisch gestorben, weil ich kein zeitnahes Backup unserer Datenbank habe. Du hast bestimmt einen Plan B im Hinterkopf, wie du das der Community erklären kannst." Claudia läuft zum Kühlschrank, greift sich ein Bier und schlägt die Tür zu, sodass man am Klirrgeräusch einwandfrei die Anzahl der übrigen Flaschen abzählen kann. Es sind neun, die an diesem Abend im Vereinskeller noch eine Rolle spielen sollen.

Planlos

Nachdem Andreas dem Buchhalter und Claudia die Auswirkungen der uralten Datenbank erklärt hat und zweieinhalb Pizzen verzehrt wurden, sitzen die drei um den runden Plastiktisch im Vereinskeller zusammen und starren an die Decke. Es wird überlegt.

"Andreas, bist du dir sicher, dass es kein aktuelles Backup der Datenbank gibt?" "Ah, die feine Dame hat Zweifel. Jetzt sage ich dir mal etwas. Ich mache diesen Job im Verein, ohne auch nur einen Cent dafür zu bekommen. Ich könnte bei Aldi Büchsen einräumen. Das wäre einfacher und ich hätte etwas davon." "Und ich dachte immer, es wäre für dich eine Herzensangelegenheit, fürs Fediverse zu arbeiten", entgegnet Claudia.

Sie springt auf, eine leere Bierflasche kippt um, und eine halbvolle wackelt bedenklich. Claudia greift zum Telefon und wählt eine Nummer. "Hallo Bernd". Sie verschwindet im Nebenzimmer.

Rettung

"Würden die Leute für freie Dienste mehr spenden, wäre unsere Situation viel einfacher." meint Markus. "Dann könnten wir unser Angebot erweitern, unsere Dienste schneller machen und besser absichern. Ausserdem würde vielleicht ein kleiner Lohn für mich herausspringen", seufzt Andreas.

Apropos "herausspringen", die Tür zum Nebenraum fliegt auf und Claudia springt heraus und stopft ihr Handy in die Hosentasche. "Leute, wir sind gerettet". Markus und Andreas schauen sich ungläubig an und laufen zum Kühlschrank. Falls die Rettung vor der Tür steht, braucht man etwas zum Anstossen, was hinter der Tür steht.

"Es gibt eine aktuelle Kopie der Datenbank", verheisst Claudia. "Bernd hat damals einen Backup-Prozess eingerichtet, der die Datenbank anders behandelt als die übrigen Dateien. Er hat mir eine kurze Beschreibung geschickt, wo man die Datenbank findet". Claudia hält den beiden ihr Handy unter die Nasen.

Sekunden später sitzt Andreas am Rechner und tippt wie wild. "Tatsächlich, hier ist sie!"

Coup

"Jetzt kommt mal her und setzt euch hin", ordnet Claudia an. "Welche Probleme haben wir?" "Es ist zu heiss", tragen Markus und Andreas im Chor vor. "Ausserdem ist unsere Vereinskasse so leer wie der Rhein", sagt der Schatzmeister. "Und wir sollten unsere technischen Prozesse dringend überarbeiten", tönt es vom Admin.

"An der Hitze kann ich nichts ändern, aber für die anderen Probleme gibt es eine Lösung." Die beiden schauen Claudia ungläubig an, während sie fortfährt: "Angenommen, wir teilen der Community mit, dass aufgrund eines bedauerlichen Fehlers zwei Speichermedien gestorben sind und wir kein Backup der Datenbank haben." "Dann zieht die Karawane zur nächstbesten Mastodon-Instanz um", sagt Markus. "Nicht zwingend", wirft Andreas ein. "Die Leute haben keine Lust, die Tröt-Historie und ihre Follower zu verlieren. Ein Umzug ist nur möglich, wenn es etwas umzuziehen gibt."

"Seid still und hört mir zu: Wir schlagen unseren Anwendern eine professionelle Datenwiederherstellung der kaputten Platten vor und bitten sie um finanzielle Unterstützung." "Liebe Claudia", sagt Andreas, "Hast du eine Ahnung, wie teuer eine Restauration ist? Das kostet vierstellig!" "Je teurer es ist, desto mehr spenden die User und umso mehr landet in unserer Vereinskasse", redet sich Claudia in Rage.

Markus bemerkt: "Dann muss das Timing stimmen. Der Ausfall darf nicht zu lange dauern, sonst hauen die User ab. Er darf aber nicht zu kurz sein, damit das Spendenfenster lang genug ist." Andreas ergänzt: "Wir lassen den Dienst eine Woche lang stillstehen und sammeln Spenden für die vermeintliche Datenrettung. Dann behaupten wir die erfolgreiche Restaurierung der NVMes und damit der Datenbank. Dann fahren wir den Dienst langsam wieder hoch und bedanken uns bei den Spendern."

Claudia: "Wir sind genial und unsere Finanzen sind bald saniert! Lasst ein Bier für Bernd im Kühlschrank stehen."

Anmerkung des Autors: "Doch es war alles ganz anders."