Austausch der letzten USV

Am Sonntag den 07.03.2021 gegen 7 Uhr werden wir die letzte alte USV austauschen. Damit geht die letzte neue USV ans Netz und schließt die Erneuerung der Notstromversorgung unserer Server ab.

Um den Umbau abzuschließen muss unser Gateway neu gestartet werden, was zu kurzfristigen Internetausfällen führen wird.

Die alte (unten im Bild) war seit etwa 10 Jahren im Einsatz und hat uns bei den Stromausfällen in den letzten Jahren gute Dienste geleistet.

Erneuerung der Stromversorgung

Nach 10 Jahren treuen Diensten und zwei Stromausfällen in den letzten Jahren ersetzen wir nun die unabhängige Stromversorgung in unseren Serverräumen.

Da unsere gesamte Telefonanlage durch diese versorgt wird, müssen wir diese im Zeitraum des Umbaus (Freitag 26.02. 12:00-12:30) abschalten. Die Aufzüge sind davon ebenfalls betroffen.

Nach Abschluss des Umbaus werden die HaDiNet Dienste in Zukunft während eines Stromausfalls etwa doppelt so lange funktionsfähig bleiben und damit bei kurzen Ausfällen eine reibungslose Wiederherstellung der Internetverbindung gewährleisten.

Wartung und Internetausfälle Samstag zwischen 6 – 8 Uhr / Maintenance and internet outages saturday between 6 – 8 o’clock

== English version below ==

Hallo HaDiKo-Bewohner,

Samstag, den 14.11.2020 wird es zwischen 6 und 8 Uhr zu mehrfachen Ausfällen des Netzwerks kommen. Grund dafür ist ein Update der Switch Firmware, welches einen Neustart der Switche erfordert sowie Wartungsarbeiten.
Eure Verbindung ins Internet ist für diesen Zeitraum ebenfalls davon betroffen.

PS: Falls ihr uns bei unserer Arbeit unterstützen wollt, könnt ihr uns gerne eine Mail schreiben (einfach antworten) oder nach dem Support bei uns vorbeikommen.

== English version ==

Dear HaDiKo residents,

Saturday November 14th, 2020 between 6 and 8 AM there will be multiple outages of your network connection. The reason for this is a firmware upgrade for our switches which requires a reboot as well as maintenance work.
Your internet connection will also be affected.


PS: If you want to support our work, feel free to write us an email (simply answer) or come around after our support hours.

(08:00) Wartung erfolgreich beendet
(08:00)
The Maintenance has been successfully completed

Internetausfall K2

Aufgrund stromtechnischer Komplikationen kam es heute zu einer spontanen Wartung der Internet-Infrastruktur im K2 (Strom war weg, Internet war tot).

Mit der Hilfe von Kai exDB5, Thomas B307, Lewi H212 und Tjeri M104 konnte diese Wartung (Störung) allerdings so schnell wie möglich durchgeführt (behoben) werden.

Wir hoffen, dass die Probleme hiermit dauerhaft behoben sind und es zu keinen weiteren Ausfällen kommen wird.

Akute Probleme mit Samba-Shares behoben

Im Rahmen der Arbeit an den Samba-Shares wurden einige Änderungen vorgenommen. Insbesondere läuft der Samba Service nun nicht mehr in einem Docker-Container, sondern nativ auf dem Host GLaDOS.

Die Instabilität der Shares scheint damit erstmal behoben. Die Wartungsarbeiten sind aber noch nicht abgeschlossen, es werden noch weitere Änderungen vorgenommen. Als nächstes auf der Tagesordnung stehen die Migration des FTP-Dienstes (ftp.hadiko.de, inklusive der PyPi-Mirrors pypi.hadiko.de) von NGINX zu Apache httpd und damit die Persistierung der Konfiguration mittels Puppet. Für den direkten FTP-Zugriff wird voraussichtlich weiterhin ProFTPD verwendet werden, allerdings auch aus Docker herausmigriert. Dies ebnet auch den Weg für die Wiedereinrichtung der Repository-Mirrors für Gentoo, Debian und Arch Linux, die das HaDiNet früher schon bereitgestellt hat.

Bei den Arbeiten kann es immer noch zu unangekündigten Ausfällen kommen.

Ausfälle und Wartung von Samba-Shares und FTP-Server

Aktuell kommt es leider aus noch ungeklärten Gründen zu unregelmäßigen Ausfällen der Samba-Shares. Unsere Techniker sind informiert und arbeiten mit Hochdruck im letzten noch übrigen Quäntchen ihrer Freizeit an der Lösung des Problems.

Aus diesem Grund raten wir bis auf Weiteres dringend davon ab, langlebige Verbindungen zum Share (wie z. B. das Einbinden eines TrueCrypt-Containers) offen zu halten. Wir empfehlen, diese Dateien sicherheitshalber lokal zu speichern. Dies betrifft auch solche, auf die ihr zeitkritisch Zugriff benötigt, da im Zuge der Wartungsarbeiten eine ununterbrochene Verfügbarkeit der Shares nicht garantiert werden kann. Es werden aber keine Daten auf den Shares verloren gehen, die Unerreichbarkeit ist nur vorübergehend.

Im Rahmen dieser Wartungen kann es auch zu längerfristigen (im Stundenbereich liegenden) Ausfällen der Shares sowie des FTP-Servers kommen.

Wir bitten die Unannehmlichkeiten zu entschuldigen und danken für euer Verständnis.

Wartung Shares

Kurzmitteilung

Der Storage Server, der unter anderem die Shares und den FTP-Dienst bereitstellt, wird aufgrund von Wartungsarbeiten am Freitag, den 09.10.2020 ab 22:00, ggf. kurzzeitig nicht verfügbar sein. Wir gehen nicht davon aus, dass die Arbeiten länger als eine Stunde dauern.

Grund für die Wartung ist eine Erweiterung des Hautspeichers (RAM). Dies ist notwendig, um der aktuellen Auslastung des Servers gerecht zu werden, genügend Platz für den ZFS-ARC Cache bereitzustellen und euch in Zukunft noch mehr Dienste anbieten zu können! Wenn der RAM-Hotplug funktioniert, wird es nicht mal zu einem Ausfall kommen.

UPDATE 02.10.2020 22:45: Aufgrund eines unvorhergesehenen, akuten Speichermangels musste das Upgrade doch bereits in dieser Nacht durchgeführt werden. Die Downtime am Freitag fällt damit aus. Viel Spaß beim Oktoberfest!

Wartung: Mailserver am 25.07.2020 von 22:00 Uhr bis 23:00 Uhr

Hallo HaDiKo,

heute (25.07.2020) zwischen 22:00 Uhr und 23:00 Uhr wird eine Wartung am Mailserver durchgeführt. Es stehen in dieser Zeit der Mailinglistenserver (lists.hadiko.de), das Ticketsystem (rt.hadiko.de) und der Mailempfang sowie -versand nicht zur Verfügung.

Im Zuge der Ursachenforschung für die gestern bekanntgegebenen Probleme vom Mailinglistenserver ist aufgefallen, dass die Replikationen unseres LDAP-Servers (Benutzer- und Gruppendatenbank), auf die u.a. der Mailserver und der Listenserver zugreifen, Probleme mit der Synchronisation haben, wodurch sie fehlerhaft sind.

Wir werden ab 22:00 Uhr beginnen die genannten Dienste herunterzufahren, damit wir die Replikation neu erstellen können.
Bis spätestens 23:00 Uhr stehen wieder alle Dienste ohne Einschränkung zur Verfügung.

E-Mails, die während der Wartung eingehen, werden verzögert zugestellt.

Den aktuellen Stand der Wartung könnt ihr hier auf dem Blog verfolgen.

Update 22:13 Uhr: Alle Dienste sind aus und nicht mehr verfügbar.
Update 22:34 Uhr: Die Replikation ist neu gebaut und die Dienste werden wieder gestartet.
Update 22:39 Uhr: Alle Dienste sind wieder gestartet. Der Mailserver arbeitet alle Mails ab, die noch nicht zugestellt worden sind.
Update 22:42 Uhr: Downtime/Wartung zu Ende.

Störung: Synchronisationsprobleme Hausmailinglisten

Seit einiger Zeit hat unser Mailinglisten-Server, welcher u. a. die Hauslisten verwaltet, Probleme mit der Synchronisation der Mitglieder.
Betroffene Personen erhalten Mails mit dem Inhalt: „Ihre Adresse (benutzername@hadiko.de) wurde von der Liste hauskX@lists.hadiko.de entfernt, wahrscheinlich, weil wir Zustellfehler für Ihre Adresse erhalten haben.“
Die Fehlermeldung ist generisch und in diesem Fall nicht zutreffend.
Wir arbeiten mit Hochdruck an einer Lösung der Probleme und bitten die o. g. Mails bzgl. Austragung zu ignorieren. Die erneute Eintragung erfolgt automatisch.
Wir informieren euch, sobald die Störung behoben ist.
=== English version ===
Our mailing list server (which e.g. manages the mailings to each house (hauskX)) has been having issues with synchronizing its members for some time.
Affected people receive an e-mail with the content „Ihre Adresse (benutzername@hadiko.de) wurde von der Liste hauskX@lists.hadiko.de entfernt, wahrscheinlich, weil wir Zustellfehler für Ihre Adresse erhalten haben.“
This text is generic for removals of subscribers and does not fit in this case.
We are working on a solution to the problem and ask you to ignore these mails. Removed users are automatically added back to the list.
We’ll inform you once the problems have been solved.

Shares wieder online

Der Stromausfall letzte Woche hat ja leider unsere Shares mitgenommen. Diese sind nun wieder online und wie gewohnt (sogar besser!) unter smb://shares.hadiko.de erreichbar (für Windows-Benutzer: \\shares.hadiko.de). Aktuell stehen nur die Gruppenshares zur Verfügung, die persönlichen Shares werden aber bald nachgeliefert.

Bitte beachtet, dass das Setup noch nicht ganz fertig ist. Es kann also in nächster Zeit immer wieder zu kurzfristig ausfällen kommen, wenn Einstellungen am System vorgenommen werden.

Der öffentliche FTP-Server, der immer unter ftp.hadiko.de zu erreichen war, wird gerade noch fertiggestellt.

Im Wiki findet ihr eine Anleitung zum Einrichten der Shares auf eurem Rechner.

Falls ihr Probleme beim Zugriff habt, wendet euch an den HaDiNet-Support.

Update 23.10.: Persönliche Shares (homedirs) funktionieren auch wieder.