netcup News
SystemRescue Linux – Referenzstory
16.03.2023, Kategorie: Kooperation
Autor: Gerd v. Egidy (SystemRescue)
Über SystemRescue
SystemRescue (früher: SystemRescueCD) ist eine Linux-Distribution mit dem speziellen Fokus auf Diagnose und Reparatur von Computerproblemen, wie z.B. nicht mehr bootenden Systemen, defekten Dateisystemen, etc. Aber es sind auch Programme für Backup, Imaging, Hardware-Fehlererkennung und zur Automatisierung von Administrationsaufgaben enthalten.
Es startet als Live-System direkt von einem USB-Stick, DVD oder über das Netzwerk und muss nicht vorher auf der Festplatte installiert werden. Auf allen netcup Servern kann SystemRescue direkt als eines der offiziellen Boot-Images aus dem Server Control Panel (SCP) heraus gestartet werden.
SystemRescue wird seit 2003 kontinuierlich von einem internationalen Team weiterentwickelt.
Downloads und Mirror-Konzept
SystemRescue wird als .iso-Images mit momentan etwa 750 MB Größe veröffentlicht. Diese .iso-Dateien müssen von den über die ganze Welt verstreuten Nutzern heruntergeladen werden können. Bisher wird dafür der Anbieter SourceForge verwendet, dessen Download-Geschwindigkeiten in letzter Zeit aber öfters zu
Wünschen übrig lassen, so dass der Download je nach Tageszeit und zugewiesenem Server auch mal länger als 15 Minuten dauern kann.
Das soll jetzt verbessert werden. Zum einen hat sich der Content Delivery Network (CDN) Provider Fastly bereiterklärt die Dateien von SystemRescue zu hosten. Allerdings gilt das Angebot von Fastly nur für ein begrenztes Übertragungsvolumen. Daher, und um nicht alleine von einem Anbieter abhängig zu sein, baut SystemRescue parallel, u.a. mit Hilfe von netcup, eine eigene Mirror-Infrastruktur für die Downloads auf.
Weltweit verteilt gibt es viele Universitäten, Netzwerkprovider und Firmen die Dateien von OpenSource-Projekten herunterladen und wieder zum Download für andere Nutzer in Ihrer Nähe bereitstellen. Dies wird Mirror-Server genannt und ist ein in der OpenSource-Welt seit vielen Jahren etabliertes Konzept. Allerdings ist es für die
Endanwender aufwendiger einen geeigneten Mirror-Server in Ihrer Nähe aus einer großen Liste heraus auszusuchen. Gleichzeitig ist es für eine Distribution wie SystemRescue nötig zu überwachen welche von den Mirror-Servern gut erreichbar sind und über aktuelle Daten verfügen.
Beide Aufgaben werden von dem Programm MirrorManager, entwickelt als Teil des Fedora-Projekts, gelöst. MirrorManager ist so aufgebaut dass jede Distribution einen zentralen Server betreibt auf dem eine Liste aller Mirror-Server gepflegt wird. Von dort aus werden diese regelmäßig abgefragt und so auf Erreichbarkeit und Aktualität geprüft. Diese Serverliste wird dann mit einer Länderliste von IP-Netzen und AS-Nummern verknüpft, so dass für jede mögliche IP eines Nutzers die nächstgelegenen Mirror-Server ermittelt werden.
Diese Aufgaben übernimmt ein von netcup gesponserter VPS 1000 G10.
Mirror-Redirector
Möchte ein Nutzer die aktuelle Version von SystemRescue herunterladen, soll er nur einen Link anklicken und dann automatisch zu dem ihm am nächsten gelegenen Mirror-Server weitergeleitet werden. Diese Weiterleitung wird anhand der von MirrorManager wie oben beschrieben erstellten Liste gemacht.
Während ein kurzzeitiger Ausfall des MirrorManager-Servers nur bedeutet dass zeitweise keine neuen Mirror-Server mehr hinzugefügt werden können, würde ein Ausfall des Redirectors bedeuten, dass die Nutzer SystemRescue nicht mehr herunterladen können. Daher werden an die Zuverlässigkeit des Mirror-Redirector-Dienstes erhöhte Anforderungen gestellt.
Als Projekt von Freiwilligen verfügt SystemRescue nicht über ein Rund um die Uhr erreichbares Notfallteam. Die kritische Infrastruktur muss daher so ausgelegt sein, dass sie für einige Zeit vollautomatisch auf Ausfälle reagieren kann.
Hochverfügbarkeit
Auch wenn netcup Lösungen zur Hochverfügbarkeit wie Failover IPs und mehrere Serverstandorte im Programm hat, bot sich für SystemRescue eine andere Lösung an.
Der Mirror-Redirector-Dienst läuft dabei gleichzeitig auf einem weiteren von netcup gesponserten VPS 1000 G10, als auch auf einem ähnlichen Server beim Anbieter OVH. Im Normalfall sind beide Server unter dem selben DNS-Hostnamen als gleichwertige A- und AAAA-Einträge konfiguriert. Die Nutzer werden dadurch zufällig zu einem der beiden Server weitergeleitet. Für die Funktion des Redirects werden nur wenige Bytes übertragen, daher ist eine geografische Zuordnung der Nutzer etc. an dieser Stelle nicht notwendig.
Der Hostname wird dabei vom DNS-Dienst Amazon Route 53 verwaltet. Dort läuft ein Überwachungsdienst der permanent beide Server von verschiedenen Standorten aus per HTTPS anspricht und so prüft ob sie erreichbar sind und die erwartete Antwort zurückliefern. Sollte ein Server nicht antworten oder einen Fehlercode
liefern, wird er sofort aus den DNS-Antworten entfernt. Dieses Prinzip wird DNS Failover genannt. Selbstverständlich kann ein Server auch z.B. für geplante Wartungsarbeiten gezielt aus dem DNS-Eintrag entfernt werden.
Das DNS Failover in Kombination mit den 2 VPS bei verschiedenen Anbietern verspricht eine sehr hohe Verfügbarkeit bei gleichzeitig überschaubarem Mehraufwand für die Hochverfügbarkeit.
Automatische Konfiguration & Rollout
SystemRescue verwendet bereits seit Jahren erfolgreich Ansible für das Konfigurationsmanagement der Server. Es erlaubt die Konfiguration auf allen Servern einheitlich zu halten, die Konfiguration bei Bedarf schnell wiederherzustellen und alle Änderungen mit git sauber zu pflegen und zu dokumentieren.
Ganz dem OpenSource-Gedanken folgend werden auch diese Daten veröffentlicht und können von Interessierten wiederverwendet, angepasst und verbessert werden. Nur einige private Daten wie Passwörter und IP-Listen sind in einem mit git-crypt verschlüsselten privaten Submodule-Repository abgelegt.
Auf Gitlab kann man den Fortschritt bei der Implementation der hier beschriebenen Funktionen beobachten oder bei Interesse auch Fragen stellen oder sich mit einbringen.
Section 77 e.V. – Referenzstory
27.01.2023, Kategorie: Kooperation
Autor: Tobias Paepke, Section 77 e.V.
Im Frühjahr 2021 hat Section77 e.V. im Rahmen der Sanierung des Quartiers Bahnhof- Schlachthof eine Mikroprojektförderung erhalten. Das hat uns ermöglicht, ein professionelles LoRaWAN-Gateway sowie das Material für Umweltsensoren anzuschaffen. In Workshops boten wir interessierten Bürgerinnen und Bürgern die Möglichkeit, die Sensoren mit der Unterstützung unserer Mitglieder zusammenzubauen, zu programmieren und in Betrieb zu nehmen. Mit einem engmaschigen Umweltmessnetzwerk wollten wir die Luftqualität im Offenburger Sanierungsgebiet erfassen und Menschen für Sensorik und Citizen Science begeistern.
Um diese Infrastruktur zu verwalten und zu überwachen, hat netcup uns einen virtuellen Server kostenfrei zu Verfügung gestellt.
Über das Projekt
Im Rahmen des Projektes haben wir insgesamt vier Workshops veranstaltet, bei denen wir in Summe 28 Sensoren aufgebaut haben.
Die Workshops richteten sich primär an Personen, die im Sanierungsgebiet wohnen. Daher haben wir den Workshop inhaltlich so gestaltet, dass er auch ohne technische Vorkenntnisse erfolgreich absolviert werden konnte.
Wir haben dazu eine bereits bestehende Platine etwas modifiziert und an unsere Anforderungen angepasst. Die Teilnehmenden mussten so nur noch ein paar Lötpunkte setzen – ganz ohne wäre es nicht das Gleiche gewesen.
Die Software haben wir dann gemeinsam auf den Mikrocontroller aufgespielt und die Elektronik in das selbst entworfene und 3D-gedruckte Gehäuse eingesetzt. Alle Teilnehmenden hatten zum Ende des Workshops einen funktionierenden Feinstaubsensor in Händen!
Durch die Fördermittel aus dem Mikroprojekt konnten wir ein LoRaWAN-Gateway beschaffen, welches wir nun auf dem Dach unseres Hackspaces betreiben. Die Workshopteilnehmenden werden so mit LoRaWAN versorgt.
Diese Feinstaubsensoren werden über die von netcup bereitgestellten VPS 2000 G9 VM überwacht und als Einstiegspunkt zur Administration des Gateways genutzt. Weiterhin werden Daten zur weiteren Auswertung auf dem Server gespeichert, um mithilfe von OpenSource Software wie Grafana, Prometheus und InfluxDB ausgewertet zu werden.
Im Rahmen des Mikroprojektes kam der Kontakt zu den Technischen Betrieben Offenburg (TBO) zustande. Diese sind u. a. für die Müllentsorgung im Stadtgebiet Offenburg zuständig und waren gerade dabei, die Mülleimer im Stadtgebiet mit Füllstandsensoren zu versehen. Die Kosten für eine Überprüfungsfahrt (“Ist die Tonne voll genug, so dass sich eine Leerung lohnt?”) liegen fast gleichauf mit der Leerung selbst. Über fernabfragende Füllstandsensoren können die Fahrten aber gezielt geplant werden. Die TBO war sehr froh, dass wir unser Gateway gerade zum richtigen Zeitpunkt in Betrieb genommen haben, weil sie so ihren Piloten mit LoRaWAN anbinden konnten. Neben der geringeren Strahlung durch LoRaWAN ist im Gegensatz zu Mobilfunk der Energiebedarf auch viel geringer, so dass die Batterien deutlich seltener getauscht werden müssen. Der Pilot lief so gut, dass die TBO sich nun entschieden hat, die Tonnen mit LoRaWAN anzubinden.
Insgesamt haben wir 28 Haushalte im Sanierungsgebiet mit Feinstaubsensoren versorgt. Feinstaubsensoren, deren Daten per opensensemap.org für alle zur Verfügung stehen und das dortige Sensornetzwerk verdichten. Durch das LoRaWAN-Gateway auf dem Dach werden nicht nur diese Sensoren versorgt, sondern auch die Füllstandsensoren der Mülltonnen und weitere Sensoren im Stadtgebiet.
Durch die Unterstützung von netcup haben wir die Möglichkeit, als Inkubator für weitere Projekte wie Lösungen auf Basis von LoRaWan und anderen IoT-Geräten zu dienen abseits der ausgetretenen Pfade und anderen Cloud-Lösungen.
Es entstehen in der Community weitere Ideen, die sich um aktuelle Themen wie Balkonkraftwerke oder Automatisierung des Smart Homes drehen.
