#anoxinon

So gestern Nacht noch einen Fehler beim Proxy und Remote IP Rate Limit Thema für https://social.anoxinon.de gelöst. Wenn ihr da die letzten Tage noch hineingerannt seid, sollte es jetzt verschwunden sein. Gerne aber mal Rückmeldung geben, #Anoxinon #Mastodon #Nginx #NPMPLus

Es ist Vollbracht, die #SideKiq Queues von #Mastodon sind alle leer. Wir ( #Anoxinon ) sind damit wieder UpToDate und jetzt wo der Server aufgeholt hat, ist die IO auch deutlich gesunken. Die Nachwirkungen des Recovers sind damit durch. Natürlich gibt es aber noch so einige weitere Dinge wie Dokumentation Optimieren, Auf räum Arbeiten usw.

So damit sind alle Queues bis auf default leer; Diese hat noch 245.750, wird aber jetzt gut abgebaut. Die Doppelten Einträge in preview_cards scheinen aber auch noch mal sehr relevant zu sein, dessen löschen scheint die DB ausgesprochen zu entlasten.

#Anoxinon #Mastodon #Postgres #SideKiq

Liebes #Fediverse und vor allem liebe #mastoadmin Gruppe. Wie ist euer aktueller Stand zu #SideKiq und deren Worker und Queues. Früher hatte man die ja auf ggf. mehrere laufende #SystemD Units aufgeteilt, ich meine aber das dies nicht mehr aktuell ist und keinen Vorteil bringen sollte. Aktuell sieht es bei uns halt wie folgt aus und ich frage, mich warum ich ihn nicht dazu bekomme mehr zu machen. DB_POOL:140 worker: 128 queues: default, 20 push, 9 ingress, 30 mailers, 3 #anoxinon Tipps?

Der #Verein #Anoxinon braucht eure Hilfe #Anoxinon bietet euch eine beliebte #Mastodon-Instanz an. Leider kam es in der letzten Woche zu einem Hardware-Ausfall. Jetzt könnt ihr dem Verein helfen und damit das #Fediverse stärken. https://gnulinux.ch/der-verein-anoxinon-braucht-eure-hilfe

Die Instanz ist wieder da! 🎉 Unser früherer Admin @Muto@social.anoxinon.de konnte es fixen. Dass BorgMatic Postgres nicht sichert war eine bewusste Entscheidung – ein Filesystem-Backup einer laufenden DB ist ohnehin nicht konsistent. Es gab andere Backup-Wege, die undokumentiert mit Personalwechsel verschüttet wurden. Danke an @YoSiJo@social.anoxinon.de und @Muto@social.anoxinon.de, die das heute gemeinsam gelöst haben! 🙏 Die Admins sind nach einer langen Nachtschicht schlafen gegangen. Ein ausführliches Update folgt. #Anoxinon #Mastodon #Backup

Wir brauchen mal eine Community Meinungsbild. Wie ihr mitbekommen habt, hat uns ein doppelter NVME Ausfall erwischt und ein Blinder Fleck im Backup das genickt gebrochen. Mehr Infos unter folgenden Seiten: https://anoxinon.de/blog/mastodon_ausfall_datenrettung_2026/ https://status.anoxinon.de/ https://gnulinux.ch/in-eigener-sache-unsere-voruebergehende-mastodon-praesenz Wir sind nun alle Backup Stände durch, letzter DB stand den wir hätten, wäre vom 2023-11-15T23:43:19.019997, was bescheiden alt ist. Wir haben nun folgende Option: Datenrettung: Was aber mit Einsenden und Kosten mehrere Wochen wären und sicherlich an die 2-3K€ sind. Alten DB Stand nutzten: Viele neue Accounts wären verloren und enorm viele Post und Historie. Tabula rasa: Instanz gänzlich neu aufsetzt und frisch starten. Wir als Techniker und Vorstand, tun uns schwer mit der Entscheidung, weil wir die Kosten sicherlich gestemmt bekommen, aber ohne sind sie dennoch nicht; Vor allem aber es so einiges an Zeit brauchen wird, bis das ganz durch ist. Wir glauben aber das es die Sache wert ist, wollen aber hier nicht einen falschen Eindruck hinterher arbeiten, wenn die Community dies anders sieht. Daher hier die bitte nach einem Meinungsbild. Umfrage: https://nc.anoxinon.de/apps/polls/s/5V89KvIc #Anoxinon #Mastodon #Restore #Backup #Datenbank #Fediverse

Zwei Festplatten auf einmal ausgestiegen und unvollständiges Backup. Was ein Albtraum. https://status.anoxinon.de/status/anoxinon #anoxinon #RAID #backup #datenbank #restore #postgres

Anoxinon e.V. - social.anoxinon.de - Status Wie sicherlich einige von euch schon mitbekommen haben, ist unsere #Mastodon Instanz und https://social.anoxinon.de down. Hintergrund ist das in der Nacht die 2 RootFS NVMEs kurz hintereinander ausgestiegen sind und daher auch das RAID1 nicht überlebt hat. Also sind wir den Weg über das Restore des Backups gegangen, wovon wir mit ProxmoxBackupServer (PBS) und Borg via BorgMatic sogar zwei hatten. Es gab einen Blinden Fleck in unseren Backups, den wir bis dato nicht auf dem Schirm hatten, die Postgres Datenbank, welche von keinem der beiden Backup erfasst wurde. Daher können wir https://social.anoxinon.de aktuell nicht vollständig wiederherstellen, da wir alles anderen haben, aber nicht die Datenbank. Aktuell gehen wir noch mal alle Backups durch und klären zusätzlich eine Daten Recovery Option. Bitte shared, teilt, retröötet usw. diesen Post hier, sodass er fleißig Verbreitung findet, damit das Fediverse Informiert wird. #Anoxinon #Mastodon #RAID #Restore #Backup #Proxmox #ProxmoxBackupServer #PBS #Borg #BorgMatic #PostGres #Datenbank #DB #Fediverse

Die Fediverse Instanz social.anoxinon.de ist down. Es sind gleichzeitig 2 Festplatten abgeschmiert und mit dem Backup gibt es leider schwerwiegende Probleme. Kurzfristig wird es wohl leider keine Lösung geben. Es wird intensiv gearbeitet. Ohne kostspielige Datenrettung wird es aber voraussichtlich nicht gehen. Ausführliche Infos folgen voraussichtlich als Blogbeitrag. #Anoxinon #Fediverse

Queer Inklusive Woche Berlin-Lichtenberg (Unterstützt von Anoxinon e.V.) Save the date: 1.12.2026 bis 11.12.2026 Brücken bauen: Gemeinsam für Menschenrechte und Inklusion ✨ https://www.berlin.de/ba-lichtenberg/aktuelles/pressemitteilungen/2026/pressemitteilung.1690982.php #Berlin #Lichtenberg #Anoxinon #Queer #Inklusiv