Replikation und Erasure Coding für Objektspeicher

Die einfachste Form zur Sicherung der Datenredundanz ist die Replikation. Dabei werden vollständige Kopien eines Inhaltsfragments erstellt und auf verschiedenen Servern oder Subclustern abgelegt. Da bei der Replikation Daten zusammenhängend gespeichert werden, erfolgt die Bereitstellung des Inhalts nach Erkennung des ersten Bits schnell und effizient, ohne dass eine „Rehydrierung“ erforderlich ist.

Die Replikation kann so einfach oder komplex wie nötig sein, das heißt, Sie können einen dezentralen Cluster für die Notfallwiederherstellung oder sogar eine Replikation in beliebiger Zahl für die Zusammenarbeit und Datenlokalisierung erstellen. Da die Daten auf Domänenbasis repliziert werden, können Sie die zu replizierenden Daten und den Replikationsort beliebig wählen. Swarm unterstützt sowohl synchrone als auch asynchrone Replikation.

Eine oder mehrere zusätzliche Kopien eines Originalobjekts werden erstellt und gespeichert, die dann bei einem möglichen Verlust des Originals zur Verfügung stehen. Selbst bei einem katastrophalen Festplattenausfall wird der gesamte Swarm-Cluster an der aktiven Wiederherstellung beteiligt und kehrt innerhalb relativ kurzer Zeit zur vollständigen Replikation zurück. Durch die schnelle Wiederherstellung verkürzt Swarm das Zeitfenster, in dem der Cluster durch einen weiteren Festplattenausfall beeinträchtigt werden könnte. Wenn Sie drei Replikate für ein Objekt wählen, gewährleisten die beiden verbleibenden Replikate effektiv, dass sehr schnell ein drittes Replikat hergestellt wird.

Erasure Coding zeichnet sich durch Datensicherung bei geringerer Standfläche aus und eignet sich ideal für mittelgroße Dateien und große Content-Speicher. Erasure Coding in Swarm unterteilt Dateien in viele Datensegmente und berechnet dann Paritätssegmente. Dies führt zu einer Gesamtzahl von Segmenten, die weniger Kapazität und Ressourcen binden als eine zusätzliche Kopie.

Die Dateien werden in mehrere Datensegmente (K) und zusätzliche Paritätssegmente (P) unterteilt, die auf dem Inhalt der Datensegmente basieren. Dies führt zu einer Gesamtzahl (M) an Segmenten (K + P = M), die auf M verschiedene Swarm-Server oder Subcluster verteilt werden.

Erasure Coding ist mit RAID auf Objektebene vergleichbar. Wenn eine beliebige Anzahl von Festplatten ausfällt, arbeiten alle Server in Swarm parallel daran, die Situation so schnell wie möglich zu bereinigen, sodass die Daten wieder vollständig geschützt sind. Dabei können Daten- und Paritätssegmente auf mehreren Festplatten verteilt sein. Der Cluster kann so konfiguriert werden, dass er beliebige Anforderungen an die Verfügbarkeit erfüllt.

Außerdem beobachtet Swarm den Zustand der Festplatten im Hinblick auf mögliche Probleme und stellt sicher, dass Daten vorausschauend kopiert und geschützt werden. Bei diesem Prozess werden potenzielle Probleme erkannt, bevor eine Festplatte ausfällt.