Hardwareleitfaden für die Produktion

PlanungsüberlegungenCopy Anchor Link

Bewerten Sie vor der Bereitstellung von RustFS in der Produktion über einen Zeitraum von zwei bis drei Wochen Ihre Arbeitslast und Ihren Kapazitätsbedarf. Konzentrieren Sie sich auf die folgenden Faktoren:

1. Datenmenge

   • Anfängliche Datenmenge: Schätzen Sie die nutzbare Datenmenge zum Produktivstart (in TiB), einschließlich des Verhältnisses von heißen zu kalten Daten.
   • Wachstumsprognose: Schätzen Sie das Datenwachstum der nächsten 24 Monate anhand der Geschäftspläne. Wir empfehlen, das Wachstum quartalsweise zu modellieren.
   • Objektanzahl: Schätzen Sie die Gesamtzahl der Objekte aus der durchschnittlichen Objektgröße (idealerweise 128 KB bis 1 MB). Bereitstellungen mit mehr als 100 Millionen Objekten brauchen zusätzliche Abstimmung.

2. Eigenschaften der Arbeitslast

   • Zugriffsmuster: Unterscheiden Sie leselastige Arbeitslasten (etwa Inhaltsverteilung) von schreiblastigen Arbeitslasten (etwa Protokollerfassung).
   • Einhaltung von Vorschriften: Aufbewahrungsfristen müssen die Branchenvorschriften erfüllen (einige Finanzvorschriften verlangen beispielsweise eine Aufbewahrung von mindestens fünf Jahren).
   • Bereitstellung an mehreren Standorten: Bewerten Sie bei regionsübergreifenden Bereitstellungen die Netzwerklatenz (idealerweise unter 50 ms) und die Bandbreitenkosten.

3. Speicherarchitektur

   • Bucket-Planung: Organisieren Sie Buckets nach Geschäftseinheit. Wir empfehlen höchstens 500 aktive Buckets je Cluster.
   • Notfallwiederherstellung: Wählen Sie Aktiv-Aktiv-Replikation (empfohlen) oder asynchrone Replikation, je nachdem, wie kritisch die Daten sind.

Hardware-KonfigurationsmatrixCopy Anchor Link

Basiskonfigurationen auf Grundlage von Lasttestergebnissen:

Bereitstellungsrichtlinien:

1. Verwenden Sie homogene Knoten: Jeder Knoten sollte identische Hardware aus derselben Charge und dieselben Firmware-Versionen aufweisen.
2. Das Netzwerk muss eine Leaf-Spine-Topologie, ein physisch getrenntes Speichernetz und zwei Uplink-Verbindungen verwenden.
3. Wir empfehlen 2U-Server mit mindestens 12 Laufwerksschächten je Knoten, abhängig von der benötigten Anzahl der Datenträger.

LeistungsoptimierungCopy Anchor Link

Optimierung der Netzwerktopologie (höchste Priorität)Copy Anchor Link

• Bandbreitenbemessung: Planen Sie 0,5 Gbps Bandbreite je TB nutzbarer Daten ein (100 TB Daten benötigen beispielsweise 50 Gbps dedizierte Bandbreite).
• Latenzanforderungen:
  • P99-Latenz zwischen Knoten ≤ 2 ms
  • Latenz zwischen Racks ≤ 5 ms

Abstimmung des SpeichersubsystemsCopy Anchor Link

• Controller-Konfiguration:
  • Aktivieren Sie den Vorauslese-Cache (mindestens 256 MB empfohlen).
  • Deaktivieren Sie alle RAID-Funktionen und verwenden Sie den Durchleitungsmodus (HBA/JBOD).
  • Prüfen Sie den Zustand der BBU regelmäßig.
• SSD-Parameter:
  • Reservieren Sie 20 % Überprovisionierung (OP), um die Lebensdauer zu verbessern.
  • Aktivieren Sie atomare Schreibvorgänge (erfordert Hardwareunterstützung).

ArbeitsspeicherzuweisungCopy Anchor Link

• Zuweisungsverhältnisse:
  • Metadaten-Cache: 60 % des gesamten Arbeitsspeichers
  • Lese- und Schreibpuffer: 30 %
  • Systemreserve: 10 %

Referenzmodell für das NetzwerkdesignCopy Anchor Link

Netzwerkbandbreite und DatenträgeranzahlCopy Anchor Link

Beispiel: Eine Videoplattform betreibt einen Cluster mit 16 Knoten. Jeder Knoten verfügt über:

• 8×7,68 TB NVMe-SSD
• zwei NVIDIA ConnectX-5-NICs mit 100GbE

Der Cluster erreicht einen aggregierten Durchsatz von 38 GB/s.

Bemessung des ArbeitsspeichersCopy Anchor Link

Bemessen Sie den Arbeitsspeicher anhand der Datenträgerkapazität und des Lasttyps mit der folgenden Formel:

# Memory calculation formula (unit: GB)
def calc_memory(data_tb, access_pattern):
 base = 32 # Base memory
 if access_pattern == "read_heavy":
 return base + data_tb * 0.8
 elif access_pattern == "write_heavy":
 return base + data_tb * 1.2
 else: # mixed
 return base + data_tb * 1.0

Referenzgrößen:

SpeicherrichtlinienCopy Anchor Link

Speichermedien auswählenCopy Anchor Link

DateisystemkonfigurationCopy Anchor Link

sudo mkfs.xfs -f -i size=512 -n ftype=1 -L RUSTFS0 /dev/sdb

HochverfügbarkeitCopy Anchor Link

1. Stromversorgung:

   • Verwenden Sie doppelte (redundante) Netzteile.
   • Schließen Sie jede PDU an eine eigene Einspeisung an.
   • Sehen Sie eine USV mit mindestens 30 Minuten Überbrückungszeit vor.

2. Kühlungsanforderungen:

   • Leistungsdichte im Rack ≤ 15 kW je Rack.
   • Halten Sie die Temperaturdifferenz zwischen Einlass und Auslass (ΔT) bei höchstens 8 °C.

3. Firmware-Verwaltung:

   • Pflegen Sie eine Hardware-Kompatibilitätsmatrix.
   • Vereinheitlichen Sie die Firmware-Versionen auf allen Knoten.

Diese Anleitung basiert auf der neuesten Entwicklungsversion von RustFS. Stimmen Sie diese Einstellungen für Produktionsbereitstellungen anhand der Dokumentation Ihres Hardwareherstellers ab. Wenden Sie sich für vierteljährliche Bewertungen des Hardwarezustands an RustFS.