Laufwerksoptionen für Ihren OpenZFS TrueNAS Core®-Server
ATA, SCSI, SATA, SAS, NL-SAS, SSD, PFP, 512n, 4Kn: Verwirrende Abkürzungen, Laufwerksparameter und Optionen für Ihre ZFS-Installationen auf einen Blick.
Laufwerksoptionen für TrueNAS-Server
Festplatten sind entscheidende Bausteine jeder Speicherlösung. Immerhin beeinflussen die Eigenschaften sowohl der Festplatte als auch des beabsichtigen Dateisystems die Leistung der Lösung erheblich. Wenn Sie eine Festplatte für Ihren ZFS-Speicher auswählen, sollten Sie die folgenden Parameter festlegen:
- Physikalische Schnittstelle
- Kommunikationsprotokoll
- Typ
- Kapazität
- MTBF
- Benutzer-Berechtigungen
- Stromverbrauch und Geräuschpegel (nur für Festplatten relevant)
Es ist wichtig, zwischen der Art der physischen Schnittstelle der Festplatte und dem verwendeten Protokoll zu unterscheiden. Es ist auch wichtig zu verstehen, wie der Formfaktor in Verbindung mit der physikalischen Schnittstelle und dem verwendeten Protokoll die verfügbaren Speicherkapazitäten und die technischen Fähigkeiten einer Festplatte, wie z. B. Schutz vor Stromausfall und Ausdauer, beeinflussen kann.
Schnittstelle: SATA, SAS, U.2 und PCIe
Entscheiden Sie sich für die Art der physischen Schnittstelle, die Sie verwenden wollen. Dies wirkt sich auf viele andere Faktoren aus, zum Beispiel auf die Backplane des Gehäuses, die IOPS der einzelnen Festplatten, die Latenzzeit und den Gesamtdurchsatz des Speicherknotens.
SAS- und SATA-Laufwerke sind heutzutage der Standard. Sie verwenden serielle Kommunikation, was bedeutet, dass einige dieser Laufwerke Daten auf zwei aktiven Kommunikationskanälen gleichzeitig über dasselbe Kabel empfangen und senden können. SSDs sind relativ neu, und einige von ihnen bieten erstaunliche Lese- und Schreibgeschwindigkeiten, aber der Preis ist für die meisten Speicheranwendungen mit hoher Dichte immer noch ein Hindernis. Das bedeutet nicht, dass Sie SSDs sofort von Ihrer Einkaufsliste streichen sollten, denn wenn sie intelligent eingesetzt werden, können sie die Leistung Ihres OpenZFS-Servers erheblich verbessern.
Vor-SATA-Ära – Ein bisschen Geschichte
Vor SATA gab es Parallel ATA (PATA) und Small Computer Systems Interface (SCSI) Festplatten. Elektromagnetische Störungen innerhalb des einzelnen Servers und höhere Herstellungskosten waren wichtige Gründe dafür, dass die Industrie diese Standards aufgegeben haben und zu den neueren SATA/SAS-Verkabelungsdesigns gewechselt sind.
Für parallele Übertragung wurden 40- oder 80-adriges Flachbandkabel verwendet – je nachdem, ob ein oder zwei Adern zur Übertragung genutzt wurden. Aufgrund der großen Pin-Anzahl waren die älteren parallelen PATA-Kabel breiter und dünner. Wie bei der parallelen Kommunikation unterstützten die Kabel zwei getrennte Kommunikationskanäle für das Senden und Empfangen von Daten mit einer Vielzahl von Kanälen (Adern) darin. Dies bedeutete, dass sie mehr Datenverkehr auf einmal bewältigen konnten, aber sie hatten wesentliche negative Aspekte.
PATA Nachteile
- Sie waren relativ groß und beanspruchten mehr Platz im Servergehäuse (außerdem waren sie teurer in der Herstellung)
- PATA ist Halbduplex. Datenübertragung und -empfang können nicht gleichzeitig erfolgen.
- Sie litten unter kabelinternen elektromagnetischen Störungen
- Bei PATA-Festplatten mussten Jumper gesetzt werden, um primäre und sekundäre Geräte für den Bootvorgang zu identifizieren.
- PATA-Anschlüsse waren groß. Ein durchschnittliches PC-Mainboard hatte maximal zwei PATA-Ports eingebaut.
- Über PATA-Kabel konnten maximal zwei Festplatten versorgt werden, so dass insgesamt nur vier Festplatten pro PC möglich waren.
Elektrischer Strom erzeugt (auch in Datenkabeln) Magnetfelder um die jeweilige Leitung, durch die er fließt. Wenn zwei Kabel parallel zueinander verlaufen, kreuzen sich ihre Magnetfelder und stören die Datenübertragung. Dies kann entweder zu einer vollständigen Unterbrechung der Übertragung führen oder zumindest die Latenzzeit der Übertragung erhöhen.
Da es sich bei PATA um ein Halb-Duplex-Verfahren handelt, ist auch die Interaktionsdauer zwischen dem Betriebssystem und dem Laufwerk länger, da die Datenübertragung und der Empfang nicht gleichzeitig erfolgen können. Eine Seite musste auf die andere warten.
Zwei Laufwerke, die über PATA kommunizieren
Der Wechsel zu SATA
Serielle Kommunikation und Verkabelung haben diese Probleme gelöst:
- Verwendung eines siebenpoligen Datenkabels
- Isolierung und Abschirmung der einzelnen Leitungen
- Einführung der Native Command Queuing (NCQ, integrierte Befehlsreihung) für eingehende Daten
- SATA ist Vollduplex. Datenübertragung und -empfang können also gleichzeitig erfolgen
- SATA-Anschlüsse sind viel kleiner und eine PC-Platine kann heutzutage leicht bis zu 16 davon haben.
SATA nutzt wesentlich weniger Adern im Kabel (7). Daher sind sie viel dünner, was auch den Herstellern mehr Flexibilität beim Design gibt. Die Kabel verfügen über interne Abstandshalter und eine effektive Abschirmung, um Magnetfeldstörungen zu vermeiden. Außerdem sind sie billiger in der Herstellung und lassen sich leichter ein- und ausstecken.
Native Command Queuing
Mit der seriellen Kommunikation wurde auch Native Command Queuing (NCQ) als Erweiterung des Serial ATA-Protokolls eingeführt. Diese Funktion ist für rotierende Festplatten relevant. Sie erlaubt es dem Speicherlaufwerk, aus der Warteschlange der eingehenden Aufträge auszuwählen, welcher Lese-/Schreibauftrag zuerst ausgeführt werden soll. Dadurch konnte das Laufwerk die Reihenfolge optimieren, in der die empfangenen Lese-/Schreibbefehle ausgeführt werden, was zu einer Verringerung unnötiger Bewegungen des Laufwerkskopfes führte. NCQ führte zu einer besseren Leistung, da effiziente Kopfbewegungen weniger Zeitverlust bedeuten.
Die SATA-Verkabelung ermöglichte eine höhere Signalisierungsrate und damit einen schnelleren Datendurchsatz. SATA arbeitet Halb-Duplex und differentiell über getrennte Sende- und Empfangspaare.
Zwei Geräte, die über SATA kommunizieren. Ein Gerät sendet oder empfängt über einen bestimmten Pfad
Eine großartige Funktion, die uns die neueren SATA-Controller bieten, ist das Advanced Host Controller Interface (AHCI). Wenn es im BIOS aktiviert ist, bietet es eine Reihe nützlicher Funktionen wie beispielsweise das Hot Swapping von SATA-Laufwerken. Bei den meisten Server-Boards indes ermöglichen es die Mainboard-Controller sogar aus den SATA-Laufwerken ein Software-RAID-Arrays zu bilden. Er bietet zudem eine höhere Leistung als der ältere IDE-Modus.
SATA-Controller auf einem Server-Mainboard mit dem AHCI-Modus und aktiviertem Hot-Plugging.
SCSI, der Großvater
SCSI (Small Computer System Interface) war eine alte, parallele Übertragungstechnologie, die als Alternative zu PATA/IDE diente. Es wurde verwendet, um Geräte mit Computern zu verbinden. Das „Small“-Segment des Namens ist darauf zurückzuführen, dass es für Personal- und Heim-/Bürocomputersysteme entwickelt wurde, die weitaus kleiner waren als die Mainframe-Systeme von Unternehmen.
SCSI verwendete einen eigenen Befehlssatz, und seine Schnittstellen ermöglichten es den Benutzern, bis zu 16 verschiedene Geräte (Speichergeräte, optische Geräte, Drucker, Scanner usw.) über ein einziges Kabel an denselben SCSI-Controller anzuschließen. Präzise Terminierung mit einem Endwiderstand war ein großes Problem bei SCSI. Schließlich musste das letzte Gerät an diesem Kabel mit einem Abschluss versehen werden, damit der Controller wusste, wo das Signal endet. Die Terminierung erfolgte entweder intern (in das Gerät eingebettet) oder extern, indem ein physischer Terminator an das Ende des SCSI-Kabels angeschlossen wurde. Wenn die Terminierung unsachgemäß war oder aus irgendeinem Grund durcheinandergeraten ist, wirkte es sich solange auch die gesamte Gerätekette aus, bis die Verkabelung ersetzt wurde.
Zu dieser Zeit der Stand der Technik
Ein großer Vorteil von SCSI-Festplatten war, dass sie in der Regel mit höheren Drehzahlen arbeiten als IDE-Festplatten. Während IDE-Festplatten mit 5200 Umdrehungen rotierten, arbeiteten SCSI-Festplatten in der Regel mit 10K und 15K. Schnelleres Drehen bedeutete schnelleres Lesen und Schreiben, aber auch mehr Lärm.
Ein weiterer großer Vorteil von SCSI bestand darin, dass man mehrere Festplatten an das gleiche Kabel anschließen konnte. IDE hingegen erlaubte nur zwei Festplatten pro Kabel, und IDE-fähige Mainboards konnten nur maximal vier Geräte verarbeiten.
SCSI-Festplatten waren auch teurer und wurden in der Regel in teureren/geschäftlichen Maschinen verwendet, wo die Benutzer die Vorteile von SCSI benötigten. Damals (80er und 90er Jahre) wurden die meisten Apple-Computer mit SCSI-Festplatten und Peripheriegeräten geliefert.
Von rechts nach links: SCSI-, PATA- und SATA-Kabel. Das schwarze Bauteil auf der rechten Seite ist ein SCSI-Terminator.
SAS ist das neue SCSI
SAS steht für „Serial attached SCSI“. Dies ist ein Fortschritt gegenüber der alten parallelen SCSI-Übertragung. Da es eine Verkabelung mit der gleichen Anzahl von Drähten verwendet, ist SAS dem SATA-Standard sehr ähnlich.
Was ist also der Unterschied zwischen SAS- und SATA-Verkabelung?
Bei einem SATA-Kabel sind alle Datenleitungen in einem Kabelbaum zusammengefasst. In einem SAS-Kabel sind die 4 Datenadern in 2 Kabelgruppen mit je 2 Adern aufgeteilt. Jede Gruppe enthält eine ankommende und eine abgehende Leitung. Diese Trennung ermöglicht es uns, mehr Geräte miteinander zu verbinden.
- Bei SATA-Kabeln können Sie nur die Hauptplatine direkt mit der Festplatte verbinden. Sie könnten zwar ein Erweiterungskarte anschließen, aber die kostet Geld und nimmt Platz im Server weg. Sie arbeiten außerdem über eine kurze Strecke von bis zu einem Meter.
- Mit einem SAS-Kabel können Sie Geräte in Reihe schalten – genau wie beim alten SCSI. Sie können das Motherboard sowohl an eine Festplatte als auch an eine andere Hardware mit SAS-Anschlüssen anschließen. SAS unterstützt auch größere Kabellängen von bis zu 20 Metern.
Welches ist denn die richtige Laufwerksoption, SAS oder SATA?
Die Antwort hängt stark von Ihrem Anwendungsfall ab.
Vergleicht man nur die mechanischen Datenträger (mehr zu SSDs später), bieten SATA-Laufwerke große Speicherkapazitäten zu einem vernünftigen Preis. Aufgrund ihrer relativ geringen Leistung sind SATA-Festplatten jedoch eher für dichte Speicherinstallationen geeignet, bei denen in der Regel Dutzende, Hunderte oder sogar Tausende von Festplatten verwendet werden. So können Sie die gesamte Leistung der Laufwerke nutzen. Auf der anderen Seite drehen sich SAS-Laufwerke schneller, haben die doppelte Bandbreite und IOPS von SATA und sind etwas teurer. Sie verbrauchen auch etwas mehr Strom, laufen heißer und sind lauter.
Wenn wir also nur die drehenden (mechanischen) Datenträger betrachten, bedeutet das:
SATA-Festplatten
- 80 IOPS-Durchschnitt
- 7200 Umdrehungen pro Minute (RPM)
- Größere Kapazität zum besten Preis pro Terabyte
- Guter Cache-Datenpuffer (64 und 128 MB Flash-Cache sind üblich. Enterprise-Versionen haben bis zu 512 MB)
- Angemessene MTBF
- Durchschnittlicher Stromverbrauch
- Geringere Betriebsgeräusche und Temperaturen
SAS-Festplatten
- 150 IOPS-Durchschnitt
- 10K und 15K RPM
- Große Kapazitäten, allerdings zu einem höheren Preis pro Terabyte
- Größerer Cache-Datenpuffer (256 und 512 MB Flash-Cache sind die Norm)
- Der Stromverbrauch ist etwas höher als bei SATA
- Auch die Betriebsgeräusche sind aufgrund der höheren Drehzahlen höher als bei SATA-Festplatten.
NL-SAS
Nearline-SAS ist eine SAS-Variante, die mit 7200 Umdrehungen pro Minute (RPM) läuft. NL-SAS bietet einen Mittelweg zwischen Enterprise-SAS- und Enterprise-SATA-Festplatten. Sie sind im Grunde genommen 7200RPM Enterprise SATA mit einer SAS-Schnittstelle, wobei der einzige Unterschied zwischen ihnen das Protokoll ist, das sie mit dem Server sprechen. Unter der Haube und abgesehen von der Platine/Schnittstelle sind sie mechanisch identisch. Das macht sie für viele Anwender attraktiv, denn sie bieten die hohen Kapazitäten und die gute Leistung von SATA – gepaart mit einer SAS-Schnittstelle – zu einem niedrigeren Preis als 10K/15K RPM SAS.
SAS JBODs
Ein weiterer Vorteil von SAS ist, dass SAS-Controller über externe Anschlüsse verfügen können, an die Sie JBOD-Gehäuse anschließen können. Diese Gehäuse enthalten nur Backplanes und können zusätzliche Laufwerke aufnehmen, um die Kapazität Ihres Servers zu erhöhen. Somit ist keine PC-Hauptplatine, CPU oder RAM erforderlich, was weniger Ausgaben bedeutet.
Time Limited Error Recovery (zeitbeschränkte Fehlerkorrektur)
Time Limited Error Recovery (TLER), Error Recovery Control (ERC) und Command Completion Time Limit sind drei verschiedene Bezeichnungen für dieselbe Technologie. Es handelt sich um eine Funktion, die in der Firmware von NAS- und Enterprise-Laufwerken verfügbar ist.
Wenn Ihre Festplatte beim Lesen oder Schreiben auf die Platten einen Fehler feststellt, versucht das Laufwerk automatisch, diesen Fehler zu beheben. Während die Festplatte versucht, den aufgetretenen Fehler zu beheben, muss das System indessen auf eine Antwort der Festplatte warten. Sollte die Festplatte zu lange dazu brauchen, wird auch das System dadruch langsamer. Schließt der Datenträger die Wiederherstellung nicht ab, kann sogar das System einfrieren oder stehen bleiben. Die Folge: Sie werden gezwungen sein, einen Neustart durchzuführen. (Und hoffen, dass Ihre Daten weiterhin zugänglich sind.)
TLER verbessert diese Lage, indem es die Wiederherstellungsversuche der Festplatte auf eine bestimmte Anzahl von Sekunden begrenzt. 7 Sekunden ist hier der anerkannte Industriestandard, der ausreichen sollte, damit sich die Festplatte einem noch lesbaren/schreibbaren Block regeneriert. Schließt die Festplatte die Wiederherstellung nicht innerhalb der vorgegebenen 7 Sekunden ab, bricht sie den Vorgang ab und fährt fort. Jede Beschädigung wird dann mit Hilfe der redundanten Daten innerhalb des OpenZFS RAIDZ-Arrays korrigiert.
OpenZFS und TLER
Ein entscheidender Unterschied zwischen OpenZFS und herkömmlichen RAID-Controllern im Umgang mit TLER-fähigen Laufwerken besteht darin, dass der RAID-Controller bei Auftreten eines Fehlers auf der Festplatte diesen Datenträger fortan gänzlich ignoriert. Sie wird dann sogar als fehlerhaft markiert. Mitunter versetzt er sogar den gesamten Server in den Wiederherstellungsmodus, um Sie aufzufordern, das Laufwerk auszutauschen. Das wiederrum führt zu unnötigen Ausfallzeiten.
OpenZFS hingegen erkennt die Probleme mit dem Laufwerk, protokolliert die Fehler und verwendet das Laufwerk weiter – während es die Fehler im Auge behält. Wenn das Laufwerk weiterhin Fehler produziert, wird ZFS es schließlich als „degraded“ markieren und Sie darauf hinweisen, dass Sie es austauschen sollten – die Entscheidung liegt indes ganz bei Ihnen.
Die Firmware einiger Desktop-Laufwerke unterstützt TLER, allerdings ohne werkseitig in der Firmware aktiviert zu sein. Es gibt jedoch online viele Informationen, wie man die Funktion in der Firmware aktivieren kann. Bedenken Sie jedoch, dass selbst wenn Sie TLER auf diesen Laufwerken aktivieren können, sie dadurch nicht besser für Speicherserver geeignet sind. Schließlich sind sie nach wie vor nur für eine tägliche Belastung von acht Stunden ausgelegt.
Vermeiden Sie die SMR-Falle!
Bei mechanischen Festplatten werden die Daten in konzentrischen (parallelen) Spuren auf der Oberfläche ihrer sich drehenden Platter gespeichert – jede Spur ist dabei durch einen Mikroabstand von der nächsten getrennt. Diese Technologie wird als Perpendicular Magnetic Recording (PMR) bezeichnet und ist der Standard für Enterprise-Laufwerke.
SMR-Laufwerke hingegen verwenden ein Shingled-Layout, um den Bereich, den diese Datenspuren belegen, zu verkleinern und so die Gesamtzahl der Spuren und die Gesamtdatenmenge, die auf eine einzige Platte geschrieben werden kann, zu erhöhen. Die Entwickler beabsichtigen damit die Festplattenkapazität zu steigern, ohne die Anzahl der Platter erhöhen zu müssen. Eine clevere Idee, die der Festplatte bis zu 20 % mehr Kapazität verleihen kann, allerdings mag die Physik diese Technik nicht besonders.
Schindeln nur aufs Dach
Shingling (Schindeln) bedeutet, dass sich die Spuren beim Schreiben überlappen, eben wie bei einer Reihe von Dachschindeln. Das bedeutet, dass bei einem Schreibvorgang in einem Bereich, in dem zuvor Daten gespeichert wurden, auch die Daten der unteren Spuren gelöscht werden müssen, damit die neuen Daten darüber geschrieben werden können. Um in dieser Situation Datenverluste zu vermeiden, muss die Festplatte alle in diesem speziellen Bereich gespeicherten Daten (der SMR-Zone) lesen und in ihrem Cache speichern, bevor neuen Daten geschrieben werden können. Wenn das Laufwerk im Leerlauf ist, ruft es die im Cache gespeicherten Daten ab und beginnt, sie auf die physischen Platten zu schreiben. Dieser Prozess braucht Zeit und führt zu einer geringeren Festplattenleistung. Das ist auch der Grund, warum SMRs so attraktive Cache-Mengen haben, die die Hersteller auf dem Etikett vermerken. 😉
SMR-Laufwerke haben die schlechtesten I/O-Werte aller Zeiten. Vor allem bei zufälligen Lese- und Schreibvorgängen. Und während des Resilverings (der OpenZFS-Begriff für ein RAID-Rebuild) wird dies den Prozess verlängern, insbesondere wenn Ihr Pool bereits voll ist.
SMR-Platten können in Archivierungssystemen sinnvoll sein. Aber bei anspruchsvollen Speicheranwendungen sind SMRs die paar eingesparten Cents gegenüber anderen Techniken nicht wert. Schon bald werden Sie sie austauschen müssen, um die sich verschlechternde I/O-Performance Ihres Servers zu verbessern. Informieren Sie sich vor dem Kauf einer Festplatte und achten Sie darauf, dass Hersteller SMR-Laufwerke als Nicht-SMR-Laufwerke ausgeben.
Wählen Sie die Festplatte mit der richtigen Lebensdauer
Alle mechanischen Laufwerke haben eine zeitbasierte Lebensdauer. Diese wird in der Regel im Format Stunde/Tag angegeben. Für einen Speicherserver, der das ganze Jahr über in Betrieb sein soll, sollten Sie nur Laufwerke verwenden, die für 24 Stunden an sieben Tagen in der Woche ausgelegt sind (24/7). Schließlich werden diese Laufwerke so hergestellt, dass sie diese Belastung für die Dauer ihrer Garantie auch aushalten. Wenn Sie Festplatten der Consumer-Klasse in Ihren Server einbauen, fallen diese häufiger aus und können zu Datenverlusten führen, wenn mehrere Festplatten während der Wiederherstellung der Daten ausfallen. Siehe Abschnitt MTBF.
Solid State Drives (SSDs)
Obwohl es SSDs schon seit geraumer Zeit gibt, sind sie relativ neu auf dem Markt für hochkapazitive Speicher. Der Grund dafür sind die viel höheren Kosten pro Terabyte und die relativ begrenzten Kapazitäten, die die meisten von ihnen bieten können.
SSDs bieten viele Vorteile gegenüber HDDs. Einige dieser Vorteile sind:
- SSDs haben keine beweglichen mechanischen Teile. Anstelle von Platten verwenden sie Flash-Speicherchips (NAND) zum Speichern der Daten.
- Die Verwendung von Flash-NAND führt zu einer viel höheren IO-Leistung und viel geringeren Latenzzeiten als bei ihren mechanischen Geschwistern. Dies ist bei anspruchsvollen Anwendungen wie der VM-Speicherung sehr vorteilhaft.
- Sie verbrauchen viel weniger Strom als HDDs.
- Geben zudem viel weniger Wärme ab.
- Sie erzeugen überdies keine Geräusche (es sei denn, sie haben ein defektes Bauteil oder man kann hören, wie Strom durch die Platine fließt)
Der größte Nachteil von SSDs ist ihr Preis. SSDs kosten pro TB viel mehr als die derzeit auf dem Markt erhältlichen HDDs. Wenn Ihr spezieller Einsatz nicht von einer reinen SSD-Einrichtung profitiert, ist es sinnvoll, HDDs zu verwenden.
SSDs unter ZFS
OpenZFS ermöglicht die Verwendung schneller SSDs als Cache- und Protokollgeräte, um die Leistung Ihres Speicherpools zu verbessern. Es besteht auch die Möglichkeit, mehrere HDD- und SSD-basierte Pools innerhalb desselben TrueNAS Core®-Servers zu erstellen und jeden Pool dem entsprechenden Anwendungsfall zuzuordnen. Auf diese Weise können Sie einen Pool mit hoher Kapazität für Ihre Archivdaten und einen schnelleren Pool für Ihre VMs nutzen.
Ziehen Sie diese Optionen in Betracht, wenn Ihr Anwendungsfall von den zusätzlichen IOPS profitieren kann.
Welche Schnittstellen gibt es bei SSDs?
SSDs sind mit einer größeren Anzahl von Schnittstellen verfügbar als ihre mechanischen Alternativen. Dazu gehören:
- SATA
- SAS
- U.2 (NVMe)
- PCIe (NVMe)
- M.2 (SFF SATA und NVMe)
SATA-SSDs bieten eine Bruttodatenrate von 6 Gbit/s mit einem Nettodurchsatz von bis zu 550 MB/s. SAS-SSDs haben dem entsprechend eine Bandbreite von 12 Gbit/s und einen Durchsatz von etwa 1200 MB/s – immerhin ist die doppelte Bandbreite von SATA. (Er gibt übrigens keine NL-SAS-SSDs.)
PCIe/NVMe-SSDs hingegen bieten 1 GB/s pro Lane. Das heißt, wenn Sie Ihre NVMe-SSD in einen x4-PCIe-Steckplatz stecken, können Sie einen Durchsatz von 4 GB/s erzielen. Die gleiche Logik gilt für x8- und x16-Karten/Slots.
U.2 ist ein neues Produkt (angekündigt 2015). Der U.2-Steckplatz ist zwar mechanisch identisch mit dem SAS-Steckplatz, verwendet aber den NVMe/PCI Express-Bus anstelle von SATA oder SAS – durch die Verwendung von speziellen Pins.
PCIe- und NVMe-Laufwerke sind schneller, weil sie einen kürzeren und beschleunigten Weg zur CPU haben.
Alle gängigen SSD-Schnittstellen und Formfaktoren. Einige davon waren Testmuster vor der Produktion. Der exklusive Zugang zu solchen Mustern ist einer der Vorteile der Arbeit bei einem etablierten Anbieter von Speicherservern.
SSDs und CPU-Auslastung
Es ist wichtig, diesen Punkt im Auge zu behalten. Da sie viel schneller sind als HDDs, benötigen SSDs eine schnellere CPU, die mit ihrer Geschwindigkeit und der anschließenden Belastung mithalten kann. Wenn Sie eine langsame CPU haben, wird Ihr Speicherserver nicht die erwartete Leistung bringen, selbst wenn er mit SSDs voll ausgelastet ist. Diese negativen Auswirkungen werden noch deutlicher, wenn Sie die AES-Verschlüsselung aktivieren. Und sie verschlimmern sich, wenn Ihre CPU AES nicht von Haus aus unterstützt. Stellen Sie also sicher, dass Ihr Prozessor über genügend Kerne und Geschwindigkeit verfügt und die AES-NI-Anweisungen unterstützt.
Sind SSDs zuverlässig?
Die direkteste Antwort ist: Für Speicherzwecke sind Enterprise SSDs zuverlässig. Halten Sie sich beim Kauf von Festplatten für Ihr TrueNAS Core® von SSDs der Verbraucherklasse fern. Der Grund dafür liegt in der Art und Weise, wie eine SSD aufgebaut ist und welche Mechanismen sie zum Schutz Ihrer Daten verwendet. Im Folgenden erfahren Sie, wie SSDs für Unternehmen dazu beitragen, Ihre Daten besser zu schützen:
Fehlerkorrektur
SSD-Controller verwenden die Fehlerkorrekturcode-Technologie (ECC), um die meisten Fehler, die sie „unterwegs“ beeinträchtigen können, zu erkennen und zu korrigieren. Das gilt beispielsweise für Daten, die gerade zwischen dem Host-Computer und der SSD übertragen werden. In Flash-Speicherchips sind zusätzliche Fehlerkorrekturinformationen enthalten. Die NAND-Chips selbst verfügen auch über Fehlererkennungsmechanismen, die dazu beitragen, jegliche Datenverfälschung zu erkennen, die auf dem Weg vom Controller zum Chip auftreten können.
Reserveblocks und Overprovisioning
Haben Sie sich jemals gefragt, warum Ihr Apple MacBook Pro SSD diese seltsamen 120 GB an nutzbarer Kapazität anzeigt? Das liegt daran, dass das System mehr als 8 GB als Reserve vorab blockiert.
Die Daten werden in beschreibbaren Blöcken innerhalb der Zellen der NAND-Chips gespeichert. Beim Schreiben von Daten auf eine mechanische Magnetplatte überschreibt der Schreibkopf einfach die vorhandenen Daten, indem er den Schreibbereich neu magnetisiert – ähnlich wie bei einer Kassettenaufnahme. Im Gegensatz zu Magnetspeichern müssen die NAND-Zellen gelöscht werden, bevor neue Daten auf sie geschrieben werden können. Durch diesen Lösch-/Schreibzyklus werden die Zellen abgenutzt, je mehr Daten auf sie geschrieben wurden. Ähnlich wie beim Bad-Block-Phänomen mechanischer Festplatten ist eine NAND-Zelle, wenn sie abgenutzt ist, nicht mehr in der Lage, Daten zu speichern. Dies ist der größte Nachteil von NAND.
Reserveblöcke on Top
Um dieses Problem zu umgehen, fügen die SSD-Hersteller zusätzliche NAND-Chips ein, um ihren SSDs „versteckte“ Reserveblöcke zur Verfügung zu stellen. Wenn ein NAND-Block ausfällt, wird er vom Controller als tot markiert und deaktiviert. Daraufhin aktiviert er einen der Ersatzblöcke und ordnet ihn neu zu, um den toten Block zu ersetzen. Dieser Prozess läuft blitzschnell ab und kann weder vom Benutzer noch vom Betriebssystem erkannt werden, d. h. Ihr Betriebssystem und alle darauf laufenden Anwendungen bleiben nicht hängen. Nicht einmal für eine Sekunde.
Die Anzahl dieser Reserve-Blöcke ist bei Enterprise-SSDs viel höher als bei SSDs für Verbraucher. Einige Hersteller fügen dieser Reserve mehr als 20% der Blöcke hinzu, um eine längere Lebensdauer zu gewährleisten. Es besteht auch die Möglichkeit, eine SSD zu überdimensionieren. Overprovisioning ist der Prozess der Anpassung der vom Betriebssystem feststellbaren nutzbaren Kapazität eines SSD-Laufwerks auf einen niedrigeren Wert, wodurch noch mehr Reserve-Blöcke möglich sind. Dies geschieht in der Regel durch ein spezielles, vom SSD-Hersteller bereitgestelltes Softwareprogramm.
Total Drive Writes per Day (DWPD)
Und schließlich haben alle SSDs einen Wert für die Gesamtzahl der Schreibvorgänge pro Tag (Total Drive Writes per Day, DWPD) – manchmal auch als Total Bytes Written (TBW) bezeichnet. Beide Begriffe geben die Gesamtdatenmenge an, die während der Lebensdauer einer SSD-Festplatte geschrieben werden kann.
Dies ist ein Endurance Rating und eine wichtige Zahl, die Sie bei der Auswahl Ihrer SSDs berücksichtigen sollten. Genau wie ihre mechanischen Gegenstücke nutzen sich SSDs ab und fallen schließlich aus. Während rotierende Laufwerke eine zeitbasierte Garantie haben, gibt es für SSDs eine schreibbasierte Garantie. NAND-Zellen müssen gelöscht werden, bevor neue Daten auf sie geschrieben werden können. Dieser Lösch-/Schreibzyklus verschleißt die Zellen, je mehr Daten auf sie geschrieben worden sind.
Berücksichtigen Sie bei der Suche nach SSDs Ihre spezifische Anwendung und wählen Sie den TDWPD-Wert entsprechend. Wenn Sie diese Festplatten als OpenZFS SLOGs verwenden wollen, benötigen Sie den höchstmöglichen DWPD-Wert. L2ARC ist im Allgemeinen nicht so schreibintensiv wie SLOG.
Die ursprüngliche TDWPD-Einstufung in Kombination mit einem intelligenten manuellen Overprovisioning der SSD kann Ihnen helfen, den Lebenszyklus und die Leistung Ihrer SSD-Festplatte weit über die Herstellerspezifikationen hinaus zu verlängern. So können Sie beispielsweise eine 512 GB SSD mit einem DWPD auf 256 GB überdimensionieren, so dass die SSD doppelt so lange genutzt werden kann.
Seitenansicht der Platinen einer Enterprise- und einer Consumer-SSD. Auf der rechten Seite sehen Sie deutlich die begrenzte Anzahl von NAND-Chips, was sich in einer geringeren Anzahl von Reserveblöcken niederschlägt.
Schutz vor Stromausfällen (PFP)
Kondensatoren sind elektrische Bauteile, die wie eine Batterie eine elektrische Ladung halten können. Aber im Gegensatz zu Batterien lassen sie sich viel schneller aufladen. Ein Kondensator kann in einem Bruchteil einer Sekunde aufgeladen werden. Der Nachteil ist, dass die meisten Kondensatoren nur wenige Millivolt halten können, also nicht viel Ladung für die Stromversorgung einer SSD. Es gibt jedoch eine neuere Klasse von Kondensatoren, die eine relativ große Ladung in einem kleinen Formfaktor halten können. Klein genug, um in eine SSD eingebaut zu werden. Diese werden Superkondensatoren genannt.
SSDs für Unternehmen haben viele dieser winzigen Superkondensatoren an Bord. Die Funktion dieser Kondensatoren besteht darin, bei einem Stromausfall als unterbrechungsfreie Stromversorgung (PSU) für die SSD-Komponenten zu fungieren. Sie befinden sich in der Regel um den SSD-Controller und die NAND-Chips herum. Dadurch werden der Controller und die NAND-Chips ausreichend lange versorgt, um alle flüchtigen Daten sicher auf die NAND-Chips zu schreiben und so vor Datenverlust oder -beschädigung zu schützen.
Ein Controller in einer Enterprise-SSD von Seagate, umgeben von (gelben) Tantal-Superkondensatoren zum Schutz vor Stromausfällen.
Genau so funktioniert beispielsweise auch das Standlicht Ihres Fahrrads. Darin finden Sie ein kleines rundes, münzgroßes Bauteil mit Markierungen, auf dem die Spannung angegeben ist. Wenn sie also in die Pedale treten, sendet der Dynamo einen elektrischen Strom an den Stromkreis des Standlichts. Damit lädt er den eingebauten Kondensator auf. Wenn Sie an einer Ampel oder einer Kreuzung anhalten, versiegt der Strom aus dem Dynamo. Der Kondensator speist darauf hin sofort seine gespeicherte Ladung in den Stromkreis ein, um Ihr Standlicht zu betreiben. Schließlich wollen Sie auch im Stand von den Verkehrsteilnehmern gesehen werden.
SuperCap unter ZFS
Da wir SSDs als Cache- und Log-Geräte in unseren OpenZFS-Lösungen verwenden, ist es wichtig, auf PFP zu setzen. Damit kann sichergestellt werden, dass alle Daten, die den Cache durchlaufen, sicher auf die NAND-Chips der SSD landen, da der Verlust von Cache- oder Protokolldaten zu Datenverlusten in Ihrem Pool führen kann.
Zusätzlich zu den oben genannten Punkten gilt für Enterprise-Laufwerke (sowohl HDD als auch SSD) eine 5-jährige Herstellergarantie. In Kombination mit den verschiedenen Datenschutzmechanismen, die von der Festplattenhardware und OpenZFS selbst bereitgestellt werden, haben Sie die Gewissheit, dass Ihre Daten umfassend geschützt sind.
Eine Standlichtschaltung. Die rote LED wird von dem kleinen münzförmigen 5,5V/1,0F Superkondensator gespeist, nachdem er 5 Sekunden lang mit einem 18650er-Akku geladen wurde.
USV für den Raspberry Pi
Sind Sie an einer günstigen USV für den Raspberry Pi interessiert, der mit Superkondensatoren arbeitet? Hier finden Sie eine kurze Beschreibung, wie Sie eine solche USV selbst bauen können. Wenn Sie sich mit Elektronik und Löten nicht auskennen oder einfach nur ein bisschen Hilfe bei dem Projekt brauchen, sind unsere Ingenieure regelmäßig im TeckLab, unserem lokalen HackSpace in Kirchheim/Teck – unter dem Dach des Mehrgenerationenhauses Linde – tätig.
Denken Sie daran, dass M.2-SSDs selten PFP haben. Dafür gibt es zwei Hauptgründe: Der erste Grund ist, dass M.2s aufgrund ihrer begrenzten Kapazitäten kaum als Speichermedium in Unternehmensumgebungen eingesetzt werden. Der zweite Grund ist die Tatsache, dass die Implementierung von PFP Platz benötigt und M.2 zu klein ist, so dass es schwierig und teuer wird, ihnen ein gutes PFP hinzuzufügen.
Die Micron 2200 ist einer der wenigen M.2 SSDs mit PFP
Im Gegensatz zu mechanischen Festplatten gibt es bei SSDs in der Regel keine Frühindikatoren für einen Ausfall. Hinzu kommt die zusätzliche Komplexität der Datenwiederherstellung von SSDs, für die spezialisierte Labors erforderlich sind und die mehr kostet als bei HDDs. Trotz aller Vorteile und Zusicherungen moderner SSDs kann ich nicht genug betonen, wie wichtig es ist, einen strikten und aktuellen Backup-Plan zu haben.
512n/512e/4Kn
Blockgrößen im Detail: 512-Byte nativ, 512-Byte emuliert und 4K-Byte nativ oder: Wozu größere Sektoren?
Die heutigen SATA- und SAS-Festplatten (sowohl HDD- als auch SSD-Varianten) können zwei verschiedene Blockgrößen unterstützen – 512 und 4K Byte. Diese Zahlen beziehen sich auf die Größe der physischen Sektoren der Festplatte und auf die kleinste Datenmenge, die darauf geschrieben werden kann. Festplatten mit einer physikalischen Sektorgröße von 512 Byte gibt es schon seit Jahrzehnten, während Festplatten mit der größeren Sektorgröße von 4K Byte neueren Datums sind; die ersten PC-Modelle sind seit Januar 2011 erhältlich. Diese Festplatten werden üblicherweise als Advanced Format Drives bezeichnet.
Die ursprüngliche Sektorgröße von 512 Bytes nativ (512n) war für die Arten und Mengen von Daten, die Benutzer in den frühen Tagen der Personal Computer auf ihren Festplatten speichern mussten, ausreichend. Schließlich handelte es sich hauptsächlich um Textdateien und rudimentäre Datenbanken. Doch mit dem Aufkommen neuerer Softwareanwendungen, größerer Dateitypen wie Multimedia, fortgeschrittener Textformate und moderner Datenbanken kam das Problem des verschwendeten Speicherplatzes auf. Dieser vergeudete Platz war darauf zurückzuführen, dass ein 512-Byte-Sektor weniger als 90% Effizienz hatte.
4K-Übergang
Das größte Problem bei der Umstellung auf die neuere, effizientere 4K-Sektorgröße war, dass sie nach Jahrzehnten für Firmware und Stacks eingeführt wurde, die ursprünglich für die 512-Byte-Blockgröße entwickelt wurden. Die vorhandenen Betriebssysteme und Legacy-Software konnten das neue 4K-Format nicht verarbeiten. Stellen Sie sich vor, Sie schließen einen Satz 4K-Festplatten an einen RAID-Controller mit einer Firmware an, die 512n-Laufwerke erwartet? Diese Situation veranlasste die Plattenhersteller, das 512-Byte-Emulated-Format (512e) zu entwickeln. Bei diesem Format hatten die Platten eine physikalische Sektorgröße von 4K, wurden aber dem Betriebssystem durch eine Firmware-Emulationstechnik als 512-Byte-Sektoren präsentiert. Diese Emulation wird on-the-fly vom Plattencontroller durchgeführt. Das Betriebssystem und der darüber laufende Software-Stack indes mussten sich des 512-Emulationsprozesses bewusst sein.
512 Byte Anachronismus
Der Nachteil dieses Workarounds war die damit einhergehende Leistungsverschlechterung aufgrund der umstrittenen Umrechnung von physischer in virtuelle Größe auf dem Festplattencontroller, die bei anspruchsvollen Speicheranwendungen besonders ausgeprägt ist. Lese- und Schreibbefehle werden an ein 512e-Laufwerk im gleichen Format wie an ein altes 512n-Laufwerk ausgegeben. Während des Lesevorgangs muss ein 512e-Laufwerk jedoch den gesamten physischen 4096-Byte-Sektor, der die angeforderten 512-Byte-Daten enthält, in den Pufferspeicher der Festplatte laden. Erst dann kann die Emulationsfirmware diese Daten extrahieren, in ein 512-Byte-Stück umformatieren und an das Host-Betriebssystem senden. Beim Speichern wurde es noch komplexer, was sich bei zufälligen Schreibvorgängen spürbar negativ auswirkte.
Es gab auch das Problem mit Partition (Mis)-alignment, das häufig auftrat, wenn eine 512e-Platte in einem System mit einem Software-Stack verwendet wurde, der nicht 512e-fähig war. Das ausgeprägteste Symptom dieses Problems war die verringerte Festplattenleistung.
512 Bytes mal 8
Kurz gesagt, eine 512e-Platte ist eine 4K-Platte, die vorgibt, eine 512n-Platte zu sein und dabei einen Teil ihrer Leistung vergeudet. 512e war als kostengünstiges „Übergangsformat“ gedacht, das es Festplattenherstellern und Endbenutzern ermöglichte, von der 4K-Sektorgröße zu profitieren, ohne die Kompatibilität mit älterer Software zu beeinträchtigen, die 512-Byte-Sektoren erwartete. Mit der meisten modernen Software, wie z.B. OpenZFS/TrueNAS Core®, ist es nicht notwendig, 512e zu verwenden. Entscheiden Sie sich einfach für die 4Kn-Platten.
Moderne Betriebssysteme und Anwendungen haben die neuen 4Kn-Advanced-Format-Laufwerke nur langsam übernommen, wobei Mac OS X die Unterstützung in seiner Version Mountain Lion 10.8.2 (2012) einführte. Windows unterstützte es erst ab Version 8 und Server 2012, während FreeBSD und Linux die Unterstützung schneller übernahmen. Der Linux-Kernel bietet ab Version 2.6.31 (2009) 4K-Unterstützung.
Ein einziger 4Kn-Sektor kann 8-mal mehr Daten aufnehmen als ein herkömmlicher 512-Byte-Sektor – mit einer Effizienz von 97,3 %.
Zu den Vorteilen der physischen 4K-Sektorgröße gehören:
- Bessere Fehlererkennung.
- Effizientere Korrekturalgorithmen.
- Bessere Platter-Speicherdichte, was sich in niedrigeren Kosten niederschlägt.
Welche Festplattenoption sollte man also mit OpenZFS verwenden, 512e oder 4Kn?
Verwenden Sie einfach 4Kn-Laufwerke. Sowohl das aktuelle OpenZFS als auch das TrueNAS Core® OS unterstützen native 4K-Laufwerke.
Wichtig: Sie können keine SAS-Laufwerke in einem SATA-Gehäuse verwenden!
Bedauerlich, aber wahr. Aufgrund des geringen Unterschieds zwischen der SAS- und der SATA-Schnittstelle können Sie ein SAS-Laufwerk nicht in eine SATA-Backplane oder ein SATA-Kabel einstecken. Aber auch das Gegenteil ist möglich. Stellen Sie also sicher, dass Sie das richtige Gehäuse oder die richtige Backplane für Ihre Festplatten kaufen.
