NAS im Eigenbau – oder warum zum Teufel ist dauernd das RAID weg ?

[bild 4]

Zu allererst muss ich sagen, wer ernsthaft versucht ein NAS oder gar einen kleinen Server selbst zu bauen, der kommt an Technikaffe höchst wahrscheinlich nicht vorbei. Ich habe lange eine Möglichkeit gesucht, meine nicht ganz nach meinen Wünschen laufenden NAS Boxen (egal welche Hersteller ich auch getestet habe) zu ersetzen.

Aber im heutigen Dschungel von Boards, Prozessoren und Speichern, die ja nur noch miteinander funktionieren, wenn man die exakt richtigen Komponenten kombiniert (siehe dazu unten SPEICHER), kennt sich doch Otto-Normal-Informatiker gar nicht mehr aus.

Also habe ich mich auf den Seiten hier umgesehen und mir Informationen und Anregungen geholt, was ich wie kombiniere, damit ich endlich eine Kiste habe, die meinen Ansprüchen genügt.

[title]Was soll ersetzt werden ?[/title] Im Keller läuft bei mir ein Server im 19“ Schrank, der den ganzen Tag darauf wartet, dass er etwas arbeiten darf. Für seine Leistung habe ich aber nicht genug Arbeit. Ich habe ein kleines Softwareunternehmen und bin privat ein Serien-Junkie. Weil ich aber nicht wirklich Zeit habe, dann vor der Glotze zu sitzen, wenn die Serien laufen, nehme ich sie auf.

Im Laufe der Jahre habe ich schon so manche gute Serie aufgenommen und freue mich, wenn ich die Serie auch nach Jahren wieder mal ansehen kann. Das braucht allerdings richtig Platz auf der Platte. Dafür ist in dem 19“ Gehäuse vom Server zu wenig. Die Daten für die Firma will ich zusätzlich noch mehrfach gesichert haben, zumal hier auch Kundendaten liegen.

Also sind im Laufe der Zeit einige Iomega/Lenovo RAID5 Gehäuse dazugekommen, um dem Datenwust Herr zu werden. In der Summe bin ich bei etwa 40TB momentan die in 8 NAS Gehäusen verteilt sind und per iSCSI am Server hängen (der sich immer noch langweilt). Alles zusammen benötigt so viel Strom, dass ich von EON schon zu Weihnachten Geschenke bekomme. Das muss sich jetzt ändern!

[title]Welche Voraussetzungen muss das Ersatzsystem erfüllen ?[/title] Wenn ich schon anfange umzubauen, dann bitte so, dass ich nicht in einem Jahr wieder anfangen muss. Also trommle ich mal zusammen, welche Bedingungen erfüllt sein müssen, damit ich zufrieden bin. [ul] [li]Festplatten leicht erweiterbar[/li] [li]Stromsparender als die alten Systeme[/li] [li]Nicht mehr so viele einzelne Kisten[/li] [li]Ausreichende Leistung als kleiner Server[/li] [li]Videoaufnahmen (ArgusTV unter Windows)[/li] [li]Dienste wie rsync, ftp, samba, etc. unter Linux[/li] [/ul] Aus den letzten beiden Punkte erkennt man schon, dass ich mit einem Betriebssystem nicht weit komme. Die Lösung heißt Virtualisierung. [title]Die Planung[/title] Zuerst muss ich mal wissen, was alles laufen soll, damit ich mir die richtige Hardware aussuchen kann. Welche Vorteile bieten die einen Systeme, welche Nachteile die anderen. Wie oben schon erwähnt, sollte man aufmerksam alle Artikel zum Thema NAS hier bei Technikaffe lesen. Selbst wenn man denkt, dieses spezielle NAS ist nichts für mich, bergen die Artikel so viele Infos, die man für das eigene System anwenden kann, dass selektives Lesen hier keine gute Idee ist.

Von den Gehäusen kommt in meinem Fall nur eines in Frage, das groß genug ist, viele Platten aufzunehmen: das Fractal Design Define R5. Bei den Netzteilen wird in der Regel darauf geachtet, dass sie gerade genug Leistung haben für das besprochene System. In meinem Fall habe ich leistungstechnisch etwas höher gegriffen.

Bei den Mainboards liegt die Entscheidung zwischen Komfort und Luxus. Als Komfort bezeichne ich ein echtes Server Board, das eine separate Netzwerkschnittstelle anbietet, über die das System auch im ausgeschalteten Zustand verwaltet werden kann (z.B. eingeschaltet werden, oder das komplette BIOS einstellen kann). Leider haben Server-Boards den Nachteil, dass Speicher zum einen teurer ist und zum anderen begrenzt in der Menge, die es verträgt. Im Regelfall ist bei 16GB entweder das Budget überschritten oder die Grenze des Boards erreicht.

Als Luxus bezeichne ich die Möglichkeit viel Speicher zu verwenden, ohne einen Kredit aufnehmen zu müssen. Man verzichtet allerdings auf die Möglichkeit das Board über das Netzwerk zu warten. Solange der Server im Haus bleibt und nicht unbeobachtet in ein Rechenzentrum gestellt wird, eine überschaubare Einschränkung.

Ein in meinem Falle wichtiger Punkt ist, dass bereits viele SATA Anschlüsse auf dem Board sind, damit ich meine Platten unterbringe. Der Prozessor muss in meinem Fall zwar ausreichend Leistung haben um seine Aufgaben zu erfüllen, aber muss kein 8-Kern Server Prozessor sein.

Beim Speicher hat mir der Hersteller selbst einen (falschen) geschickt, der sich in der Typenbezeichnung kaum vom bestellten unterschieden hat. Aber da stimmte die Spannung nicht und schon lief nichts mehr. Also bitte beim Bestellen darauf achten, dass alles exakt stimmt und die Bestellbestätigung darauf hin kontrollieren.

Bei den Datenplatten hatte ich erst 8TB Platten von Seagate im Test, davon kann ich aber nur abraten. Selbst wenn diese theoretisch laufen sollten, haben sie nicht die notwendige Fehlertoleranz für NAS. Einmal einen Fehler gehabt, fallen sie sofort aus dem RAID. „Echte“ NAS Platten korrigieren kleinere Fehler selbst und das RAID bleibt in Takt. Ein unverzichtbares Detail !

[title]Stückliste[/title] [table] [tr][td][b]Bezeichnung[/b][/td][td][b]Produktname[/b][/td][td][b]Preis[/b][/td][/tr] [tr][td]Gehäuse[/td][td]Fractal Design Define R5[/td][td]{Fractal Design Define R5}[/td][/tr] [tr][td]Netzteil[/td][td]Be quiet! Pure Power L8-430W – 430 Watt[/td][td]{Be quiet! Pure Power L8-430W}[/td][/tr] [tr][td]Stromadapter (3x)[/td][td]5er Set Wentronic Internes Stromadapterkabel[/td][td]{5er Set Wentronic Internes Stromadapterkabel}[/td][/tr] [tr][td]Prozessor[/td][td]Intel Pentium G4400[/td][td]{Intel Pentium G4400}[/td][/tr] [tr][td]Festplatte (OS)[/td][td]250GB Samsung 850 EVO[/td][td]{250GB Samsung 850 EVO}[/td][/tr] [tr][td]SATA Controller (2x)[/td][td]Syba PCI-Express-Controller-Karte 4-Port[/td][td]{Syba PCI-Express-Controller-Karte}[/td][/tr] [tr][td]Mainboard[/td][td]ASUS B150M-K D3[/td][td]{ASUS B150M-K D3}[/td][/tr] [tr][td]Arbeitsspeicher (2x)[/td][td]Kingston KVR16LN11/8 8 GB DDR3L-1600, 1.35V[/td][td]{Kingston KVR16LN11/8}[/td][/tr] [tr][td]Datenfestplatten (10x)[/td][td]Western Digital Red 6TB, WD60EFRX[/td][td]{WD60EFRX}[/td][/tr] [/table] [title]Zusammenbau[/title] Das Zusammenstecken der Komponenten ist relativ einfach, auch gibt es genug Anleitungen dazu, so dass ich nicht jeden Handgriff hier erkläre. Es ist empfehlenswert, dass die Datenplatten bei der Installation erst mal noch nicht eingebaut sind, da manche Betriebssysteme sonst versuchen sich auf allen Platte zu verewigen. Da wir aber auf keinen Fall für das Basis-Betriebssystem überlebenswichtige Partitionen auf den Datenplatten brauchen können, stecken wir die Datenplatten erst später mit dazu. [bild 2]

Eine kleine Herausforderung stellt die häufige Verzweigung der Stromkabel dar. Da die Billig-Y-Kabel gerne mal auseinander flutschen habe ich einfach einen Kabelbinder um den Stecker gemacht, sodass hier nichts mehr passieren kann. Die SSD für das Basis-Betriebssystem kommt am besten auf die für 2,5“ vorgesehene Halterung auf der Unterseite des Mainboard-Blechs.

Bei so vielen Datenplatten reichen die 8 Einschübe des Gehäuses nicht mehr aus. Während der Installation des Betriebssystems habe ich im oberen Käfig ein 5,25“ DVD Laufwerk stecken gehabt. Das ist für den Betrieb unnötig und so konnte ich die beiden oberen Einschübe mit Festplatten belegen. Da der Käfig zu groß ist, habe ich die Platten nur auf der Vorderseite angeschraubt und den Höhenunterschied mit Gummifüßen (z.B. von einem alten Rechner) ausgeglichen.

[bild 1]

(Der aufmerksame Leser sieht sofort, dass ich in dem Bild die Tunerkarte noch nicht eingebaut habe. Das kommt die nächsten Tagen, wenn ich wieder Zeit habe)

Alles in allem ist der fertige Rechner erstaunlich kompakt für seinen enormen Inhalt. Das Laufgeräusch ist auch mit 10 Festplatten, dank der Gummilagerung der Befestigung, absolut Büro tauglich.

[bild 3,70]

Die Installation der Betriebssysteme Als Basis-Betriebssystem kommt ein Windows 10 Pro zum Einsatz. Preis über einen Trick: 19,90€. Hierzu einen (legalen!) Schlüssel für Windows 7 Professional kaufen. Das Win7 installieren und das momentan von Microsoft kostenlos angebotene Update auf Windows 10 machen.

Mit dem Windows 10 bekommt man gratis den Hypervisor, der es ermöglicht virtuelle Maschinen auf dem physikalischen Rechner zu installieren. Für sämtliche Arbeiten mit meinen Quelltexten (subversion) oder der Übertragung der Kundendaten zum Server (rsync) oder das Bereitstellen von Softwareupdates (ftp) habe ich mir OpenMediaVault auserkoren.

Der Vorteil liegt einfach darin, dass es ein leicht zu administrierendes Linux ist (ok – das Linux dahinter ist Debian und genauso leicht oder schwer zu administrieren, wie andere Systeme, aber der OMV Aufsatz ist schon eine Wucht!).Läuft erst mal Windows 10 und das virtuelle OMV, können die Datenplatten kommen.

[title]Problem 1 – RAID6[/title] Mein erster Gedanke war: Ich fasse die Datenplatten im Windows zu einem RAID zusammen, dann kann OMV darauf machen, was es will. Idee gut – Microsoft legt aber leider wenig Wert auf RAID. Man kann zwar Platten zu einem RAID5 zusammenfassen, aber kein Windows Betriebssystem kennt RAID6. Ich will aber RAID6. Denn bei RAID6 können bis zu 2 Datenplatten ausfallen – die Daten sind immer noch intakt.

Eigentlich würde RAID5 reichen, denn sobald eine Platte ausfällt, muss diese eben ersetzt werden. Aber der Teufel ist ein Eichkätzchen – und währen die eine Platte ersetzt wird und das RAID sich reorganisiert, geht mit Sicherheit die nächste Platte kaputt. Kennen hier alle Herrn Murphy? Linux kann RAID6, aber wie komm ich jetzt mit Windows als Basis zu meinem RAID6 für die Daten?

[title]Problem 2 – Datenplatten an Linux weiterreichen[/title] Hyper-V gestattet es, einen virtuellen SCSI Controller zu erstellen und diesen für eine Maschine bereit zu stellen. Gesagt, getan. Controller im Hyper-V erstellt und über Hinzufügen eigentlich die Platten einbinden. Aber es gibt keine Platten, die eingebunden werden könnten. Wo sind denn die Platten geblieben, die gerade noch in der Datenträgerverwaltung zu sehen waren?

Kurze Recherche ergab, dass Platten nur dann an virtuelle Maschinen weitergereicht werden können, wenn sie als „offline“ gekennzeichnet sind. Also in der Datenträgerverwaltung jede Platte, die Windows gerade noch mit GPT Partition vorbelegt hat, auf „offline“ stellen. Ab jetzt interessiert sich Windows nicht mehr für diese Geräte. Zurück im Hyper-V eine Platte nach der anderen in den Controller einbinden. Fertig. OMV booten. Ein Teil der Platten fehlt. Schade.

[title]Problem 3 – ALLE Datenplatten an Linux weiterreichen[/title] Der virtuelle SCSI Controller von Hyper-V ermöglicht es zwar zig Platten anzubinden, aber er scheint nur acht wirklich verwalten zu können. Die Lösung liegt in einem weiteren (virtuellen) Controller. Man kann mehrere Controller erstellen und einfach die übrigen Platten über den zweiten Controller an die virtuelle Maschine weiterreichen. OMV booten, alle Platten da. Prima.

OMV kann jetzt im Menü die physikalisch vorhandenen Platten zu einem RAID6 zusammenfassen. Ich Held habe zum Testen erst mal ein RAID5 und auch nur mit wenigen Platten gemacht. Habe aber gleich begonnen Daten zu schreiben, die ich auch produktiv verwenden kann. Also hätte ich es gerne gehabt, ohne Datenverlust zum einen das RAID zu erweitern und zum anderen von RAID5 in RAID6 umzuwandeln.

Leider geht das nicht so elegant über die Oberfläche von OMV. Das Erweitern schon, aber der RAID-Wechsel nicht. Dafür gibt es aber gute Informationsquellen [link ziel=“https://ewams.net/?date=2013/05/02&view=Converting_RAID5_to_RAID6_in_mdadm]im Netz[/link].

Allerdings darf man keine Berührungsängste mit der Shell haben. Meine Empfehlung wäre, gleich das Array so einzurichten, wie es sein soll. Aber ich bin auch ein Bastelkind und will ja was lernen ###)

Bisher lief alles „nach Plan“. Das System ist an dieser Stelle einige Tage am Laufen, ich habe meine Zusatzdienste eingerichtet, teils über die Weboberfläche von OMV, teils mit der Shell. Meine Datensicherung läuft auch, eigentlich ist alles in Butter. Wenn, ja, wenn da nicht so ein komisches Geräusch aus dem Server kommen würde.

Wie es der Zufall will (guten Tag, Herr Murphy!) haben sich von den 10 neuen Datenplatten zwei verabschiedet. WD hat diese aber problemlos getauscht und ich konnte sie beide ersetzen und das RAID hat sich wieder konfiguriert. Ein Hoch auf RAID6!

[title]Problem 4 – Warum werde ich nicht über ausfallende Platten informiert ?[/title] Eigentlich hatte ich OMV so eingestellt, dass ich bei aus dem Ruder laufenden SMART Parametern eine E-Mail bekomme. Kam aber nicht. Schon wieder schade. Sonst hätte ich es bei der ersten ausgefallenen Platte schon gemerkt und wäre gar nicht in die Problematik gelaufen, dass gleichzeitig zwei ausgefallen sind.

Hier schweigt Frau Google, aber meine Interpretation ist die, dass OMV gar nicht mitbekommt, dass die Platte defekt ist (abgeleitet aus der Tatsache, dass OMV die beiden Platten noch angezeigt hat, obwohl ich sie ausgebaut habe). Das liegt wohl an der Geschichte mit virtuellem Controller, daran die Platten und diese in der Maschine.

Windows selbst fühlt sich ebenfalls nicht zuständig, schließlich habe ich ja der Datenträgerverwaltung gesagt, sie soll sich nicht mehr um die Platten scheren (offline). Aber Western Digital bietet ein Tool an, das die SMART Parameter der Platte ausliest und leider nur für die ersten 6 Platten geht. Alle anderen werden nicht angezeigt.

Weil mir das dann alles zu aufwändig wurde, habe ich ein kleines Programm geschrieben, das genau diese Arbeit übernimmt. Es läuft unter Windows und überwacht alle Platten und informiert bei auftretenden Problemen oder neu erscheinenden Platten. Das Tool kann gerne von mir kostenlos bezogen werden.

Ich sollte an dieser Stelle erwähnen, dass der Rechner noch nicht einmal gebootet hat, seit die Datenplatten eingebunden wurden. Da sowohl der Onboard Controller, als auch die beiden Steckkarten so was Ähnliches wie Hot-Swap können, war es einfach nicht notwendig.

[title]Problem 5 – Morgens, halb zehn – wo ist mein Knopf äh RAID[/title] Irgendwann hat auch das neueste Windows mal ein Update einzuspielen und will booten. Also sicherheitshalber OMV sauber runtergefahren und die Windows Updates installiert. Rechner neu gestartet und die virtuelle Maschine mit OMV wieder angeworfen. AAAABER: wo sind meine Daten, wo ist das RAID und warum haben plötzlich 6 von 10 Platten eine Partition, die ich nie erstellt habe?

Jetzt musste ich erst mal meine Jacke ausziehen, denn mir war schlagartig ganz schön warm! Auch mehrmaliges booten hat an der Situation logischerweise nichts geändert. Das OMV Forum aber hat mehrere Einträge zu diesem Thema, der Puls ging runter, als ich las, dass das mal vorkommen kann, man aber in der Konsole per einfachem Befehl dem RAID sagen kann, es solle wieder starten.

Puh – schnell Kitty öffnen, rauf auf die OMV Kiste und den „mdadm.“ Befehl eingetippt. Gleich sind die Daten wieder da. Nur noch „Enter“ und nichts. Weder RAID noch Daten sind wieder da. Ich steige gerade auf Schnappatmung um schiele in Richtung Datensicherung. Die lief schon die ganze Zeit, oder Herr Murphy?

Nach geschlagenen 8 Stunden Recherche und vorsichtigen Tests verschiedener Tipps, die alle nichts gebracht haben, musste ich die drastischste Maßnahme ergreifen, die so eine RAID Konfiguration erleben kann. Ich musste zuerst dafür sorgen, dass die plötzlich erschienenen Partitionen verschwinden und ich musste dafür sorgen, dass die Superblocks der Datenplatten irgendwie wieder geschrieben werden ohne die Daten selbst zu zerstören.

Für die Partitionen habe ich die virtuelle Maschine mit virtuell eingelegter GParted-DVD gestartet und habe einfach die Partitionsinfos gelöscht. Um die Superblöcke auf die Platten zurück zu bekommen musste ich das RAID6 Array neu erstellen, wobei ich dem Array mitteilen musste, dass es annehmen soll, seine Daten seien noch intakt (warum auch nicht, ich habe ja nichts geändert).

Das geht mit dem Befehl
[code]mdadm –create –assume-clean –level=6 –raid-devices=10 /dev/md0 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk[/code]

Jetzt noch zwei Schrecksekunden warten, bis mdadm fertig ist mit Schreiben und dann kontrollieren, ob alles geklappt hat. Jawoll! Geschafft. Die Daten sind alle wieder da, der Betrieb kann weitergehen.

Wer hat aber die Partitionsinfos geschrieben? Irgendjemand oder irgendwas muss da doch schuld sein. Mein erster Verdacht: Windows. Also Microsoft. Ich konnte aber im Netz nichts finden zum Thema Partitionstabellen von Festplatten wird beim Einspielen von Windows 10 Updates überschrieben, obwohl die Platten in der Datenträgerverwaltung offline sind.

Ok – ist auch ein ganz schön langer Suchbegriff, aber auch Teile haben kein Ergebnis gebracht. Aber waren überhaupt die Updates schuld? OMV nochmal gestoppt, Windows-Rechner neu gestartet ohne dass Updates installiert wurden, OMV wieder an, RAID wieder weg. Ganzer Zirkus von vorne. Anscheinend also nicht die Updates, sondern Microsoft, trotz „offline“. Wie lösen?

Also habe ich mal die Hotline von Microsoft angerufen. Das wünsche ich keinem. Erste Anlaufstelle USA, dort Nummer für Deutschland bekommen, die war alt, aber als Ansage kam die neue, dort hieß es, ich werde weiterverbunden, dann musste ein Kollege geholt werden, dann musste Rücksprache mit dem 3rd Level Support gehalten werden, dann. hat es geheißen, ich habe halt Pech gehabt. Microsoft wird den Fall nicht weiterverfolgen. Ungut.

Neue Idee, ich verzichte auf Windows und ArgusTV (sehr ungerne) und starte direkt OMV auf dem Rechner. Also habe ich das momentan funktionierende OMV mit Clonezilla geklont und auf eine andere SSD kopiert. Diese dann statt der Windows Platte eingebaut und gestartet. Jetzt konnte ja nichts mehr passieren, denn Windows wurde nur noch runtergefahren und dabei werden ja wohl keine Partitionstabellen geschrieben.

Beim Einschalten des Rechners hatte ich erst Startschwierigkeiten, weil das BIOS des Mainboards sich die Einbaureihenfolge der Platten merkt und diese dann als Bootreihenfolge anbietet. Die neue SSD war also ganz hinten in der Reihe (und da das Board „nur“ 10 Einträge verwalten kann, war die neue SSD nicht mal zu sehen). Ich musste also erst noch dafür Sorge tragen, dass die SSD als erste zum Starten verwendet wird.

Nur leider war nach dem Start wieder alles im Argen. Diesmal war doch aber gar kein Windows beteiligt. Genauso gut konnte ich also wieder meine Urkonfiguration verwenden mit Windows und Hyper-V. Kaputt ist kaputt. Aber wo liegt die Lösung? Mein einziger verzweifelter Versuch war es, dem Board auszutreiben auf den WD Platten zu versuchen zu booten. Denn Booten auf einer nicht dafür vorgesehenen Platte, wer weiß schon, was da passiert?

Also alle Einträge zum Thema booten im BIOS abgeschaltet und Ich konnte den Rechner neu starten, ohne dass die Partitionen zerhauen wurden. Das RAID war aber trotzdem wieder weg. Diesmal saß das Problem aber vor dem Computer, denn OMV hat ein eigenes Config-Tool um manuelle Änderungen, z.B. am RAID auch persistent zu übernehmen.

Mit [code]omv-mkconf mdadm[/code] kann dieses Problem auch noch gelöst werden und seitdem habe ich sicherheitshalber nicht mehr neu gestartet. Ok, war Spaß, ich habe es noch ein paar Mal versucht, aber es hat immer geklappt.

Sollte es tatsächlich einen User geben, der bis hier gelesen hat, dann danke ich ihm für seine Geduld und sein Interesse an dieser Thematik. Aber hier sind so viele Stolperfallen, die undokumentiert waren, dass ich mir vorstellen kann, vielleicht dem Einen oder Anderen viel Ärger zu ersparen.

[i]Hinweis: wir danken Achim für seinen lesenswerten und sehr interessanten Erfahrungsbericht![/i]