lakotode
Goto Top

Storage Empfehlung

Erstmal ein herzliches Hallo in die Runde.

Dies ist mein erster Beitrag im Forum, und ich möchte euch hier um eure Meinung und Erfahrungen bitten.

Zunächst etwas zu den Rahmenbedingungen:

- 225 User
- 13 Server, 34 Server-VMs, Hyper-V, Server 2019
- FatClients
- Citrix Farm mit 5 NVIDIA GRID Hosts, Welche im Terminalserverbetrieb über Hyper-V laufen mit GPU Passtrough
- GPU-lastiges Arbeiten im 3D Bereich für ca. 140 User, 85 Office-User
- hybride MS Domäne mit M365
- Datenbestand: Gesamtkapazität des dezentralen Speichers (also auf alle Server verteilt) 300TB (inkl. Backup-Server), davon 200 TB belegt, Fileserver nimmt davon 25 TB ein, und eben hier haben wir noch 10% Kapazität, up- bzw outscalen siehe unten face-smile.
- 40k IOPS im LAN
- Fileserver Cluster, d.h. der Fileserver repliziert sich
- 100G Backbone, 40G Anbindung Netzwerk. 10/25G Netzwerkanbindung der Server, 1G zum Client. NOCH kein Store Network, dieses wird im Zuge des jetzigen zentralen Storages nun ebenfalls implementiert werden. Zum Storage Network habe ich aber keine Fragen, es geht hier nur um den Storage.

Nun zu meiner Frage an euch: Es geht um eine Zwischenlösung im Sachen Storage, ehe wir im kommenden Jahr unsere VDI zentral speichern wollen. Unsere Fileserver sind maximal belegt, upscalen geht nicht, also nur outscalen. 25 TB belegt. (Wir haben 2019 ein S2D in einem 4er Cluster eingesetzt, nach einem Crash ohne Datenverlust, bin ich sofort weg von S2D und zum herkömmlichen Fileserver mit Replikation gewechselt. Ganz früher hatten wir eine HP MSA im Einsatz, performance war mies, da drehende Platten, Rest war in Ordnung.)

Idee: Einen kleineren zentralen Storage jetzt, auf den wir den Fileserver umziehen und den wir dann später für Backups, Archiv nutzen können. Dann im kommenden Jahr einen weiteren, größeren zentralen Storage, welcher auch für die 225 virtuellen Desktops Platz bietet. Inwieweit wir dann noch auf Citrix setzen, werden wir dann sehen. Warum nicht alles auf einmal? Durch den kleineren Storage erkaufe ich uns Zeit, um den Bedarf genau zu ermitteln und festzulegen, wie wir unsere VDI weiter betreiben. Denn ein zentraler Storage für unseren Use-Case wird bei ca. 250.000€ liegen (oder irre ich mich da?)

Alle neuen Server sollen dann in Zukunft auf den zentralen Storage zugreifen.

Ich hatte mir angesehen:

- HPE MSA 2060/2062 mit Performance Tearing, also Teil SSDs, Teil HDDs (kleine Lösung jetzt)
- Alletra 4120 (kleine Lösung jetzt)
- Pure Storage X20 (fürs nächste Jahr)
- Alletra MP (fürs nächste Jahr)
- DELL EMC PowerStore

So, ich hoffe, ihr seid beim Lesen nicht eingeschlafen und freue mich auf euer Feedback/Meinungen/Erfahrungen und Empfehlungen zum Storage und vllt. auch zum Konzept.

Content-Key: 91741679364

Url: https://administrator.de/contentid/91741679364

Printed on: May 3, 2024 at 17:05 o'clock

Member: MysticFoxDE
MysticFoxDE Apr 23, 2024 at 14:02:15 (UTC)
Goto Top
Moin @Lakotode,

Nun zu meiner Frage an euch: Es geht um eine Zwischenlösung im Sachen Storage, ehe wir im kommenden Jahr unsere VDI zentral speichern wollen. Unsere Fileserver sind maximal belegt, upscalen geht nicht, also nur outscalen. 25 TB belegt. (Wir haben 2019 ein S2D in einem 4er Cluster eingesetzt, nach einem Crash ohne Datenverlust, bin ich sofort weg von S2D und zum herkömmlichen Fileserver mit Replikation gewechselt. Ganz früher hatten wir eine HP MSA im Einsatz, performance war mies, da drehende Platten, Rest war in Ordnung.)

na ja, die MSA's sind "OK", aber von HP kommen die ganz sicher nicht, auch wenn da ein HP Logo drauf ist, sondern eher von DOT HILL. 😉
Zumindest war das vor Jahren noch so.

Was deine Anfrage angeht, ja da hätte ich tatsächlich einen Vorschlag.

https://www.infortrend.com/de/products/families/gse/3000

Die Dinger kannst du je nach Gusto mit zwischen 12 bis 90 HDD's oder SSD's vollstopfen und dass nur was die redundanten Heads (Active-Active Controller, mehrere Netzteile, u.s.w.) angeht. 🤪

Und das beste ist, performancetechnisch fressen die so gut wie alles was du folgend ...

Ich hatte mir angesehen:

- HPE MSA 2060/2062 mit Performance Tearing, also Teil SSDs, Teil HDDs (kleine Lösung jetzt)
- Alletra 4120 (kleine Lösung jetzt)
- Pure Storage X20 (fürs nächste Jahr)
- Alletra MP (fürs nächste Jahr)
- DELL EMC PowerStore

... aufgelistet hast und das auch noch für einen Bruchteil der Kosten. 😉

Und nein, das ist ganz sicher kein Kindergartenstorage.
https://www.infortrend.com/de/solutions/SuccessStories/Content/3

Gruss Alex
Member: ThePinky777
ThePinky777 Apr 23, 2024 at 14:13:06 (UTC)
Goto Top
wende dich doch an ein Systemhaus, wie Bechtle oder so...
und lass dich beraten, kostet nix. Einfach Angebot reinholen und fertig.

denke erstmal ist die interessante Frage wie willst du das Storage anbinden:
-Fibre Channel
-iSCSI
-SAS

wobei wenn du viele Hosts hast fällt SAS eher flach.
Bleibt dann iSCSI oder FibreChannel

Was habt ihr da aktuell den im Einsatz?

naja und anhand dessen suchst du ein storage aus
Wir hatten zuletzt mal DELL Power Vault auf SSD Basis.
Stink normales Storage halt mit glaub 24 SSDs
war ultra performant und in den Jahren wo ich dort war ist noch nie ne SSD ausgefallen.
HDD Storages würde ich persönlich garnicht mehr kaufen,
hatten da nach ner weile fast monatliche ne defekte HDD....

wie gesagt lass dich da doch einfach von nem Systemhaus beraten, such ein grosses, vielleicht hast ja schon ein Systemhaus als Partner, eins wo Mittelstand ist und um die Ecke....
hat auch den vorteil wenn was brennt, haste jemand an der hand der helfen kann.
und ich sag mal den 1 Tag beim einrichten dann nen consultant antanzen zu lassen damit alles optimal angeschlossen wird, sollte man sich vielleicht auch gönnen wenn man sich selbst nicht ganz sicher ist.
Member: Boomercringe
Boomercringe Apr 23, 2024 at 14:24:04 (UTC)
Goto Top
Servus,

ich würde da tatsächlich überlegen ob ich nicht doch jetzt bereits jetzt einen aktuellen storage server anschaffe, der sowohl für den Fileserver als auch die VDI ausreichend wäre, und diesen dann aktuell erstmal nur mit den für den Fileserver benötigten SSDs bestücke:

https://www.supermicro.com/en/products/system/storage/1u/asg-1115s-ne316 ...

Wäre etwas was hierfür passen könnte
Member: Lakotode
Lakotode Apr 23, 2024 at 14:26:22 (UTC)
Goto Top
Hallo Alex, danke für dein Feedback face-smile Du hast geschrieben:

Und das beste ist, performancetechnisch fressen die so gut wie alles was du folgend ...

Ich hatte mir angesehen:

- HPE MSA 2060/2062 mit Performance Tearing, also Teil SSDs, Teil HDDs (kleine Lösung jetzt)
- Alletra 4120 (kleine Lösung jetzt)
- Pure Storage X20 (fürs nächste Jahr)
- Alletra MP (fürs nächste Jahr)
- DELL EMC PowerStore

... aufgelistet hast und das auch noch für einen Bruchteil der Kosten. 😉


Die genannten Systeme unterscheiden sich aber doch gravierend voneinander. Hier geht es um "die kleine Lösung" und ob ich da etwas zu kurz gedacht habe. Eine Alletra MP ist ja schon irgendwie ein ganz anderes Produkt als die HPE MSA 2060 oder 2062.

Die EonStor die du verlinkt hattest, entspricht ja quasi einer HPE MSA.
Member: user217
user217 Apr 23, 2024 at 14:38:51 (UTC)
Goto Top
Hallo,
Preis Leistungsmäßig unschlagbar = QuTS hero TS-h2490FU-7302P-128G mit 24x 8TB NVME = 100TB netto r6.
Schafft an der 100G Leitung aber nur max 40 vom Durchsatz.
Kostet 32k und ersetzt 2x24 Full Flash sowohl Bandbreite als auch io mäßig 1a bisher.
Läuft erst 1 Woche.
Achtung: keine Enterprise Features
Member: Boomercringe
Boomercringe Apr 23, 2024 at 14:52:23 (UTC)
Goto Top
Schafft an der 100G Leitung aber nur max 40 vom Durchsatz.

Das ist halt auch nicht mehr ganz aktuell glaube ich, die drive bays supporten nur NVMe Gen 3 x4 SSDs, da ist schon ein ziemlicher Unterschied zu den aktuellen Gen 5...
Member: Lakotode
Lakotode Apr 23, 2024 at 15:02:51 (UTC)
Goto Top
Hallo Pinky,

danke für deine Antwort!

denke erstmal ist die interessante Frage wie willst du das Storage anbinden:
-Fibre Channel
-iSCSI
-SAS


Das Storage Network wird wohl iSCSI werden, da FC und iSCSI mittlerweile schon sehr nahe beieinander sind, und iSCSI einfacher zu managen ist und wir kurze Wege haben. Performance-seitig tut sich in unserer Umgebung nicht viel, was FC rechtfertigen würde. Wobei FC auch eine Vorteile hat, Zuverlässigkeit etc. Da Storage und Storage Netzwerk zeitgleich implementiert werden, spielt das schon eine Rolle, aber die meisten Systeme gibt es eben in iSCSI und FC.

Und korrekt, SAS scheidet aus.

Ich möchte da sInvestment klein halten, da ja im nächsten Jahr ein großer Zentraler Storage kommt. Daher habe ich HDDs erwogen, bei dem Datenbestand ist sehr viel cold.


Genau da liegt das Problem, bei der großen Lösung tun sich die größeren Systemhäuser Bechtle und Telekom recht schwer. Bei der kleineren Lösung wird es einfacher, dennoch gibt es kaum eine "klare" Empfehlung.
Member: Lakotode
Lakotode Apr 23, 2024 at 15:05:27 (UTC)
Goto Top
Hallo!!

Zitat von @user217:

Hallo,
Preis Leistungsmäßig unschlagbar = QuTS hero TS-h2490FU-7302P-128G mit 24x 8TB NVME = 100TB netto r6.
Schafft an der 100G Leitung aber nur max 40 vom Durchsatz.
Kostet 32k und ersetzt 2x24 Full Flash sowohl Bandbreite als auch io mäßig 1a bisher.
Läuft erst 1 Woche.
Achtung: keine Enterprise Features

Vielen Dank! Ich recherchiere direkt mal.
Member: Lakotode
Lakotode Apr 23, 2024 at 15:09:54 (UTC)
Goto Top
Hey und hallo!

Zitat von @Boomercringe:

Servus,

ich würde da tatsächlich überlegen ob ich nicht doch jetzt bereits jetzt einen aktuellen storage server anschaffe, der sowohl für den Fileserver als auch die VDI ausreichend wäre, und diesen dann aktuell erstmal nur mit den für den Fileserver benötigten SSDs bestücke:

https://www.supermicro.com/en/products/system/storage/1u/asg-1115s-ne316 ...

Wäre etwas was hierfür passen könnte

Jap, ganz klar, das wäre das sinnvollste. Ich habe die Auflage das Investment zu strecken und zumindest etwas zu verteilen. Daher Jetzt Storage Netzwerk und kleine Lösung.
Member: em-pie
em-pie Apr 23, 2024 updated at 15:33:27 (UTC)
Goto Top
Moin,

Ich werfe mal HUAWEI mit den OceanStor-Produkten ins Rennen.

Die Dinger laufen einfach. Der Support kann sich auch sehen lassen. Im Zweifel klingt sich direkt das Entwicklungsteam ein. Habe das bei nem befreundeten Unternehmen schon mitbekommen dürfen face-smile
Und die Technik unter der Haube kann sich auch sehen lassen.


Edit:
Konkrete Produkte kann ich dir nicht nennen. Das muss man sich konkret bei euch - mit HUAWEI/ dem ChannelPartner anschauen. Nur so bekommt man das optimale raus.
Member: MysticFoxDE
MysticFoxDE Apr 23, 2024 updated at 15:40:25 (UTC)
Goto Top
Moin @Lakotode,

Die genannten Systeme unterscheiden sich aber doch gravierend voneinander.

das ist mir durchaus bewusst.

Hier geht es um "die kleine Lösung" und ob ich da etwas zu kurz gedacht habe.

Der Preis der Infortrends, ist kleiner wie du vielleicht denkst.

Eine Alletra MP ist ja schon irgendwie ein ganz anderes Produkt als die HPE MSA 2060 oder 2062.

Jain, denn beide sind zuerst einmal reine Blockstorages und die einen, sprich die MSA's haben etwas weniger Schnickschnack und die Alletra MP, ist voll mit Schnickschnack. 🙃

Habe dem Letzt erst übrigens ein Angebot für ein Alletra MP 8C Node auf dem Tisch gehabt ... alter Falter ... vor allem was den Listenpreis angeht. Und ja, ich weis genau was bei HPE im Projektbereich an Nachlass möglich ist.

Die EonStor die du verlinkt hattest, entspricht ja quasi einer HPE MSA.

Nö, nicht ganz, die ist performancetechnisch über der Alletra MP und kann zudem auch noch so Schnickschnack wie eine NetApp, sprich auch filebasierte Zugriffe, z.B. über SMB abvespern. 😉

Und Richtung Server (Blockmode) oder auch Clients (Filemode), kannst du die auch so anbinden wie du möchtest.

- 16Gb/s FC
- 32Gb/s FC
- 10GbE (SFP+)
- 25GbE (SFP28)
- 25GbE (SFP28)
- 100GbE (QSFP28)
(- 12Gb/s SAS)

Gruss Alex
Member: psannz
psannz Apr 23, 2024 at 15:47:09 (UTC)
Goto Top
Sers,

vorab ein paar Fragen:
  • Müssen Backup und VM/Filer Speicher auf demselben Storage System liegen?
  • Sind in den Speicherangaben Dedup oder Kompression drin? Falls nein: mal ddpeval.exe auf die Volumes losgelassen?
  • Sind in den Speicherangaben Snapshots drin?

Grüße,
Philip
Member: Spirit-of-Eli
Spirit-of-Eli Apr 24, 2024 at 05:53:45 (UTC)
Goto Top
Zitat von @em-pie:

Moin,

Ich werfe mal HUAWEI mit den OceanStor-Produkten ins Rennen.

Die Dinger laufen einfach. Der Support kann sich auch sehen lassen. Im Zweifel klingt sich direkt das Entwicklungsteam ein. Habe das bei nem befreundeten Unternehmen schon mitbekommen dürfen face-smile
Und die Technik unter der Haube kann sich auch sehen lassen.


Edit:
Konkrete Produkte kann ich dir nicht nennen. Das muss man sich konkret bei euch - mit HUAWEI/ dem ChannelPartner anschauen. Nur so bekommt man das optimale raus.

Die Erfahrung unterstreiche ich. Die sind echt fix.

Die üblichen Bedenken mal dahin gestellt.
Member: Lakotode
Lakotode Apr 24, 2024 at 06:37:52 (UTC)
Goto Top
passen könnte

Gute Argumente, ich sehe mir heute die QNAP vom Vorredner an, danke hierfür nochmal, und recherchiere nach der EonStor.

Übrigens bin ich begeistert von dem Input der hier kommt!!!
Member: Lakotode
Lakotode Apr 24, 2024 at 06:43:49 (UTC)
Goto Top
Zitat von @psannz:
Guten Morgen Philip,



Sers,

vorab ein paar Fragen:
  • Müssen Backup und VM/Filer Speicher auf demselben Storage System liegen?

ich würde Backup und File/VM trennen, Backup und Archiv auf die jetzt kommende kleine Storage legen, File dann später mit den VM-Stroage auf den großen Storage der im nächsten Jahr kommt migrieren. VM-Storage spielt jetzt NOCH keine Rolle, da den Stroage durch die 5 NVIDIA GRID Hosts mit SSDs verwaltet wird.


* Sind in den Speicherangaben Dedup oder Kompression drin? Falls nein: mal ddpeval.exe auf die Volumes losgelassen?

Komplett ohne Dedup, bei dem Sizing des größeren Systems habe ich mit dem Faktor 3 gerechnet. Bei dem kleinen System jetzt habe ich mit keiner, also 0, Deduplizierungsrate gerechnet

* Sind in den Speicherangaben Snapshots drin?

Jap, inklusive Snapshots und Backupsystem 200 TB aktuell belegt, 300 TB gesamter Speicher dezentral verteilt. Aber eben auf dem Fileservern wirds eng, und die sind maximal belegt.

Das kleine System soll erstmal File beherbergen, später, wenn das große System kommt, soll das kleine Backup und Archiv beherbergen, File und VM-Storage dann halt auf dem großen System.


Grüße,
Philip
Member: Lakotode
Lakotode Apr 24, 2024 updated at 06:49:30 (UTC)
Goto Top
Zitat von @Spirit-of-Eli:

Zitat von @em-pie:

Moin,

Ich werfe mal HUAWEI mit den OceanStor-Produkten ins Rennen.

Die Dinger laufen einfach. Der Support kann sich auch sehen lassen. Im Zweifel klingt sich direkt das Entwicklungsteam ein. Habe das bei nem befreundeten Unternehmen schon mitbekommen dürfen face-smile
Und die Technik unter der Haube kann sich auch sehen lassen.

Die Huawei hatte mein Kollege auch schon ins Rennen gebracht und wie so oft, fehlt es an Erfahrungswerten. Es ist halt Huawei und ich habe Sorge bzgl. der ITS. Auch wenn die vielleicht etwas übertrieben ist.



Edit:
Konkrete Produkte kann ich dir nicht nennen. Das muss man sich konkret bei euch - mit HUAWEI/ dem ChannelPartner anschauen. Nur so bekommt man das optimale raus.

Die Erfahrung unterstreiche ich. Die sind echt fix.

Laut Reddit und Co kosten die Systeme ca 1/3 einer Alletra, MSA, DELL etc. und auch hier schneidet die gut ab, bei den Admins.


Die üblichen Bedenken mal dahin gestellt.


Also nehme ich Huawei mal mit auf und, lasse mir ein System anbieten.

EDIT: Da ging es um die All-Flash, das Dorado von Huawei. Ist aber ja auch OceanStor-Serie.
Member: em-pie
em-pie Apr 24, 2024 at 07:24:23 (UTC)
Goto Top
Die Huawei hatte mein Kollege auch schon ins Rennen gebracht und wie so oft, fehlt es an Erfahrungswerten. Es ist halt Huawei und ich habe Sorge bzgl. der ITS. Auch wenn die vielleicht etwas übertrieben ist.
Und die anderen Hersteller sind 100% Backdoor-Free nur weil die aus den Staaten oder woher auch immer kommen?
Eine Garantie gibt es bei keinem Herstellerface-wink
Member: ThePinky777
ThePinky777 Apr 25, 2024 updated at 13:17:25 (UTC)
Goto Top
also wenn du kosten strecken musst versteh ich die diskussionen sowieso nicht.
dann kauf dir das richtige storage und per leasing,
lebensdauer ist ja glaub 6-8 Jahre mit Hersteller Wartungsvertrag.
Lässt dir gleich für die volle lebensdauer wartung mit drauf geben und
das ganze eben für 8 jahre leasen. somit teilen sich die kosten komplett auf die laufzeit auf.
das gleiche für Host Server usw...
damit verteilen sich die kosten optimal.

so hab ich das immer gemacht... bei firmen mit wenig kohle.

und da kostet dann halt ein Storage wo 50k kostet dann im jahr ca. 6-7k
sprich ca. 500,- pro Monat...

Ich bin Fan von einfachen storage systemen wie Dell Power Vault oder
äquivalente von HP, haben nicht viel Schnick Schnack aber mit SSDs bestückt und einmal ordentlich konfiguriert
tun die was sie sollen... mit SSDs hatte ich so ein Storage und keine einzige SSD gestorben in der gesammten laufzeit.
Und wir hatten 10 GBit hochperformance Netzwerke im Einsatz da und immer locker 550 MB/s Datendurchsatz..
Waren Maschinen mit massiven Datenstrom durchsatz...

Von HDDs Storage Systemen halte ich seit dem garnix mehr... Hardware Defekt anfällig und unperformant.
Und kosten für SSDs bringen einen auch nicht um finde ich.

Und wenn du iSCSI betreiben willst, und deine Server 10 GB RJ45 Netzwerkkarten verbaut haben (oder nachrüchsten) kannste bei Ubiquiti 16 Port 10 GB switche relativ günstig bekommen, mit SPF+ auf RJ45 Adapter dann per Kuperkabel als Backbone Switch gut zu verwenden.
Member: cmiit97
cmiit97 Apr 26, 2024 at 20:02:09 (UTC)
Goto Top
Moin,

wir haben vor 2 Jahren nach einem ausfallsicheren Storage System gesucht. Zu dem Zeitpunkt hatten wir Datacore im einsatzt.

Wichtig war uns das das System HA kann. Dadurch ist unsere anfängliche Präfererenz, eine HPE MSA , raugeflogen da diese nur Snapshot replikation unterstüzt.
Bei unserer weiteren suche sind wir dann auf eine Nimble gestoßen. Die ist aber dann auch sehr schnell wieder rausgeflogen, da man diese entweder nur halb bestückt oder ganz bestückt bekommt.

Als nächtest haben wir uns eine Lösung von Dell angeschaut. Von unseren Anforderungen passte die Lösung sehr gut zu uns. HA war wirklich HA. Leider hat uns der Preis nicht so recht gepasst. Wir haben dann unser Augenmerk mal von den großen Herstellern abgewenden und sind bei Open-E gelandet.

Ha funktion mit Deduplizierung und NVME Power für einen erschwinglichen Preis. Und zack hatten wir die Software auf unserer Testinfrastrukur installiert und wir waren begeistert. Unserer Anforderungen wurden zu 100% erfüllt.
Fällt ein System aus übernimmt einfach der andere Server ohne das der User war bemerkt.

Die Hardware und die Lizenzen haben wir über Thomas Krenn beschafft.
https://www.thomas-krenn.com/de/produkte/storage-systeme/open-e-joviands ...

Ich kann Open-E wirklich nur empfehlen. Bei deinem Budjet bekommt du bestimmt ein Zukunftssicheres System.

LG aus dem Norden
Cmiit97
Member: MysticFoxDE
MysticFoxDE Apr 27, 2024 at 06:39:32 (UTC)
Goto Top
Moin @ThePinky777,

Ich bin Fan von einfachen storage systemen wie Dell Power Vault oder
äquivalente von HP, haben nicht viel Schnick Schnack aber mit SSDs bestückt und einmal ordentlich konfiguriert
tun die was sie sollen... mit SSDs hatte ich so ein Storage und keine einzige SSD gestorben in der gesammten laufzeit.

dafür, dass die SSDs nicht gestorben sind, sind hauptsächlich die SSD-Hersteller verantwortlich und nicht die Storage-Hersteller. 😉

Wir verbauen schon seit über 10 Jahren nur noch All-Flash im Primärstorage und hatten bis heute bei hunderten von SSD's, höchstens zwei austauschen müssen und das ist auch schon Jahre her. 😁

Und wir hatten 10 GBit hochperformance Netzwerke im Einsatz da und immer locker 550 MB/s Datendurchsatz..
Waren Maschinen mit massiven Datenstrom durchsatz...

Ähm, ein ordentlich konfiguriertes All-Flash-Storage, sollte über 10 GB aber locker > 1000 MB/s liefern und nicht nur 550 MB/s und im Normalfall sollte es vom Server-Node auch nicht nur mit einem Pfad erreichbar sein, sondern über mindestens zwei und somit eigentlich > 2000 MB/s liefern.

Und wenn du iSCSI betreiben willst, und deine Server 10 GB RJ45 Netzwerkkarten verbaut haben (oder nachrüchsten) kannste bei Ubiquiti 16 Port 10 GB switche relativ günstig bekommen, mit SPF+ auf RJ45 Adapter dann per Kuperkabel als Backbone Switch gut zu verwenden.

Wenn du wirklich Performance haben möchtest, dann nimm bitte FC oder SAS, aber nicht iSCSI, da es seltenst das liefert, was das Marketing verspricht.

Gruss Alex
Member: MysticFoxDE
MysticFoxDE Apr 27, 2024 at 07:14:52 (UTC)
Goto Top
Moin @cmiit97,

Wichtig war uns das das System HA kann. Dadurch ist unsere anfängliche Präfererenz, eine HPE MSA , raugeflogen da diese nur Snapshot replikation unterstüzt.

du verkuttelst hier für meinen Geschmack ein paar Dinge viel zu sehr miteinander.

Denn HA ist die Hardware der MSA's schon, zumindest wenn man sie entsprechend bestellt.
Sprich, wenn die Dinger, vor allem mit redundanten Controllern bestellt wurden, dann kann eine MSA den Ausfall einer Komponente, wie z.B. eines Netzteils oder eines Controllers, durchaus ohne Ausfälle kompensieren und genau das ist HA bei Storage.

Was du hier jedoch ansprichst, ist eher ein HA-RZ/SR (Rechenzentrum/Serverraum) Konzept und nicht ein reines HA-Storage Konzept.

Und ja, die MSA kann im Falle eines HA-RZ Konzepts, kein transparentes Failover, aber dafür wurde diese primär auch nicht wirklich designt.

Als nächtest haben wir uns eine Lösung von Dell angeschaut. Von unseren Anforderungen passte die Lösung sehr gut zu uns. HA war wirklich HA. Leider hat uns der Preis nicht so recht gepasst. Wir haben dann unser Augenmerk mal von den großen Herstellern abgewenden und sind bei Open-E gelandet.

Fällt ein System aus übernimmt einfach der andere Server ohne das der User war bemerkt.

Solange ein Storage-Node ausfällt, glaube ich dir das schon, wenn jedoch einer euerer HV-Nodes auf dem die VM's laufen die Grätsche macht, dann werden die User das schon merken. Denn ich bezweifle mal, dass auch die VM's per FT (Fault Tolerance) entsprechend abgefangen sind.
Und ohne FT auf der HV Ebene, nutzt dir das "FT" nur auf der Storage-Ebene im Ernstfall nicht wirklich etwas, zumindest nicht im Sinne von "ohne das der User was bemerkt", weil die VM's von dem ausgefallenen Node/RZ, "auf der anderen Seite", im Besten Fall, "nur" neu gestartet werden müssen.
By the Way, dafür reicht die MSA dann meistens auch aus. 😉

So, jetzt aber genug über die MSA's getextet, denn ich kann die Dinger eigentlich nicht wirklich gut leiden, vor allem die von HPE upgelabelten. 🙃

Gruss Alex
Member: Dani
Dani Apr 27, 2024 updated at 19:12:00 (UTC)
Goto Top
Moin @Lakotode,
VM-Storage spielt jetzt NOCH keine Rolle, da den Stroage durch die 5 NVIDIA GRID Hosts mit SSDs verwaltet wird.
Das ist doch relativ. Wie viele IOPS wird für die VDI kurzfristig, mittelfristig benötigt? Es geht darum Boot Storms abzufangen, oder?

Moin @cmiit97,
Leider hat uns der Preis nicht so recht gepasst. Wir haben dann unser Augenmerk mal von den großen Herstellern abgewenden und sind bei Open-E gelandet.
sehe ich richtig, dass dort der Speicherplatz lizenziert wird?!

Leider hat uns der Preis nicht so recht gepasst. Wir haben dann unser Augenmerk mal von den großen Herstellern abgewenden und sind bei Open-E gelandet.
Das ist leider relativ. Da wir deine Anforderungen und die Preise nicht kennen, kann das alles oder nicht sein. Wie soll man die Aussage werten? Sehe ich das richtig, dass bei Open-E bei 4PB Ende ist?

Moin @MysticFoxDE,
Solange ein Storage-Node ausfällt, glaube ich dir das schon, wenn jedoch einer euerer HV-Nodes auf dem die VM's laufen die Grätsche macht, dann werden die User das schon merken. Denn ich bezweifle mal, dass auch die VM's per FT (Fault Tolerance) entsprechend abgefangen sind.
So ist es... wer solche Anforderungen hat, legt die Anwendung ebenfalls redundant aus (HA auf Layer 7). Setzt natürlich voraus, dass die unterliegenden Layer ebenfalls den Anforderungen entsprechen.

Moin @ThePinky777,
dann kauf dir das richtige storage und per leasing,
lebensdauer ist ja glaub 6-8 Jahre mit Hersteller Wartungsvertrag.
Nenn mir einen Hersteller von Storages/SAN, welche von Anfang einen Wartungsvertrag über 5 Jahre anbieten. Mir fällt gerade keiner ein.
Member: Lakotode
Lakotode Apr 30, 2024 at 07:48:31 (UTC)
Goto Top
Guten Morgen,

ja, die MSA unterstützt nur SnapShot. ISt im All-Flash allerdings bei 66k IOPS, was ausreichend wäre. Nimble = Alletra, das ist dann relevant für den größeren Storage. Open-E sagt mir nichts, ich sehe es mir an!

Danke für deine Antwort!

Zitat von @cmiit97:

Moin,

wir haben vor 2 Jahren nach einem ausfallsicheren Storage System gesucht. Zu dem Zeitpunkt hatten wir Datacore im einsatzt.

Wichtig war uns das das System HA kann. Dadurch ist unsere anfängliche Präfererenz, eine HPE MSA , raugeflogen da diese nur Snapshot replikation unterstüzt.
Bei unserer weiteren suche sind wir dann auf eine Nimble gestoßen. Die ist aber dann auch sehr schnell wieder rausgeflogen, da man diese entweder nur halb bestückt oder ganz bestückt bekommt.

Als nächtest haben wir uns eine Lösung von Dell angeschaut. Von unseren Anforderungen passte die Lösung sehr gut zu uns. HA war wirklich HA. Leider hat uns der Preis nicht so recht gepasst. Wir haben dann unser Augenmerk mal von den großen Herstellern abgewenden und sind bei Open-E gelandet.

Ha funktion mit Deduplizierung und NVME Power für einen erschwinglichen Preis. Und zack hatten wir die Software auf unserer Testinfrastrukur installiert und wir waren begeistert. Unserer Anforderungen wurden zu 100% erfüllt.
Fällt ein System aus übernimmt einfach der andere Server ohne das der User war bemerkt.

Die Hardware und die Lizenzen haben wir über Thomas Krenn beschafft.
https://www.thomas-krenn.com/de/produkte/storage-systeme/open-e-joviands ...

Ich kann Open-E wirklich nur empfehlen. Bei deinem Budjet bekommt du bestimmt ein Zukunftssicheres System.

LG aus dem Norden
Cmiit97
Member: Lakotode
Lakotode Apr 30, 2024 at 07:54:31 (UTC)
Goto Top
Zitat von @MysticFoxDE:

Moin @ThePinky777,

Ich bin Fan von einfachen storage systemen wie Dell Power Vault oder
äquivalente von HP, haben nicht viel Schnick Schnack aber mit SSDs bestückt und einmal ordentlich konfiguriert
tun die was sie sollen... mit SSDs hatte ich so ein Storage und keine einzige SSD gestorben in der gesammten laufzeit.

dafür, dass die SSDs nicht gestorben sind, sind hauptsächlich die SSD-Hersteller verantwortlich und nicht die Storage-Hersteller. 😉

Wir verbauen schon seit über 10 Jahren nur noch All-Flash im Primärstorage und hatten bis heute bei hunderten von SSD's, höchstens zwei austauschen müssen und das ist auch schon Jahre her. 😁

Da bin ich bei MysticFox, die Server und damit der dezentrale Storage ist ausschließlich (bis auf BackupServer) SSDs, wir hatten einen Ausfall, bei ca. 100 SSDs innerhalb von 4-5 Jahren. Klar, absolut nicht repräsentativ, aber halt "so ein Gefühl".


Und wir hatten 10 GBit hochperformance Netzwerke im Einsatz da und immer locker 550 MB/s Datendurchsatz..
Waren Maschinen mit massiven Datenstrom durchsatz...

Ähm, ein ordentlich konfiguriertes All-Flash-Storage, sollte über 10 GB aber locker > 1000 MB/s liefern und nicht nur 550 MB/s und im Normalfall sollte es vom Server-Node auch nicht nur mit einem Pfad erreichbar sein, sondern über mindestens zwei und somit eigentlich > 2000 MB/s liefern.

ca. 5.000 MB/s sind schon empfehlenswert.


Und wenn du iSCSI betreiben willst, und deine Server 10 GB RJ45 Netzwerkkarten verbaut haben (oder nachrüchsten) kannste bei Ubiquiti 16 Port 10 GB switche relativ günstig bekommen, mit SPF+ auf RJ45 Adapter dann per Kuperkabel als Backbone Switch gut zu verwenden.

Wenn du wirklich Performance haben möchtest, dann nimm bitte FC oder SAS, aber nicht iSCSI, da es seltenst das liefert, was das Marketing verspricht.

Okay, der Input ist gut, ich schwanke zwischen FC und iSCSI, da der Durchsatz beim FC etwas höher ist, zudem haben wir noch einen SN2010M hier, von einem der Standorte. TCP Overhead ist zwar vorhanden bei iSCSI, aber dafür ist es auch gut managebar...

Gruss Alex
Member: Lakotode
Lakotode Apr 30, 2024 at 08:04:10 (UTC)
Goto Top
Zitat von @Dani:

Moin @Lakotode,
VM-Storage spielt jetzt NOCH keine Rolle, da den Stroage durch die 5 NVIDIA GRID Hosts mit SSDs verwaltet wird.
Das ist doch relativ. Wie viele IOPS wird für die VDI kurzfristig, mittelfristig benötigt? Es geht darum Boot Storms abzufangen, oder?

Ganz genau. Ich denke, dass wir mit 100k IOPS zu Hochzeiten rechnen müssen, allerdings fehlt mir der Erfahrungswert! Denn aktuell hosten wir ja Terminalserver. Ein All-Flash MSA macht ca. 66k IOPS, aber ich glaube, für VDI ist eine MSA das falsche System.


Moin @MysticFoxDE,
Solange ein Storage-Node ausfällt, glaube ich dir das schon, wenn jedoch einer euerer HV-Nodes auf dem die VM's laufen die Grätsche macht, dann werden die User das schon merken. Denn ich bezweifle mal, dass auch die VM's per FT (Fault Tolerance) entsprechend abgefangen sind.
So ist es... wer solche Anforderungen hat, legt die Anwendung ebenfalls redundant aus (HA auf Layer 7). Setzt natürlich voraus, dass die unterliegenden Layer ebenfalls den Anforderungen entsprechen.

Die Replikation läuft natürlich parallel, bei FileServer-VM, DCs-VMs etc. ist Fault Tolerance am Start, allerdings merken die User das ggf., davon ist auszugehen. Kam noch nicht zu dem Szenario. Hatten ja die HV-Nodes aus dem ex-Cluster von S2D "übrig", also alle VMs im Cluster replizieren lassen. S2D ist aber nicht nochmal eine Option, die Erfahrung war zu "einschneidend". Wobei ich ein großer Fan von dem Konzept S2D bin!!
Member: Dani
Dani May 01, 2024 at 10:32:07 (UTC)
Goto Top
@Lakotode
Da bin ich bei MysticFox, die Server und damit der dezentrale Storage ist ausschließlich (bis auf BackupServer) SSDs, wir hatten einen Ausfall, bei ca. 100 SSDs innerhalb von 4-5 Jahren. Klar, absolut nicht repräsentativ, aber halt "so ein Gefühl".
100 SSDs von wie vielen in Summe?

ca. 5.000 MB/s sind schon empfehlenswert.
Seit ihr zwischen durch mit den Einheiten durcheinandergekommen? Weil bei 5GB/s kommst du mit 10Gbit Switches auch nicht mehr weit.

Ganz genau. Ich denke, dass wir mit 100k IOPS zu Hochzeiten rechnen müssen, allerdings fehlt mir der Erfahrungswert!
Denken und glauben solltest du bei sowas auf keinen Fall! Bei solchen weitreichenden Investitionen müssen solche Werte validiert werden. Da bietet sich an, aktuelle Werte zu erfassen und die BP von den Herstellern einfließen zu lassen.

Ein All-Flash MSA macht ca. 66k IOPS, aber ich glaube, für VDI ist eine MSA das falsche System.
Glauben kannst du am Sonntag in der Kirche. Du triffst eine Entscheidung für und wieder. Die eine Menge Geld kosten kann. Da müssen ausschließlich Fakten, Fakten, Fakten zählen.

Wobei ich ein großer Fan von dem Konzept S2D bin!!
Ich auch nicht. Aber die jüngere Generation steht da total drauf. Aber solange ich Bestellungen unterschreibe und dafür meinen Kopf hinhalte, entscheide ich mich für die uns beste Lösung, welche mich auch danach ruhig schlafen lässt.

Die Replikation läuft natürlich parallel, bei FileServer-VM, DCs-VMs etc. ist Fault Tolerance am Start, allerdings merken die User das ggf., davon ist auszugehen. Kam noch nicht zu dem Szenario.
Ich Fall vom Stuhl... sowas muss doch regelmäßig getestet werden. Eigentlich nach jedem Update oder großen Konfigurationsänderung. Weil nicht jede Anwendung kommt mit FT klar. Wobei ich bei DCs schon bei der Idee große Bauchschmerzen hätte. Da sollte es auf keinen Fall zu Differenzen führen. Ansonsten ist eine nicht funktionierte FT dein kleinstes Problem.


Gruß,
Dani