Nevím. CEPH testujeme asi tak rok a na produkční nasazení to (podle mého názoru) není. V podstatě se nám to kdykoliv na počkání podařilo shodit (specifickou zátěží) - data zůstala v pořádku, ale klienti se odpojili až do restartu cephu. Zkoušeli jsme jak CephFS, tak blokové zařízení RBD. Běžné servery, 10GBe síť, Intel server SSD jako ceph cache a běžné SAS disky jako OSD. Výkon poměrně nepřesvědčivý, spolehlivost nic moc.
Další věcí je chybějící dokumentace. Když jsem zkoušel podle Quick start nainstalovat tehdy stable verzi 10, tak to prostě nešlo, příkazy a jejich parametry neodpovídaly dokumentaci. Kolega, co měl větší trpělivost, to potom teda za násobně větší čas dal. Verze 11 nefungovala prakticky vůbec, byl tam jakýsi nový proces, který permanentně zatěžovat cpu na 100% (což by samo o sobě až tak nevadilo), ale v dokumentaci o něm nebyla ani čárka. A verzi 12 jsme zkoušeli ještě jako RC, ale to vydrželo bez zátěže běžet tak 3 dny a potom se to samo sesypalo.
Nevím, kde se stala chyba, neříkám, že je CEPH špatný produkt, ale tohle mě prostě zklamalo. Pokud nelze ani dokončit instalaci podle oficiálního návodu, jak tomu má člověk věřit, když potom nastane nějaký větší problém za produkčního nasazení?
--
Díky za pěkný článek, je z té přednášky záznam nebo slajdy s popisem té jejich architektury? Docela by mě to zajímalo.
Příspěvky Ceph na poštovním serveru (SUSECON 2017)
Záznam mám zvukový, mohu ti ho poslat (zveřejňovat ho nebudu). Slajdy jsou jen ty, na které vede odkaz pod obrázkem na konci článku.
Re: Re: Ceph na poštovním serveru (SUSECON 2017)
Tomáš Crhonek 28. 09. 2017, 11:36:51
Odpovědět Odkaz
Re: Re: Re: Ceph na poštovním serveru (SUSECON 2017)
KaliszAd 28. 09. 2017, 17:22:58
Odpovědět Odkaz
O Ceph i GlusterFS jako "nových" systémech jsem slyšel hodně zlého i dobrého ve smyslu, že mbusíte vědět, co a jak a že je to boj. Potom to ale jde.KaliszAd 28. 09. 2017, 17:22:58
Odpovědět Odkaz
Proto jsem se rozhodl pro kombinaci Pacemaker, Corosync, DRBD a minimálně na Failover s iSCSI to bylo fajn i když jsem to dost týral. Caching s SSD a dm_cache je taky fajn budu o tom přednášet na LinuxDays.
Jinak HPE VSA a VMWare vSAN jsou do určité míry konkurencí těmto přístupům. Pokud chcete něco podobného, ale bez osobní zodpovědnosti.
Re: Re: Re: Re: Ceph na poštovním serveru (SUSECON 2017)
Tomáš Crhonek 28. 09. 2017, 17:49:01
Odpovědět Odkaz
GlusterFS jsem chvíli testovat, na rozdíl od cephu bylo nasazení na 4 nody hotové do půl hodiny a šlapalo to na první dobrou. Interní NFS běželo no problémo, na rozumně velké soubory to bylo slušně rychlé. Ale víc zkušeností s tím nemám, Aleš Kapica říkal, že je docela problém s hodně velkými soubory (on to zkoušel pro image vmek), při kontrole synchronizace dat jsou ty soubory prostě nedostupné.
Na přednášku o dm_cache se těším, doufám, že bude záznam.
Ty komerční věci jsou brutálně předražené. Za stejné peníze postavím potřebný storage jiným způsobem a levněji.
