Raid-5炸掉和合理Raid組磁碟數量分配問題 - Linux

Table of Contents

Hi, 各位Linux前輩請多多指點小弟

事情是這樣,今天早上我確認Raid-5磁碟陣列出現三顆異常便著急更換
操作過程有一些misunderstand和不謹慎,也沒有確認Spare Disk的情況
到底是本來就不可能了,還是我腦殘造成的,已經不可考。
總之,重建失敗,Raid Fail, 資料爸爸、資料媽媽、資料阿公、資料弟弟
祖孫上下三代400TB已經一起上路。

我己經準備提頭跟老闆解釋。
七月的台灣,真的好冷。

-------

木已成舟,重組Raid已經是既定事項,我現在只能想辦法不要重蹈覆側。
我查詢了網路上的一些說法,Raid-5既然只能損毀一顆硬碟
所以有經驗的管理者,都會控制整個Raid組合理的磁碟數量上限
避免重建過程又發生磁碟故障的機率上升

目前接到我手上的Raid組合是4TB*180顆作Raid-5,其中約包含6顆Spare disk
這樣的組合數量是否合理(目前該機器已屆保固期,磁碟故障的狀況已開始較常發生)

我查詢網路上,大多是家用級NAS的討論。商用級storage或SAN的討論比較少。
可以麻煩有經手過商用級SAN的前輩指點個大概概念和經驗嗎?

我目前是希望重做之後打散成3組Raid-5或6,每組再附加2~3顆Hot Spare.
避免再發生組內多顆硬碟同時接近壽終。

有點伸手,這裡先跟各位誠懇致歉,如果有前輩願意指點,我真的很感謝
明天就要上刑場了.., 目前四處都在整理資料中。

--

All Comments

Barb Cronin avatarBarb Cronin2019-08-17
raid10或01就好,要速度請加ssd做快取。資料不要只
有一份,最好是兩地異地備援(不要備在自己家裡)。
rebuild都要看運氣啦。
Caroline avatarCaroline2019-08-18
這東西很玄學
Suhail Hany avatarSuhail Hany2019-08-20
該用raidz3,超過12顆就該用更厲害的做法。180顆硬碟只
規劃raid5....幫拍拍
Elvira avatarElvira2019-08-21
hadoopfs會duplicate三份,raidz不論是1還是2還是3都du
plicate不到兩份。可能不能直接拿來比較,但是重要的資
料duplicate不到兩份真的說的過去嗎?
Emma avatarEmma2019-08-25
沒有異地備援,今天是硬碟壞了,明天如果天災人禍火災
或漏水,這些資料一樣都消失了
Ina avatarIna2019-08-29
亂講了一些,再幫你拍拍一次。我覺得一開始的規劃就非
常有問題,希望對你有幫助
Blanche avatarBlanche2019-09-02
理論上是吧。raid的rebuild也有個問題,通常一組raid的
硬碟都是同時買的,壽命、品質可能也很接近,rebuild過
程中也很有可能途中再掛一顆兩顆
Zanna avatarZanna2019-09-05
其實單台180顆已經遠超乎我的想像了,我也不是儲存裝置
的專家,我只是知道這個數量絕對不可能用raid5........
如果你自己無法評估,建議你找專業廠商去幫你們評估
Skylar DavisLinda avatarSkylar DavisLinda2019-09-09
其實我回覆的第一句話被ptt吃了,原本是說
內可以考慮用raidz1,6~12顆考慮用raidz2,12顆以上考
Aaliyah avatarAaliyah2019-09-10
慮用raidz3。
可是180顆只用raidz3真的夠嗎?我也不知道
Daph Bay avatarDaph Bay2019-09-10
好像不能貼連結....reddit上面有討論,五顆以內可以考
James avatarJames2019-09-10
慮 raidz1
Poppy avatarPoppy2019-09-10
好的,a大(更正),我再把高階Raid跟單一Raid組規模加入
跟Boss的討論裡。
George avatarGeorge2019-09-13
還有一點就是RAID並不是備份,如果資料真的重要還是要有備份
Joseph avatarJoseph2019-09-14
商用幾乎不會有4TB×180顆的解。
Odelette avatarOdelette2019-09-18
你是一次抽三顆還是一顆一顆換?
Ula avatarUla2019-09-23
最近一次ptt大爆炸也是raid rebuild時又壞了兩顆...
Ida avatarIda2019-09-25
你知道SATA有多容易壞嗎?Raid5壞一顆在rebuild時你的Raid沒
Hedy avatarHedy2019-09-30
有保護,所以建議raid5 9D(data)+1P(Parity)分成17個raid,
Ida avatarIda2019-10-01
商用的可以再將17個Raid加總起來,其他的做Spare
Sarah avatarSarah2019-10-06
當你越多D+1P,風險越高,所以180顆做一個Raid那根本是找死
Agatha avatarAgatha2019-10-07
這麼多顆硬碟你需要的是商用的儲存設備,否則你可以常常要
掉資料,常常被老闆念到死,甚至工作不保>
Lucy avatarLucy2019-10-11
改成raid6做一個LUN 所有的LUN再去組LVM 記得留足夠的hot s
pare disk
Quanna avatarQuanna2019-10-13
看你各個mount point資料總和大小是不是均勻的,我想180顆
Edwina avatarEdwina2019-10-13
disk的架構,切開來的好處(可用性、分散存取效能)肯定是比較
好。那當然如果有特定mount point的資料是熱區就要另外規劃
Eartha avatarEartha2019-10-13
用那麼多硬碟,看不懂…
Liam avatarLiam2019-10-17
你需求報出去 自然會有廠商幫你規劃好..
你要自己土炮一個接近200顆硬碟的storage ?
Edwina avatarEdwina2019-10-19
樓上說的有理 但原PO連50到100萬都要考慮再三了 我看問
題不在誰來規劃了
Una avatarUna2019-10-21
可是4T 200顆就80了耶 預算才50-100 ??
Rachel avatarRachel2019-10-25
那就要看你現在用的是什麼機器了 應該不只一台吧?
要自己來 看你要考慮安全性還是要容量優先
Enid avatarEnid2019-10-28
看現在的用量有多少 成長率大概多少 然後下去算有多少
空間可以容錯 自己來真的很搞剛啦...
Sandy avatarSandy2019-10-29
現在很多分散式檔案系統可以選擇 可是一來是後續支援
Valerie avatarValerie2019-11-02
維護、一者是還要加強你的網路(也許不用?)
Damian avatarDamian2019-11-04
哪天你火掉你老闆了 剩下的攤子誰來收?
John avatarJohn2019-11-07
老實說 學校裡面因種種因素只能DIY 那就承受DIY的品質與風
險 很公平
Rae avatarRae2019-11-09
wiki:RAID -> 看看 RAID 50, RAID 60 那邊.
Jacob avatarJacob2019-11-13
180個HDs 作成一個 RAID5 而不是 RAID50 RAID60 真不可思議.
Frederic avatarFrederic2019-11-18
因為raid卡吃raid50可能也是很貴吧?
Isabella avatarIsabella2019-11-20
我覺得原PO應該也沒有用raid controller
Tracy avatarTracy2019-11-22
180顆........ 在懸崖邊表演走鋼絲?