大型網站淘寶網的儲存架構 - 儲存設備

原文請看這
http://storage.it168.com/a2010/0829/1096/000001096373.shtml

http://www.taobao.com/ 淘寶網排位約在alexa 15名上下

2006 時 淘寶網所需空間容量 約為200TB ,平均都是20K bytes 左右圖片檔
大量小檔案對於多機共用的 Cluster Storage Disk I/O會是不小挑戰

再加上每年2~3 倍在成長... 原有的頂級Netapp 也無法兼具系統效能與成長性.
(像"有名"當初買了Sun StorageTek ...其實整體規劃不是好架構)

因此Taobao 便自行研發Cluster Storage system
名為:TFS (Taobao File System)
同類型opensources 專案還有 hdfs http://hadoop.apache.org/hdfs/


分散式儲存架構 等於將DATA 用普通Server 多台分散存放

Taobao 目前約有600台一般 x86 Server .1800TB 空間
並沒有額外買昂貴Storage Server做主力儲存

TFS file block 在別台Server 都有多一份備份 本身不太依賴Raid做安全備份
我是有點懷疑這樣佔用空間會怎樣..2倍?

TFS 原理請看link

不過 Sources code近期會公開..到時就可更瞭解其架構

參考資料
1.http://doulexiang.com/redirect.php?tid=220&goto=lastpost&sid=P7T37S

2.
Taobao CDN 架構
http://storage.it168.com/a2010/0829/1096/000001096374.shtml


※ 編輯: laptop 來自: 219.91.90.240 (09/08 12:34)