nvme raid mirror 嚴重掉速 - 儲存設備

收到指令要來測試PCI-E nvme SSD raid
因為還沒買進nvme raid controller
所以先找了兩張nvme轉pci-e x4的卡
分別接上intel 600P 256G & plextor m8pegn 256G來做測試
OS: Ubuntu 18.04
CPU: core i7 3770
RAM: 24G

我用ramdisk 做了一個對照組 dd 的測試如下
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 0.918509 s, 4.7 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 2.08326 s, 4.1 GB/s

nvme raid0 看起來還可以

for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 1.9422 s, 2.2 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 10.2456 s, 838 MB/s

nvme raid1 慘不忍睹
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.2232 s, 383 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.4425 s, 218 MB/s

沒道理啊(不過後來想想，似乎還算合理)

來試試看小檔案好了
for i in {4,8,16,32,64,128,256,512,1024};do sudo dd if=/dev/zero
of=/mnt/nvmeraidmirror/"$i"k bs="$i"k count=1k;sync;done
4194304 bytes (4.2 MB, 4.0 MiB) copied, 0.00779723 s, 538 MB/s
8388608 bytes (8.4 MB, 8.0 MiB) copied, 0.00521657 s, 1.6 GB/s
16777216 bytes (17 MB, 16 MiB) copied, 0.011272 s, 1.5 GB/s
33554432 bytes (34 MB, 32 MiB) copied, 0.0226569 s, 1.5 GB/s
67108864 bytes (67 MB, 64 MiB) copied, 0.0373103 s, 1.8 GB/s
134217728 bytes (134 MB, 128 MiB) copied, 0.0673843 s, 2.0 GB/s
268435456 bytes (268 MB, 256 MiB) copied, 0.134667 s, 2.0 GB/s
536870912 bytes (537 MB, 512 MiB) copied, 0.248021 s, 2.2 GB/s
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.483513 s, 2.2 GB/s

看起來似乎很美好，沒有什麼問題
所以問題還是出在當cache 用完之後，就顯現出TLC/QLC真正的「笑能」
這種狀況在raid內也還是會存在
所以上面的raid 1寫入大檔案時，速度就差不多是用完cache的速度

補上單一顆 nvme ssd 的數據
Intel 600P
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 4.83505 s, 888 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.1469 s, 219 MB/s

plextor M8pegn
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 5.24949 s, 818 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 26.9512 s, 319 MB/s

看起來M8pegn的掉速比較沒有那麼明顯..




如果真的要這樣玩，我可能還是會採用intel DC系列，或者三星EVO PRO系列吧

然後，有個問題讓我很困擾，有辦法在還沒買產品之後
就先google 到這類產品在用完cache 之後的效能數據嗎？

以600p為例，我到現在還是找不到這種數據
還是說，不公佈這個數據，是一種業界之間的默契？





--