CP指令(NFS下)的效能問題 - Linux

※ 引述《wzbird (大鳥)》之銘言：
: 推 ago1414:rsync 第一次很慢很正常 完全copy 10/29 06:13
: → ago1414:你的網路在區網內嗎? 10/29 06:14
: 嗯嗯 100Mbps的區網
: 推 nknudragon:2M/sec 看樣子應該在區網內 我之前也有類似經驗 10/29 08:11
: → nknudragon:不過我速度沒有那麼慢，我NFS飆到30MB/s過(IDE HD瓶頸) 10/29 08:13
: → nknudragon:可以考慮搭配使用rsnapshot來使用 10/29 08:13
: 100M的區網理論上限不是12MB左右嗎?
: 還是你是Giga的?

是的 使用Giga Hub傳，不過是跨SWITH HUB (Giga Hub 1 to GIga Hub 2)
兩台主機都放在 SWITCH HUB 速度會飆不上去

: 我稍微孤狗一下rsnapshot,rsnapshot的限制好像是不能跨partition,應該不適合我

你可能搞錯rsnapshot的真正用途了，後面會敘述到

: 推 kdjf:你要不要先試試看網路實際上有多快？ 10/29 08:40
: → kdjf:用nc直接丟一個大檔看看 10/29 08:41
: 推 Adama:我的話會先用ftp, mirror拷貝過去後再用rsync 10/29 13:31
: → jcwu:印象中NFS傳輸比SMB快一些些 10/29 15:50
: → james732:會不會是你們的網路環境有問題…？ 10/29 16:27
: 我趁假日來做實驗,排除其他人的干擾
: 先用同樣的方法,mount成NFS後直接下cp -a
: 可能沒人真的有差,這次上升到3MB多
: 為了釐清網路是否有問題,直接scp摳一批檔案,因為會的指令很少XD
: 用同樣的方法量(觀察df -m)
: 速度保持10~11MB上下,顯示網路正常
: 既然scp速度很不錯,我想就用scp做rsync前的資料建立吧
: 不過scp沒有保留檔案權限以及時間的參數
: 所以我打算先tar起來,不壓縮,我有稍微測一下,壓縮的時間並不划算
: 然後用scp摳過去,解開以後就可以每天用rsync維護這部份的資料
: 需要還原的時候,也是先tar起來,抓回來再解開
: 這個方法有一個小限制,備份機那邊需要留不小的空間
: 不然要還原的時候tarball沒有地方放
: 以上是我的一些分享,歡迎大家討論

1. NFS server在export 的時候還有其他的參數可以設置，
你可能需要去找找參數
http://linux.die.net/man/5/exports
印象中 SCP與NFS走的底層協定是不一樣的，所以我不會這樣子比較
2. 要是覺得NFS沒設定錯誤，你可以試著在NFS server與NFS client
各做出來一個Ram Disk，拿檔案放在RAM DISK上傳輸

就可以知道你的環境裡面，網路傳輸瓶頸會卡在哪裡，(HDD? HUB? CPU?)
說不一定搞半天是SWITCH HUB的笑能導致，也有可能是你主機太差
(主機問題可以先排除了，因為我30MB/Sec是拿PIII 450機器做出來的)
我是有愈過主機板內建的 Controller效能太差，
後來額外上一張IDE controllor IDE HDD 的效能大幅提升
也遇過硬碟傳小檔案的時候，會誇張的很慢，拿大檔去傳就OK
(後來硬碟就掛點了....)
3. rsnapshot的用處在於
利用Rsync + ln (cp -aL) 的指令
可以讓 備份機 每天備份 主機 的資料 並保留每天的快照
舉例來說，主機有2T的資料，備份機保留著主機每天備份時的快造，
若備份機各自每天計算每天備份資料量總和為10T ，
若全部一起計算，總容量卻只有3T不到
之前有寫過一個參考script 替代 rsnapshot
可給你參考看看

--