想問一個應該是shell script的問題
平常都是在hpc上面丟job 但是因為人很多 很多job都要等很久才開始跑
但是有些計算其實也就十幾分鐘 但是這種的job量很大
所以想考慮直接在桌上型電腦上跑
如果直接全部丟的話 就是全部一起執行 幾乎同時全部結束
因為是普通桌上型 CPU只有四核
量小的時候 大約20~30內吧 就是慢而已
量多的時候 大約超過50 甚至會出錯
更不要說全部同時一起執行的時候 普通的使用都會受到影響
所以在想有沒有辦法讓他一個接著一個跑
同時可以控制同時在跑的job數量 例如說隨時在跑的最多兩個或三個jobs
這樣可以保留其他普通工作的空間
這樣的需求可以用寫script 來解決嗎？
還是只能自己裝一個小cluster 單一電腦用？
如果是script的話 現在還沒有什麼頭緒該從那邊下手
不知道有沒有人有類似經驗給點建議
謝謝
--
--
平常都是在hpc上面丟job 但是因為人很多 很多job都要等很久才開始跑
但是有些計算其實也就十幾分鐘 但是這種的job量很大
所以想考慮直接在桌上型電腦上跑
如果直接全部丟的話 就是全部一起執行 幾乎同時全部結束
因為是普通桌上型 CPU只有四核
量小的時候 大約20~30內吧 就是慢而已
量多的時候 大約超過50 甚至會出錯
更不要說全部同時一起執行的時候 普通的使用都會受到影響
所以在想有沒有辦法讓他一個接著一個跑
同時可以控制同時在跑的job數量 例如說隨時在跑的最多兩個或三個jobs
這樣可以保留其他普通工作的空間
這樣的需求可以用寫script 來解決嗎？
還是只能自己裝一個小cluster 單一電腦用？
如果是script的話 現在還沒有什麼頭緒該從那邊下手
不知道有沒有人有類似經驗給點建議
謝謝
--
--
All Comments