multi-jobs in single CPU - Linux

Jake avatar
By Jake
at 2016-08-10T00:12

Table of Contents

想問一個應該是shell script的問題

平常都是在hpc上面丟job 但是因為人很多 很多job都要等很久才開始跑
但是有些計算其實也就十幾分鐘 但是這種的job量很大
所以想考慮直接在桌上型電腦上跑

如果直接全部丟的話 就是全部一起執行 幾乎同時全部結束
因為是普通桌上型 CPU只有四核
量小的時候 大約20~30內吧 就是慢而已
量多的時候 大約超過50 甚至會出錯
更不要說全部同時一起執行的時候 普通的使用都會受到影響
所以在想有沒有辦法讓他一個接著一個跑
同時可以控制同時在跑的job數量 例如說隨時在跑的最多兩個或三個jobs
這樣可以保留其他普通工作的空間

這樣的需求可以用寫script 來解決嗎？
還是只能自己裝一個小cluster 單一電腦用？
如果是script的話 現在還沒有什麼頭緒該從那邊下手
不知道有沒有人有類似經驗給點建議

謝謝

--

--
Tags: Linux

All Comments

William avatar
By William
at 2016-08-10T18:32
取決於你怎麼"丟"job 但你偏偏不寫這個
Noah avatar
By Noah
at 2016-08-12T11:02
如果是hpc上當然就是qsub ./exe
Caitlin avatar
By Caitlin
at 2016-08-16T16:35
我在自己電腦上平丟也只是用 nohup ./exe & 而已
程式本身沒有做平行化所以可以看成很一般的執行
Noah avatar
By Noah
at 2016-08-20T09:29
GNU parallel
David avatar
By David
at 2016-08-21T07:48
謝謝樓上 正在看是不是我要的
Olga avatar
By Olga
at 2016-08-22T09:04
大致上看懂意思了 應該不是我要的 還是謝謝
Megan avatar
By Megan
at 2016-08-24T03:00
明明gnu parallel 就是你要的
Tracy avatar
By Tracy
at 2016-08-26T22:21
樓主要找的是 taskset -c 0 some_heavy_command 吧？
Elma avatar
By Elma
at 2016-08-31T07:42
把所有的計算工作寫進一個job script裡面就可以了
Oscar avatar
By Oscar
at 2016-09-04T11:55
開三個 terminal, 每個各貼一次 cmd && cmd && cmd...
Barb Cronin avatar
By Barb Cronin
at 2016-09-09T04:47
同時只有3個job這種就是gnu parallel在玩的啊@@
Odelette avatar
By Odelette
at 2016-09-09T11:40
簡單的job control也可在bash做: https://git.io/v6KdZ

ubuntu 16.04LTS 螢幕擷取問題

Emily avatar
By Emily
at 2016-08-04T16:23
各位板上大大好～小弟新手 剛升級成 ubuntu 16.04 LTS 版 發現有個問題是 要擷取桌面螢幕的時候 按鍵盤的Print Screen 鍵 通常都會擷取到之前的螢幕畫面 而非目前的螢幕畫面～ 有去下載shutter 來用 不過目前還是會這樣 想請教各位高手大大 ～ 到底是哪裡 ...

GPU-bases SQL 資料庫

Enid avatar
By Enid
at 2016-08-04T16:10
想請教有沒有人有使用GPU加速SQL速度的經驗 雖然我還沒實作，但以下是我的猜測 （Centos 7, C++, CUDA in C++, MariaDB, CPU八核心） ﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍ 程式的執行是由int main開始 接著併發一千個cuda ...

Ubuntu作業系統容量

Annie avatar
By Annie
at 2016-08-03T18:47
請問是100多GB嗎... 剛剛安裝了 結果他直接從我的D槽拿走了150 GB左右 - ...

如何在日期裡面加一個空格

Gary avatar
By Gary
at 2016-08-02T15:07
如果用 date +and#34;%b %eand#34; 輸出是 Aug 2 (兩個空格) 但如果用 test=`date and#34;+%b %eand#34;` ; echo $test 輸出變成 Aug 2 (剩一個空格) 請問這邊要怎麼讓他變回兩個空格呢 其實我是要抓ls -Rl 下 ...

cscope 搜尋後 跳項目

Megan avatar
By Megan
at 2016-08-01T16:14
大家好 請問有人知道 當cscope搜尋後 cs find s 出現 類似(1 of 10)訊息 如何繼續向下搜尋 或者跳項呢 Thanks. - ...