有辦法把多個job包起來變成一個跑嗎? - Linux

Table of Contents


是這樣的

假設我有一各job(n) 裡面的參數n假設是0~9

然後一各job假設需要4個cpu(如果機器是4核心的) 那就是一各node

可是我希望可以把job0~job9 合起來變成job_total

然後一次submit出去可以跑job0~job9 (總共用掉40顆cpu 或是10個node)

因為我目前是在公用的cluster server上跑

上面的規範就是一次只能submit兩各job

這樣我等於每次都只能submit job0~job1 或是 job2~job3(共8顆cpu)

其他變成是在idle

因為cluster 是用pbs quening

我想說把多各job包在一起 然後丟到可以依次跑比較多顆的system上

這樣我等於是省四倍的時間....

有人可以告訴我我這樣的想法是否可行??

打包的方法又要怎麼做?

或是有其他的方法也不吝賜教

感恩!!!




--

All Comments

Hardy avatarHardy2013-03-08
如果可以改程式,我是覺得改程式比較快,工作參數接受一次執
Jacob avatarJacob2013-03-10
行跑多個結果, 本來是job 1 和 job 2改成一次 job 1 2
甚至更多
Tracy avatarTracy2013-03-12
推完再看一次,發現沒符合需求,總時間沒節省.
Megan avatarMegan2013-03-12
但是若系統只限制process,沒限制thread,用上面改程式的方
法,或許可以2個processes,但有8個thread,然後看看thread
Charlie avatarCharlie2013-03-16
會不會被schedule到不同CPU
Hedwig avatarHedwig2013-03-17
有人正在用pidgin+msn(on jabber)嗎?
推錯Orz
Hedy avatarHedy2013-03-19
我有想過改程式... 可是我想要的作法是程式不變然後改參
數 再把不同參數的數個job結合成一個...
Queena avatarQueena2013-03-20
這樣可以在cluster 上用更多資源...
Damian avatarDamian2013-03-21
看Oracle Grid Engine(Sun Grid Engine)合用冇?