如何得知程式至目前為止已運行的時間 - Linux

想請問一下，有何指令可以得知目前指令已經執行的時間？

我目前使用某一套科學計算程式於高速電腦上執行平行計算。

不過因為該伺服器的PBS排程軟體有WALL TIME的限制，

只要程式的執行時間，超過WALL TIME，伺服端將會強制終止運算。


不過因為有時後所要計算的系統十分龐大，

於WALL TIME的限制內可能依然無法計算完成。

因此必須於WALL TIME限制前，先將所執行的計算程式停止，

以免某些計算的結果遺失。


然而，該程式時是以script的方式提交。

提交出去後，該程式並不會被馬上執行，而是要看當前伺服器的排程狀況，

有空的資源該程式才會被執行。

至於等待排程需要多久的時間，事實上並無法準確的估計，

快則三小時，慢則三天以上都有遇過。

所以並無法以script的提交時間和當前的時間差值，

作為程式已經被執行的時間。



因此我希望能寫一個script，

包含以下幾個功能，

Part 1.

可以於scirpt遞交出去後，

每隔一個固定的間格時間（e.g 2HR)就偵測程式是否已經執行，

或是依然在排程中。


Part 2.

若偵測到程式已經開始執行，

則開始偵測，程式至目前為止已經執行了多少時間，

並且於接近WALL TIME的前兩個小時，下達指告知程式保存檔案後停止運行。


Part 3.

待程式停止運作後，判斷是否已達到所要求的收斂精度，

若沒有則自動更改相關參數，重新遞交工作，直至達到所求為止。




我目前為止已將script的第三部份寫了出來，

但是，我不知道有什麼樣的指令可以固定時間就偵測該程式是否已被執行，

以及如何得知程式直至目前為止已經運行了多久？


我有查到linux系統裡的 time指令可以得知某一指令所運行的總時間，

不過這個與我想要的功能有所差異，

因為time指令只能等到該程式全部運行完後，

才會告知使用者該指令執行的時間，而非顯示"程式至目前為止已經執行了多久"



因此，想請問一下，

有怎樣的指令或函數可以達到上面所提到的part 1 與 part 2的功能

--
永遠不要以為自己考上研究所後有多了不起，
碩一生，充其量也只是去年剛畢業的大學生。
而大學生，也只是會打B的小學生，可以考上高中的國中生，
指考有報名的高中生而已..........

--