wget - BBS

我有一支程式是用 wget 去抓取證交所提供的股市資料，

執行時間 09:00 - 14:00 每五分鐘抓一次，

有關 wget 的程式如下，MS[] 陣列宣告要抓取的上市股票的網頁代號:

sprintf( buff,
"/usr/bin/wget
\"http://mis.tse.com.tw/Quotes/Stock?Category=%s&Market=1&Refresh=0\"
-O /home/chiper/stock.tmp", MS[i] );

這支程式在我的主機上執行，經常發生 Idle 的程序，

導致原本可以正常抓到股市資料的，執行一陣子後就不行了，

我懷疑是 Idle 的程序太多所導致的，

但是該如何解決呢？

我目前處理的方法:

1. 在 wget 後加上參數 -t 1，就是讓他連接 1 次，失敗後就取消連接，

但還是不行。

2. 定時將 Idle 的程序一次砍掉，

ex: kill -9 `ps -aux | grep 'wget' | awk '{print $2}'`

但這些 Idle 的程序 Kill 掉它馬上又會產生出來，殺不完

只有重開機才可以解決

以上，請高手指點一下，謝謝


[註] 我 ps 出來 Idle 的程序內容
ps -auxww | grep wget

bbs 35335 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=10&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35334 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=13=61&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35333 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1
http://mis.tse.com.tw/Quotes/Stock?Category=00:70017399&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35332 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=20&Market=1&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35331 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=05&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35330 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=16&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35329 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=21&Market=2&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35328 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=10&Market=2&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35327 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=00:70017399&Market=2&Refresh=0"
-O /home/bbs/stock.tmp
bbs 35326 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=20&Market=1&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35325 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=05&Market=2&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35324 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=16&Market=2&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35323 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=21&Market=2&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35322 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=13=61&Market=2&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35321 0.0 0.3 3348 1792 ?? I 2:22下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=13=23&Market=1&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35320 0.0 0.3 3348 1792 ?? I 2:22下午 0:00.01 /usr/bin/wget
-t 1 http://mis.tse.com.tw/Quotes/Stock?Category=14&Market=1&Refresh=0 -O
/home/bbs/stock.tmp
bbs 35319 0.0 0.1 632 436 ?? I 2:22下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=13=23&Market=1&Refresh=0" -O
/home/bbs/stock.tmp
bbs 35318 0.0 0.1 632 436 ?? I 2:22下午 0:00.00 sh -c
/usr/bin/wget -t 1
"http://mis.tse.com.tw/Quotes/Stock?Category=14&Market=1&Refresh=0" -O
/home/bbs/stock.tmp

--