Python Selenium 多Chromedrive - 3C

Table of Contents

各位前輩好

小弟目前老電腦是 I5-8400 / 4*8G RAM / 256SSD
在跑 Python Selenium Chromedriver
模擬用戶操作(非網頁遊戲),順便爬蟲。主要是CPU資源吃比較大一些


目前執行最多只能跑到12個chromedriver.exe (非分頁),再上去就掛了
如果希望可以穩穩的跑到30個,請問如果要有感升級的話,應該要往哪方面著手呢?
預算抓25K左右。

自己本身是有兩個想法

A. 組一台DESKMINI H470 搭配I5-11400 但應該不太堪用,發熱量也是個問題。
或者
B. 賭人品,對岸淘一台洋垃圾,E5雙CPU,搭配64G的RAM

上述兩者完全是不同面向,但在同樣的價位下,似乎可以做個比較?

麻煩請各位可以給一點建議,不吝指教,謝謝。


--

All Comments

Emma avatarEmma2021-08-12
別買洋垃圾了吧,11400也不夠用,
礦渣收個半套他不香嗎?
Kyle avatarKyle2021-08-17
這不是直上threadripper嗎?
Suhail Hany avatarSuhail Hany2021-08-17
你確認瓶頸是在哪邊了嗎?
Aaliyah avatarAaliyah2021-08-19
需要長時間來跑這些項目嗎
Heather avatarHeather2021-08-24
是跑在selenium grid上嗎?
Caroline avatarCaroline2021-08-24
分享我的作法,使用selenium grid
Belly avatarBelly2021-08-25
node不夠用的時候,用二手主機加nod
Necoo avatarNecoo2021-08-27
e,不需要這麼多的時候,就關閉二手
增加的主機就好.
Eden avatarEden2021-08-31
不過30個就掛掉讓我有點納悶.
打錯 12個就掛掉就有點怪怪的
Belly avatarBelly2021-09-03
確定是 cpu 的問題? 感覺 ram 才是
瓶頸
Gary avatarGary2021-09-07
差不多吧 8400也才6c6t
Sandy avatarSandy2021-09-12
可能在互搶核心了
Jacob avatarJacob2021-09-15
gui不是必要的話,headless brows
er
Rachel avatarRachel2021-09-17
你有跑headless嗎
Anonymous avatarAnonymous2021-09-21
我用10400 常駐5個 看不出loading
沒必要的話js要關閉 載圖也關閉
Andrew avatarAndrew2021-09-23
os的話...我是linux mint