8張Titan X server的供電與散熱 - 3C

Table of Contents

大家好,

目前我們實驗室打算購入一台能插8張GPU的server,
大部分的元件都跟一般的server沒什麼不同,
如Intel Xeon E5-2667V4 x 2, 256GB 2400MHz DDR4 memory等,
但最擔心的點是我們打算插8張剛上市的NVidia Titan X GPU,
不知道散熱跟供電會不會有問題,
因為目前實驗室最多只有同時插三張K80而已.
這台機器花了600K左右,
如果拿到不會動我就死了= =+
麻煩請各位前輩指導一下.

基本上除了GPU外,
其它東西都是廠商建議的配置,
由廠商直接出貨,
而GPU因為現在NVidia獨賣,
沒有任何的廠商叫的到貨,
只好自己從NVidia買,
因為擔心有問題,
目前只先買了六張Titan X,
如果沒問題會再追加兩張,
不然只好跟多的兩張GTX 1080將就著用.

一張Titan X要吃掉250W,
8張就要2000W.
詢問過廠商,
這台很多人買回去插8張舊版的Titan X,
沒有問題,
我查了一下舊版的Titan X也是250W.
機器的單子上面,
Power項目是寫:
"3x 1600W AC 80+ Platinum efficiency hot-swap power supplies",
感覺意思是3顆1600W且可以熱插拔的Power,
4800W的供電應該是夠了吧?
不知道理解有沒有錯誤?

另外就是廠商說空冷就行,
水冷可能也塞不進去,
我們的server會放在24小時冷氣無限供應的機房裡,
不知道會不會過熱而降頻呢?

因為身邊最多也只有人用過插4張Titan X的,
版上神人很多,
不知道有沒有前輩能夠指教一下呢?

謝謝!

--

▂▃▄▃▂
˙
˙
▉▃ /喵喵~~~~
◣╲ˍ ╱

--

All Comments

Selena avatarSelena2016-08-13
實驗室的設備還得自己搞感覺挺累人的
Una avatarUna2016-08-15
好奇你們是什麼實驗室?
Madame avatarMadame2016-08-16
有錢的實驗室(?
Eartha avatarEartha2016-08-21
有錢的小實驗室
Edward Lewis avatarEdward Lewis2016-08-24
什麼類型的實驗室啊 我實驗室都把錢拿去買化學品了
Agatha avatarAgatha2016-08-26
很普通的小實驗室(有錢)
Quanna avatarQuanna2016-08-31
來這邊就是要
Skylar DavisLinda avatarSkylar DavisLinda2016-09-03
是否要改水冷
Freda avatarFreda2016-09-03
供電沒問題 散熱要看機箱配置
Carol avatarCarol2016-09-04
HPC 沒有人在搞水冷的... 機房裡沒在講究靜音
風量都比大的, 空調夠力就沒問題
Donna avatarDonna2016-09-04
工業扇準備一台 系統過熱時開上蓋對它吹
Anonymous avatarAnonymous2016-09-05
都用K80了 好Tesla P100不買嗎
Mia avatarMia2016-09-06
我們學校實驗室是i73770配630QQ
Rebecca avatarRebecca2016-09-11
德克斯特的實驗室?
Jessica avatarJessica2016-09-11
上水冷阿 參考https://youtu.be/LXOaCkbt4lI
Brianna avatarBrianna2016-09-16
Oliver avatarOliver2016-09-20
為什麼那麼多人要實驗室的環境上水冷?漏水爆了你賠?
Valerie avatarValerie2016-09-24
機房的SERVER是你家電腦一樣你沒事就會透過側板看他
有沒有漏水嗎?
Edwina avatarEdwina2016-09-29
從冷氣出風孔拉管線?
Isla avatarIsla2016-09-30
\LN2/ \LN2/ \LN2/
Ivy avatarIvy2016-10-03
話說linus的伺服器也是用水冷就是了
Victoria avatarVictoria2016-10-05
別弄水冷,除非爆管你賠得起
Andrew avatarAndrew2016-10-06
別水冷 還有風險
Margaret avatarMargaret2016-10-11
tesla p100 貴titan x沒多少阿
Gary avatarGary2016-10-14
機房有空調就靠機箱裝暴力扇去吹,那有人用水冷或工
業電扇
Sarah avatarSarah2016-10-19
人家裝水冷表演性大於實用性,不很在意可靠度,出事
他們正好能拍一支修復的短片賺瀏覽
Caroline avatarCaroline2016-10-20
看過他們NAS爆掉的救援影片
Agnes avatarAgnes2016-10-25
對,查到的是一萬美金,看報導好像一張能抵四張tita
n x,拿兩張也差不多是你預算的總數
Susan avatarSusan2016-10-26
這種等級的給我錢叫我自己弄 我還真不敢自己弄QQ
Leila avatarLeila2016-10-27
P100有HBM
Kama avatarKama2016-10-28
雙精度的差異就很大啦(?)
Bennie avatarBennie2016-10-29
拍拍,明年就有Volta 了QQ
Andrew avatarAndrew2016-11-02
有沒有考慮過32張Fury X
Lauren avatarLauren2016-11-03
偷偷問一下 是140的實驗室嗎?方便透漏是哪個單位嗎?
Michael avatarMichael2016-11-07
IP在美國,念美國的研究所
Ina avatarIna2016-11-11
喔喔 原來如此...
Hedda avatarHedda2016-11-12
16個slot塞滿的話 最下面的卡會不會貼著機殼抽不到
Tracy avatarTracy2016-11-17
風?
Ida avatarIda2016-11-17
快笑了 還水冷咧 你賠得起?
Anonymous avatarAnonymous2016-11-21
有些人隨便說說到處害人
Liam avatarLiam2016-11-21
拿power那句話去google的結果 http://goo.gl/ecypfx
Bethany avatarBethany2016-11-22
好有錢QQ
Charlotte avatarCharlotte2016-11-27
這算便宜的吧~大家都沒讀研所?之前所上實驗室買一
台流式細胞儀就700多萬,伺服器便宜得很
Barb Cronin avatarBarb Cronin2016-12-01
樓上以為所有科系都需要高檔設備才能做研究?
Andrew avatarAndrew2016-12-04
真der,同學純理論都說器材只有A4
Jacob avatarJacob2016-12-05
研究甚麼分享一下啊
Eden avatarEden2016-12-10
反正有好工具,才是真的
David avatarDavid2016-12-11
no no no 順利畢業才是真的! 其他的都假的! 暫時的!
Belly avatarBelly2016-12-16
機房的工業扇應該是空調故障時的應急方案
Elvira avatarElvira2016-12-16
titan x可以插8張? 我印象中上一代的只能四張
Agnes avatarAgnes2016-12-20
但P100那種確定是八張
Skylar Davis avatarSkylar Davis2016-12-25
找SERVER或WS廠商處理比較好吧 後續保固維修更麻煩
Zora avatarZora2016-12-28
這種如果連廠商都弄不出來 你自己也別弄了
Rachel avatarRachel2016-12-30
600K相當於一個計劃的經費了
Tristan Cohan avatarTristan Cohan2017-01-02
8張應該可以 1顆CPU對4張 不過還是要看主機板配置
Tristan Cohan avatarTristan Cohan2017-01-04
不過好奇你們跑什麼 這版DP還是悲劇吧 畢竟遊戲用
Carolina Franco avatarCarolina Franco2017-01-06
那為什麼協力廠商不自己從官網買??
Mia avatarMia2017-01-10
SLI是4張 但是運算類多卡就不是用SLI
Erin avatarErin2017-01-11
直接找NVIDIA問吧,請他們工程師協助處理不為過吧
Vanessa avatarVanessa2017-01-15
不玩遊戲確實不用SLI 但還是要看CPU PCIe lanes
Joe avatarJoe2017-01-19
我覺得還是需要廠商協助吧,後續也需要支援阿,捏一
下,能用錢解決的問題,盡量尋求機會
Lauren avatarLauren2017-01-22
除非供貨廠商直接挑明說不出貨給台灣
Steve avatarSteve2017-01-22
那個側板拆掉,實驗室開22度,旁邊再配上一個循環
扇,基本上不用水冷也夠用了
Sierra Rose avatarSierra Rose2017-01-24
散熱要看你們的環境室溫 抽一堆熱風根本沒辦法降溫
某牌的同類型系統也是用4800W不過是1200W的3+1 配置
上都差不多 應該是沒問題
Michael avatarMichael2017-01-26
不出貨給台灣關原PO屁事?
Ivy avatarIvy2017-01-30
學校實驗室 可以用特殊管道 買這種 顯卡吧
Kristin avatarKristin2017-01-30
原po不在台灣
Franklin avatarFranklin2017-02-02
那應該就沒啥問題了
Oliver avatarOliver2017-02-06
人家那是US的IP,有沒有出貨給台灣就不用樓上上操
Candice avatarCandice2017-02-10
好的抱歉沒注意 有說錯的部分還煩請跟板主檢舉
Belly avatarBelly2017-02-10
原po內文沒特別說不在台灣,有些推文冷靜點,別這麼
激動,不是人人沒事都愛查人家ip
Gary avatarGary2017-02-11
只能說超狂的,好奇這台如果拿來打電動,不知道會
怎樣
Belly avatarBelly2017-02-15
沒有 沒看清楚就回推是我的不對 這也很不應該
我直接自請處份 請a板主直接桶好了
Hazel avatarHazel2017-02-18
好奇這樣去跑firestrike能跑多少分
Lauren avatarLauren2017-02-22
我實驗室用的電腦是i5 2400+gt210 QQ
Barb Cronin avatarBarb Cronin2017-02-24
儀器連接的電腦用四代i7配拉基顯示卡,我難過
Lily avatarLily2017-02-27
一顆E5 CPU 40 lanes剛好可以對4張 跑x16x8x8x8
Christine avatarChristine2017-03-02
是要買TItan C pascal嗎?現在大缺貨 可以跟原Po合
購嗎?這樣不知道嘿嘿 方不方便
Steve avatarSteve2017-03-06
TItan x pascal打錯XD
Rosalind avatarRosalind2017-03-09
1. 不用改水冷,公版風扇設計專門給SERVER型態用的
2. 一張TITAN 用極限300W來算比較安全
Carol avatarCarol2017-03-13
3. 80度後才開始降頻,機房不怕吵,風扇設全轉就好
Skylar Davis avatarSkylar Davis2017-03-15
4. 跟SERVER廠商確認PSU總輸出功率後再扣掉其他元件
需求的瓦數,剩下有超過3KW就安全了
Rae avatarRae2017-03-19
小弟好奇問一下你們實驗室跑什麼軟體的呢?
Elma avatarElma2017-03-24
這種 GPU 運算專用的板子, 上 PLX 不會手軟的
Daph Bay avatarDaph Bay2017-03-26
2-way, 每 16-lane 兩個 slot... 剩下的給 I/O 需求
Rosalind avatarRosalind2017-03-29
過熱降頻是保護機制,降頻就是跑比較慢而已
Anonymous avatarAnonymous2017-04-02
PSU要問PSU廠,你寫的是3x1600W AC 80+白金'
應該是AC -DC才對,降頻以後就不會跑到250W以上了
Zanna avatarZanna2017-04-05
確保PSU足夠是怕全部全速運轉不夠力會跳掉
機房內的東西跳掉,輕則賠錢,重則重來~不划算
Zanna avatarZanna2017-04-09
PCIe switch... 不然哪有辦法供出 8 個 x16 slot
Regina avatarRegina2017-04-13
看起來應該是單個 1600W, 是不是 2+1 備援要問廠商
Quanna avatarQuanna2017-04-21
找supermicro的準系統吧
Noah avatarNoah2017-04-22
x16x8x8x8指的是每個插槽跑的頻寬 因為CPU本身有限
制 所以不可能都跑x16 不過也要看板子的設置
Odelette avatarOdelette2017-04-24
樓上影片應該是這台前一代 https://goo.gl/epgIbD
Ida avatarIda2017-04-27
前面有人用 power 查的連結, 用了四顆 PEX8747
Queena avatarQueena2017-05-02
你直接告訴大家是不是Colfax CX4850-XK6好了
Gary avatarGary2017-05-06
Supermicro 這個更多, 拉到子板的是兩個 x24 slot
Franklin avatarFranklin2017-05-07
剩下的讓大家直接看官方說明比較快 省得猜謎
Lauren avatarLauren2017-05-08
算錯 是兩組兩個才對 @@ 轉出 11 個 x16 一個 x8
Sarah avatarSarah2017-05-11
3x 1600W (Non-Redundant or 2+1 Redundancy)
Queena avatarQueena2017-05-13
所以可以4800W全上
Enid avatarEnid2017-05-13
以這台SERVER來看8張可以全上X16~速度基本上沒影響
看要不要8張全上後,PSU用2+1先試試看
Queena avatarQueena2017-05-15
SERVER基本上還是希望不要跳電啦~跳電很麻煩的
不然就再外接備援的PSU吧
Xanthe avatarXanthe2017-05-17
頻寬的部分也不必太緊張 要看你的運算類型需求
Mia avatarMia2017-05-21
說不定你的運算比較吃GPU運算 但不會把頻寬撐滿
Dorothy avatarDorothy2017-05-25
沒關係吧..反正還沒驗收..起碼要看到能開機跑沒問題
Tristan Cohan avatarTristan Cohan2017-05-27
這種系統裡板子成本是渣 沒必要偷PCIe 做滿最保險
Faithe avatarFaithe2017-05-28
伺服器機殼應該前後都是整排風扇
只要裡面進出風口單一方向就好,也就是層流
Emily avatarEmily2017-05-31
沒有耶 哪來這麼多空間啊 @@ 通常裝在硬碟背板後面
Andy avatarAndy2017-06-01
靠大風壓硬吹... chassis 前後的空間可是很珍貴的
Caroline avatarCaroline2017-06-01
啊~本來想說你會有神秘門路可以先搶到貨QAQ
Tristan Cohan avatarTristan Cohan2017-06-01
偷偷說,這種機器不會直接從cpu拉pcie線路到gpu
都會經過PLC switch
打錯字…PLX
Victoria avatarVictoria2017-06-06
不是標準規格4U的伺服器嗎? 平躺那種
伺服器的機殼空間真的很多的
Daniel avatarDaniel2017-06-10
先看看照片就知道要塞多少東西了... 前後都滿的
Jack avatarJack2017-06-14
兩家設計很類似, 都是硬碟背板後面兩排風扇
Erin avatarErin2017-06-14
前面空間全部都硬碟用光, 後面則是全高雙槽卡+電源
Frederic avatarFrederic2017-06-17
好有趣的需求 是要用GPU算什麼東西阿?
Michael avatarMichael2017-06-18
都要噴銀子了 廠商還能給你模稜兩可的答案? XD
Lily avatarLily2017-06-19
看起來很像搞深度學習的
Hazel avatarHazel2017-06-19
有問題可站內信問我
Olga avatarOlga2017-06-22
其實空冷就夠囉!室溫冷氣開19~22度!
Lauren avatarLauren2017-06-26
以前顧網路ATM機器,機框風扇超強....
Zenobia avatarZenobia2017-07-01
YouTube有個人linustechtips有組過類似你的需求
Eartha avatarEartha2017-07-03
比利時安特衛普大學也是這樣作,你可以去他們那看
Dora avatarDora2017-07-06
Jacob avatarJacob2017-07-06
PSU看起來是265長的CRPS規格, 它網站說的Non-Redun
dancy是指可以上到3*1600=4800W, 就算是2+1的Redund
ancy也有2*1600=3200W可以用,看一下上面的網友算
的也是夠用了。在插滿3台PSU的情況下也不用擔心PSU
載太重什麼的。不過在這種應用下建議PSU五年到了就
差不多該換新了…
Hazel avatarHazel2017-07-07
叫nvidia幫忙了阿美國就別客氣拉
看了這設備真的留口水 在台灣大概cluster慢慢串了QQ
Bennie avatarBennie2017-07-09
台灣國立大學實驗室會配這種機器?
Genevieve avatarGenevieve2017-07-09
貴的是 GPU 啊... 準系統+CPU+RAM+HD/SSD 不到 1/3
Hazel avatarHazel2017-07-11
原PO方便在文章原文列出全部的清單嗎?
Iris avatarIris2017-07-15
電源2+1應該就夠,基本上server出貨前都經過測試,
實驗室室溫不要太誇張空冷一定夠的