8張Titan X server的供電與散熱 - 3C

Madame avatar
By Madame
at 2016-08-11T02:05

Table of Contents

大家好,

目前我們實驗室打算購入一台能插8張GPU的server,
大部分的元件都跟一般的server沒什麼不同,
如Intel Xeon E5-2667V4 x 2, 256GB 2400MHz DDR4 memory等,
但最擔心的點是我們打算插8張剛上市的NVidia Titan X GPU,
不知道散熱跟供電會不會有問題,
因為目前實驗室最多只有同時插三張K80而已.
這台機器花了600K左右,
如果拿到不會動我就死了= =+
麻煩請各位前輩指導一下.

基本上除了GPU外,
其它東西都是廠商建議的配置,
由廠商直接出貨,
而GPU因為現在NVidia獨賣,
沒有任何的廠商叫的到貨,
只好自己從NVidia買,
因為擔心有問題,
目前只先買了六張Titan X,
如果沒問題會再追加兩張,
不然只好跟多的兩張GTX 1080將就著用.

一張Titan X要吃掉250W,
8張就要2000W.
詢問過廠商,
這台很多人買回去插8張舊版的Titan X,
沒有問題,
我查了一下舊版的Titan X也是250W.
機器的單子上面,
Power項目是寫:
"3x 1600W AC 80+ Platinum efficiency hot-swap power supplies",
感覺意思是3顆1600W且可以熱插拔的Power,
4800W的供電應該是夠了吧?
不知道理解有沒有錯誤?

另外就是廠商說空冷就行,
水冷可能也塞不進去,
我們的server會放在24小時冷氣無限供應的機房裡,
不知道會不會過熱而降頻呢?

因為身邊最多也只有人用過插4張Titan X的,
版上神人很多,
不知道有沒有前輩能夠指教一下呢?

謝謝!

--

▂▃▄▃▂
˙
˙
▉▃ /喵喵~~~~
◣╲ˍ ╱

--
Tags: 3C

All Comments

Selena avatar
By Selena
at 2016-08-13T16:08
實驗室的設備還得自己搞感覺挺累人的
Una avatar
By Una
at 2016-08-15T04:51
好奇你們是什麼實驗室?
Madame avatar
By Madame
at 2016-08-16T18:07
有錢的實驗室(?
Eartha avatar
By Eartha
at 2016-08-21T06:42
有錢的小實驗室
Edward Lewis avatar
By Edward Lewis
at 2016-08-24T20:30
什麼類型的實驗室啊 我實驗室都把錢拿去買化學品了
Agatha avatar
By Agatha
at 2016-08-26T22:41
很普通的小實驗室(有錢)
Quanna avatar
By Quanna
at 2016-08-31T10:46
來這邊就是要
Skylar DavisLinda avatar
By Skylar DavisLinda
at 2016-09-03T15:50
是否要改水冷
Freda avatar
By Freda
at 2016-09-03T18:29
供電沒問題 散熱要看機箱配置
Carol avatar
By Carol
at 2016-09-04T04:09
HPC 沒有人在搞水冷的... 機房裡沒在講究靜音
風量都比大的, 空調夠力就沒問題
Donna avatar
By Donna
at 2016-09-04T20:10
工業扇準備一台 系統過熱時開上蓋對它吹
Anonymous avatar
By Anonymous
at 2016-09-05T09:25
都用K80了 好Tesla P100不買嗎
Mia avatar
By Mia
at 2016-09-06T15:32
我們學校實驗室是i73770配630QQ
Rebecca avatar
By Rebecca
at 2016-09-11T07:18
德克斯特的實驗室?
Jessica avatar
By Jessica
at 2016-09-11T17:33
上水冷阿 參考https://youtu.be/LXOaCkbt4lI
Brianna avatar
By Brianna
at 2016-09-16T00:11
https://goo.gl/2ExdJy
Oliver avatar
By Oliver
at 2016-09-20T09:29
為什麼那麼多人要實驗室的環境上水冷?漏水爆了你賠?
Valerie avatar
By Valerie
at 2016-09-24T19:36
機房的SERVER是你家電腦一樣你沒事就會透過側板看他
有沒有漏水嗎?
Edwina avatar
By Edwina
at 2016-09-29T18:42
從冷氣出風孔拉管線?
Isla avatar
By Isla
at 2016-09-30T08:00
\LN2/ \LN2/ \LN2/
Ivy avatar
By Ivy
at 2016-10-03T13:43
話說linus的伺服器也是用水冷就是了
Victoria avatar
By Victoria
at 2016-10-05T14:19
別弄水冷,除非爆管你賠得起
Andrew avatar
By Andrew
at 2016-10-06T20:15
別水冷 還有風險
Margaret avatar
By Margaret
at 2016-10-11T08:09
tesla p100 貴titan x沒多少阿
Gary avatar
By Gary
at 2016-10-14T04:37
機房有空調就靠機箱裝暴力扇去吹,那有人用水冷或工
業電扇
Sarah avatar
By Sarah
at 2016-10-19T03:47
人家裝水冷表演性大於實用性,不很在意可靠度,出事
他們正好能拍一支修復的短片賺瀏覽
Caroline avatar
By Caroline
at 2016-10-20T13:38
看過他們NAS爆掉的救援影片
Agnes avatar
By Agnes
at 2016-10-25T00:51
對,查到的是一萬美金,看報導好像一張能抵四張tita
n x,拿兩張也差不多是你預算的總數
Susan avatar
By Susan
at 2016-10-26T06:03
這種等級的給我錢叫我自己弄 我還真不敢自己弄QQ
Leila avatar
By Leila
at 2016-10-27T21:53
P100有HBM
Kama avatar
By Kama
at 2016-10-28T15:28
雙精度的差異就很大啦(?)
Bennie avatar
By Bennie
at 2016-10-29T23:02
拍拍,明年就有Volta 了QQ
Andrew avatar
By Andrew
at 2016-11-02T14:33
有沒有考慮過32張Fury X
Lauren avatar
By Lauren
at 2016-11-03T06:56
偷偷問一下 是140的實驗室嗎?方便透漏是哪個單位嗎?
Michael avatar
By Michael
at 2016-11-07T02:02
IP在美國,念美國的研究所
Ina avatar
By Ina
at 2016-11-11T02:31
喔喔 原來如此...
Hedda avatar
By Hedda
at 2016-11-12T21:06
16個slot塞滿的話 最下面的卡會不會貼著機殼抽不到
Tracy avatar
By Tracy
at 2016-11-17T13:30
風?
Ida avatar
By Ida
at 2016-11-17T20:23
快笑了 還水冷咧 你賠得起?
Anonymous avatar
By Anonymous
at 2016-11-21T04:32
有些人隨便說說到處害人
Liam avatar
By Liam
at 2016-11-21T23:01
拿power那句話去google的結果 http://goo.gl/ecypfx
Bethany avatar
By Bethany
at 2016-11-22T08:23
好有錢QQ
Charlotte avatar
By Charlotte
at 2016-11-27T03:48
這算便宜的吧~大家都沒讀研所?之前所上實驗室買一
台流式細胞儀就700多萬,伺服器便宜得很
Barb Cronin avatar
By Barb Cronin
at 2016-12-01T23:41
樓上以為所有科系都需要高檔設備才能做研究?
Andrew avatar
By Andrew
at 2016-12-04T15:05
真der,同學純理論都說器材只有A4
Jacob avatar
By Jacob
at 2016-12-05T18:24
研究甚麼分享一下啊
Eden avatar
By Eden
at 2016-12-10T14:38
反正有好工具,才是真的
David avatar
By David
at 2016-12-11T16:58
no no no 順利畢業才是真的! 其他的都假的! 暫時的!
Belly avatar
By Belly
at 2016-12-16T03:08
機房的工業扇應該是空調故障時的應急方案
Elvira avatar
By Elvira
at 2016-12-16T14:56
titan x可以插8張? 我印象中上一代的只能四張
Agnes avatar
By Agnes
at 2016-12-20T20:18
但P100那種確定是八張
Skylar Davis avatar
By Skylar Davis
at 2016-12-25T08:54
找SERVER或WS廠商處理比較好吧 後續保固維修更麻煩
Zora avatar
By Zora
at 2016-12-28T12:00
這種如果連廠商都弄不出來 你自己也別弄了
Rachel avatar
By Rachel
at 2016-12-30T08:53
600K相當於一個計劃的經費了
Tristan Cohan avatar
By Tristan Cohan
at 2017-01-02T05:35
8張應該可以 1顆CPU對4張 不過還是要看主機板配置
Tristan Cohan avatar
By Tristan Cohan
at 2017-01-04T01:19
不過好奇你們跑什麼 這版DP還是悲劇吧 畢竟遊戲用
Carolina Franco avatar
By Carolina Franco
at 2017-01-06T20:52
那為什麼協力廠商不自己從官網買??
Mia avatar
By Mia
at 2017-01-10T18:32
SLI是4張 但是運算類多卡就不是用SLI
Erin avatar
By Erin
at 2017-01-11T03:13
直接找NVIDIA問吧,請他們工程師協助處理不為過吧
Vanessa avatar
By Vanessa
at 2017-01-15T07:12
不玩遊戲確實不用SLI 但還是要看CPU PCIe lanes
Joe avatar
By Joe
at 2017-01-19T00:11
我覺得還是需要廠商協助吧,後續也需要支援阿,捏一
下,能用錢解決的問題,盡量尋求機會
Lauren avatar
By Lauren
at 2017-01-22T07:43
除非供貨廠商直接挑明說不出貨給台灣
Steve avatar
By Steve
at 2017-01-22T10:28
那個側板拆掉,實驗室開22度,旁邊再配上一個循環
扇,基本上不用水冷也夠用了
Sierra Rose avatar
By Sierra Rose
at 2017-01-24T02:53
散熱要看你們的環境室溫 抽一堆熱風根本沒辦法降溫
某牌的同類型系統也是用4800W不過是1200W的3+1 配置
上都差不多 應該是沒問題
Michael avatar
By Michael
at 2017-01-26T18:44
不出貨給台灣關原PO屁事?
Ivy avatar
By Ivy
at 2017-01-30T12:31
學校實驗室 可以用特殊管道 買這種 顯卡吧
Kristin avatar
By Kristin
at 2017-01-30T21:38
原po不在台灣
Franklin avatar
By Franklin
at 2017-02-02T17:45
那應該就沒啥問題了
Oliver avatar
By Oliver
at 2017-02-06T01:25
人家那是US的IP,有沒有出貨給台灣就不用樓上上操
Candice avatar
By Candice
at 2017-02-10T17:10
好的抱歉沒注意 有說錯的部分還煩請跟板主檢舉
Belly avatar
By Belly
at 2017-02-10T18:46
原po內文沒特別說不在台灣,有些推文冷靜點,別這麼
激動,不是人人沒事都愛查人家ip
Gary avatar
By Gary
at 2017-02-11T23:28
只能說超狂的,好奇這台如果拿來打電動,不知道會
怎樣
Belly avatar
By Belly
at 2017-02-15T08:03
沒有 沒看清楚就回推是我的不對 這也很不應該
我直接自請處份 請a板主直接桶好了
Hazel avatar
By Hazel
at 2017-02-18T11:31
好奇這樣去跑firestrike能跑多少分
Lauren avatar
By Lauren
at 2017-02-22T21:18
我實驗室用的電腦是i5 2400+gt210 QQ
Barb Cronin avatar
By Barb Cronin
at 2017-02-24T21:00
儀器連接的電腦用四代i7配拉基顯示卡,我難過
Lily avatar
By Lily
at 2017-02-27T15:04
一顆E5 CPU 40 lanes剛好可以對4張 跑x16x8x8x8
Christine avatar
By Christine
at 2017-03-02T10:29
是要買TItan C pascal嗎?現在大缺貨 可以跟原Po合
購嗎?這樣不知道嘿嘿 方不方便
Steve avatar
By Steve
at 2017-03-06T22:49
TItan x pascal打錯XD
Rosalind avatar
By Rosalind
at 2017-03-09T16:51
1. 不用改水冷,公版風扇設計專門給SERVER型態用的
2. 一張TITAN 用極限300W來算比較安全
Carol avatar
By Carol
at 2017-03-13T13:50
3. 80度後才開始降頻,機房不怕吵,風扇設全轉就好
Skylar Davis avatar
By Skylar Davis
at 2017-03-15T07:50
4. 跟SERVER廠商確認PSU總輸出功率後再扣掉其他元件
需求的瓦數,剩下有超過3KW就安全了
Rae avatar
By Rae
at 2017-03-19T18:06
小弟好奇問一下你們實驗室跑什麼軟體的呢?
Elma avatar
By Elma
at 2017-03-24T14:52
這種 GPU 運算專用的板子, 上 PLX 不會手軟的
Daph Bay avatar
By Daph Bay
at 2017-03-26T13:40
2-way, 每 16-lane 兩個 slot... 剩下的給 I/O 需求
Rosalind avatar
By Rosalind
at 2017-03-29T12:06
過熱降頻是保護機制,降頻就是跑比較慢而已
Anonymous avatar
By Anonymous
at 2017-04-02T20:04
PSU要問PSU廠,你寫的是3x1600W AC 80+白金'
應該是AC -DC才對,降頻以後就不會跑到250W以上了
Zanna avatar
By Zanna
at 2017-04-05T11:17
確保PSU足夠是怕全部全速運轉不夠力會跳掉
機房內的東西跳掉,輕則賠錢,重則重來~不划算
Zanna avatar
By Zanna
at 2017-04-09T13:29
PCIe switch... 不然哪有辦法供出 8 個 x16 slot
Regina avatar
By Regina
at 2017-04-13T21:31
看起來應該是單個 1600W, 是不是 2+1 備援要問廠商
Vanessa avatar
By Vanessa
at 2017-04-18T00:25
https://www.youtube.com/watch?v=DhZJ66l82r8
Quanna avatar
By Quanna
at 2017-04-21T16:05
找supermicro的準系統吧
Noah avatar
By Noah
at 2017-04-22T18:17
x16x8x8x8指的是每個插槽跑的頻寬 因為CPU本身有限
制 所以不可能都跑x16 不過也要看板子的設置
Odelette avatar
By Odelette
at 2017-04-24T17:56
樓上影片應該是這台前一代 https://goo.gl/epgIbD
Ida avatar
By Ida
at 2017-04-27T19:41
前面有人用 power 查的連結, 用了四顆 PEX8747
Queena avatar
By Queena
at 2017-05-02T17:25
你直接告訴大家是不是Colfax CX4850-XK6好了
Gary avatar
By Gary
at 2017-05-06T09:39
Supermicro 這個更多, 拉到子板的是兩個 x24 slot
Franklin avatar
By Franklin
at 2017-05-07T18:21
剩下的讓大家直接看官方說明比較快 省得猜謎
Lauren avatar
By Lauren
at 2017-05-08T13:10
算錯 是兩組兩個才對 @@ 轉出 11 個 x16 一個 x8
Sarah avatar
By Sarah
at 2017-05-11T15:29
3x 1600W (Non-Redundant or 2+1 Redundancy)
Queena avatar
By Queena
at 2017-05-13T16:32
所以可以4800W全上
Enid avatar
By Enid
at 2017-05-13T20:51
以這台SERVER來看8張可以全上X16~速度基本上沒影響
看要不要8張全上後,PSU用2+1先試試看
Queena avatar
By Queena
at 2017-05-15T10:11
SERVER基本上還是希望不要跳電啦~跳電很麻煩的
不然就再外接備援的PSU吧
Xanthe avatar
By Xanthe
at 2017-05-17T01:03
頻寬的部分也不必太緊張 要看你的運算類型需求
Mia avatar
By Mia
at 2017-05-21T05:00
說不定你的運算比較吃GPU運算 但不會把頻寬撐滿
Dorothy avatar
By Dorothy
at 2017-05-25T17:05
沒關係吧..反正還沒驗收..起碼要看到能開機跑沒問題
Tristan Cohan avatar
By Tristan Cohan
at 2017-05-27T04:40
這種系統裡板子成本是渣 沒必要偷PCIe 做滿最保險
Faithe avatar
By Faithe
at 2017-05-28T12:24
伺服器機殼應該前後都是整排風扇
只要裡面進出風口單一方向就好,也就是層流
Emily avatar
By Emily
at 2017-05-31T11:52
沒有耶 哪來這麼多空間啊 @@ 通常裝在硬碟背板後面
Andy avatar
By Andy
at 2017-06-01T00:12
靠大風壓硬吹... chassis 前後的空間可是很珍貴的
Caroline avatar
By Caroline
at 2017-06-01T11:34
啊~本來想說你會有神秘門路可以先搶到貨QAQ
Tristan Cohan avatar
By Tristan Cohan
at 2017-06-01T17:53
偷偷說,這種機器不會直接從cpu拉pcie線路到gpu
都會經過PLC switch
打錯字…PLX
Victoria avatar
By Victoria
at 2017-06-06T06:07
不是標準規格4U的伺服器嗎? 平躺那種
伺服器的機殼空間真的很多的
Daniel avatar
By Daniel
at 2017-06-10T21:33
先看看照片就知道要塞多少東西了... 前後都滿的
Jack avatar
By Jack
at 2017-06-14T03:51
兩家設計很類似, 都是硬碟背板後面兩排風扇
Erin avatar
By Erin
at 2017-06-14T11:03
前面空間全部都硬碟用光, 後面則是全高雙槽卡+電源
Frederic avatar
By Frederic
at 2017-06-17T01:06
好有趣的需求 是要用GPU算什麼東西阿?
Michael avatar
By Michael
at 2017-06-18T16:57
都要噴銀子了 廠商還能給你模稜兩可的答案? XD
Lily avatar
By Lily
at 2017-06-19T07:41
看起來很像搞深度學習的
Hazel avatar
By Hazel
at 2017-06-19T16:00
有問題可站內信問我
Olga avatar
By Olga
at 2017-06-22T12:06
其實空冷就夠囉!室溫冷氣開19~22度!
Lauren avatar
By Lauren
at 2017-06-26T18:06
以前顧網路ATM機器,機框風扇超強....
Zenobia avatar
By Zenobia
at 2017-07-01T03:09
YouTube有個人linustechtips有組過類似你的需求
Eartha avatar
By Eartha
at 2017-07-03T07:44
比利時安特衛普大學也是這樣作,你可以去他們那看
Dora avatar
By Dora
at 2017-07-06T02:35
http://bit.ly/2b8usWc
Jacob avatar
By Jacob
at 2017-07-06T12:36
PSU看起來是265長的CRPS規格, 它網站說的Non-Redun
dancy是指可以上到3*1600=4800W, 就算是2+1的Redund
ancy也有2*1600=3200W可以用,看一下上面的網友算
的也是夠用了。在插滿3台PSU的情況下也不用擔心PSU
載太重什麼的。不過在這種應用下建議PSU五年到了就
差不多該換新了…
Hazel avatar
By Hazel
at 2017-07-07T02:18
叫nvidia幫忙了阿美國就別客氣拉
看了這設備真的留口水 在台灣大概cluster慢慢串了QQ
Bennie avatar
By Bennie
at 2017-07-09T17:42
台灣國立大學實驗室會配這種機器?
Genevieve avatar
By Genevieve
at 2017-07-09T20:38
貴的是 GPU 啊... 準系統+CPU+RAM+HD/SSD 不到 1/3
Hazel avatar
By Hazel
at 2017-07-11T02:09
原PO方便在文章原文列出全部的清單嗎?
Iris avatar
By Iris
at 2017-07-15T11:55
電源2+1應該就夠,基本上server出貨前都經過測試,
實驗室室溫不要太誇張空冷一定夠的

30K 含螢幕遊戲機

Jessica avatar
By Jessica
at 2016-08-11T00:08
已買/未買/已付訂金(元):未買 預算/用途: 30K遊戲機 2K16,GTA5,戰車世界 CPU (中央處理器):Intel I5-6500【四核】3.2GHz(↑3.6GHz) MB (主機板):華碩 B150M-PLUS(獨家-無雙版)(M-ATX/1A1D1H/U3/M.2/i網/四年) ...

寫程式換I5或E3?

Wallis avatar
By Wallis
at 2016-08-10T23:57
CPU : I3-4150 MB : G心 B85M-DS3H RAM : DDR1600 8G + DDR1866 8G VGA : MSI R7-370 HDD : Hitachi 1T + Intel SSD 256G PSU : 銀欣 550W 最近在寫網頁需要跑VM(wi ...

求風扇推薦

Edwina avatar
By Edwina
at 2016-08-10T22:57
現在機殼是用F.D R5 想問說如果兩個原廠扇當前置 那後置要用什麼風扇才能達到正風壓? 因為進風處會用濾網再做一次防塵 只靠兩個原廠風扇不知道夠不夠力 還是連原廠扇全都換掉 買新的? 風扇預估一個800左右 希望版友能推薦一下 P.S 順便問一下 台灣除了露天以外 哪邊還找的到溫柔颱風阿 ...

MB的選擇 H110M vs B150M

Christine avatar
By Christine
at 2016-08-10T22:13
小弟最近電腦壞了~ 所以上網survey一下 MB andamp; CPU andamp; RAM 小弟以省錢為主所以之前有的周邊就不買了 現在比較難選的就是MB 爬了一下文大家幾乎都選擇B150M這塊 但其實比較了一下它與H110差在 1.南僑的PCIE一個是3.0一個是2.0 但假如沒使用到 ...

舊POWER 推新配備

Anthony avatar
By Anthony
at 2016-08-10T21:52
最近想要大換配備 除了HDD POWER CASE 其他都要全換了 想請問大大們我在3 4年前買的酷碼GX450 可否推得動i7-6700+RX470+SSD+HDD 因為預算吃緊 又想說當初買這棵POWER 也不算太爛 想說能用的就沿用 請大大可以給我一下意見嗎 另可以問個題外話嘛! 480 4G 有 ...