500K/1000K 機器學習 Audio/Vision 用兩臺 - 3C

前幾天的文章可能沒有說明清楚，購入的是兩臺機器
一臺是vision部門使用的，另外一臺是audio部門使用的。

大家可以看到兩臺機器對VRAM的需求完全不同。

Vision的機器是完全我經手的

model: Supermicro 4029GP-TVRT
CPU (中央處理器)：Intel Xeon Silver 4216 x 2
MB (主機板)：Supermicro X11DGO-T
RAM (記憶體)：DDR4 RDIMM 2666Mhz 32G x 14
VGA (顯示卡)：nVidia Tesla V100 SXM2 32G x 2
SSD (固態硬碟)：M.2 480G SATA
Intel OPtane D4800X 375G
RAID ：LSI MegaRaid 9460 4GB cache
HDD ： ST2400MM0129 2.4TB SAS x 10
PSU (電源供應器)：2200W x 4
總價 (未稅/含稅)：USD 35800

因為Vison這邊用戶有八九位，將來GPU安裝完八塊後，是會有二十位同事
在使用這臺機器，所以硬碟採取了傳統模式，利用SSD cache加速。

另外由於適用的trainning場景batch size比較大，所以VRAM單塊就配置很大了。
將來利用NVLink和PCIe p2p都會有比較好的表現。這邊特別提一下，我們使用
的調度器horovod有支援多GPU分發。

而audio組他們實在等不及AMD到貨，所以還是購入了Intel產品。
CPU (中央處理器)：Intel Gold 5218R x 2
MB (主機板)：Supermicro X11DPG-OT-CPU
RAM (記憶體)：32G DDR4 3200Mhz RDIMM x4
VGA (顯示卡)：nVidia RTX 2080Ti 11G x 4
SSD (固態硬碟)：Intel DC P4510 8T
PSU (電源供應器)：2000W x 4
其它 (自填)：NVLink bridge 3 Slot x 2
總價 (未稅/含稅)：USD 17500 左右

他們最多就三位在用這臺機器，所以規格就比較陽春。另外因為batch size比較小，
其實一塊顯示卡就足夠了。

: 推 hotdogee : 這價格我會拿單路Epyc+4張TITAN RTX 06/08 12:20
: → hotdogee : 雙路epyc一樣是128條pcie，需要超過64核才會用雙路 06/08 12:22
: → hotdogee : 這單雙路16通道卻只拿4條記憶體跑雙通道也太浪費 06/08 12:28
: → hotdogee : 是雙路EPYC主機板不OK而已吧，因為沒什人用 06/08 12:30
: → hotdogee : 單路主機板很好買 06/08 12:30
可惜遲了一步

: 推 a2470abc : ram夠嗎？ 好奇如果是跑影像 資料量長蠻快的 06/09 02:20
: → a2470abc : 本來想提NUMA的問題 但是看到AMD交不出來就了了 06/09 02:21
Vision那臺是RAM大很多，其實RAM的作用主要是圖片讀取成HSV的cache會放在RAM中，
也就是Linux shm中

而您看到的是audio的機器，我是不熟悉他們的場景。

至於NUMA，如果沒有虛擬化或者PCIe過CPU搬運，似乎問題不大。

--
你比較喜歡哪一個?
當年不是黨國大老但是被江浙財團捧紅的中國帥哥
跟同樣擁兵一方的諸侯約會裁軍結果半途諸侯們爽約，平常有在寫日記的莊嚴男人開始發飆

別國調侃是不是中國總統，義正詞嚴的說著我是民族的燈塔的威嚴老先生

--