想組一台學習機，顯卡怎麼選擇? - 3C

※ 引述《virginbear (純潔的熊)》之銘言：
: 因為興趣使然，想要組一台電腦跑跑機器學習，本身接觸 Python 大約半年，對很多
: 東西還不是很了解，因此應該會用 Ubuntu 系統 Tensorflow 架設，想要做的是3D點雲的
順便推坑Keras和PyTorch
: 物件識別，有機會還想建立股票模型。不過手邊的預算有限，想要組的電腦希望大約 45K
: 上下。以下我放一下大概的組裝方向：
: CPU： R5-2600X (聽說3代要出了，不過那個價格我是不信啦！)
: MB： B450 (廠牌太多好難選，目前應該是選藝人高興配合的吧)
: RAM： 科賦 DDR4 3000 16GB+16GB
: SSD： 美光 BX500 240G
: HDD： Toshiba 3TB (不打折嗚應該可以只買單一商品吧！)
: 顯卡： ？？？
: 電供： 酷媽 MWE GOLD 650W 80+金 (基本上還是要看顯卡調整的吧)
: 機殼： 旋剛 TG5 (Blue)/(Red)
: 目前想說買一張 1070Ti 來裝，因為查了國外一些網站是說這張的 CP 值最高，不過也看
: 到版上有些人說要 1080Ti 甚至是有大大說這些記憶體未來幾年的模型都不夠用。
: 想提問的點有：
: 1. 如果MB支援， 2 張 1070Ti 的效能上比不上 1080Ti 嗎？

純論CUDA計算效能的throughput
兩張1070是大於1080的(無論Ti)

: 2. 如果真如板上的鮮貝所說記憶體不夠用，可以如第一問的方式 8G + 8G = 16G >
: 11G 嗎？

兩張8G能不能合成16G
短的答案是，很難

長的答案是
一個神經網路理論上必須能夠完全塞進一個CUDA裝置的DRAM裡面才能跑
這就是老黃區分消費級和運算級卡片的皇家刀法

你覺得為什麼1080Ti會有11GB這種不直覺的大小
甚至PCB板都預留了第12顆記憶體顆粒的位置卻不放上去
原因就是為了跟Titan12GB做區隔
Tesla K80 24GB P/V100 32GB 的目的就是為了能夠塞更大的網路進去
如果可以很簡單地把多卡的VRAM合併在一起大家就買一堆便宜卡片組cluster了
這也的確就是老黃推出 GRID GPU 的思路
透過虛擬化8張或16張Quadro卡，可以形成一個獨立的CUDA裝置
我推測背後的動機也就是為了解決神經網路越來越肥大卻又很難平行化記憶體的問題

一般來說，如果你有多張GPU想要跑神經網路
那麼最簡單也最懶人，許多套件例如Keras的multi_gpu_model提供的方法
就是把你的batch平分給所有的GPU
舉例來說 如果我有4張顯卡
然後我的batch size是32，那麼每張GPU就會收到8個batch的資料
也就是說無論這四張顯卡的型號如何，記憶體最少都要能裝8個batch的資料

這也代表，如果我一樣有四張顯卡
那麼我的batch size最小就會是4
因為平分之後每張顯卡吃的batch最小就是1個
如果低於4那就會有幾張顯卡idle

所以，兩張8G的卡片到底有沒有比一張11G的卡片好？
如果你的model只會用到8G以下
那麼兩張8G可以讓你的batch size和訓練速度都加倍

如果你的model會用到8～11G
那麼很抱歉，你的兩張8G顯卡只是裝飾品

當然你可以參照一些針對這個問題發表的論文
例如vDNN之類的解決方案自行implement他們的solution
但是我覺得難度有點高
我自己是坐等Keras, PyTorch, Chainer之類的套件提出官方版solution


: 3. RTX剛出來，有很多人酸災情，還有價格上比較High，但是配備圖靈架構聽起來顯
: 卡本身就是人工智慧了，會推薦我捏一捏上RTX嗎？

圖靈架構的Tensor Core的設計目的是在遊戲上使用
要解決的問題是加速predicting phase以提供 DLSS 的功能
利用deep learning比較成熟的Super Resolution應用即時提升解析度

所以這東西的設計目的就不是給你training model用的
他能算的只有矩陣乘法，training phase和predicting phase最大的差異就是這個
training phase有大量的propagation, 微分運算要做，這些都還是要落到CUDA core上面

所以論training phase的性能還是要看CUDA core的運算能力

當然20系列的CUDA core還是比10系列多
但是那個價差……

: 4. 因為新舊卡的價格差異有點大， 1070Ti 或是 1080Ti 可能偏向買2手卡為主，這
: 樣的想法適當嗎？

電蝦都推新品啦
但是我個人是認為考慮VRAM大小和價格的取捨，1080Ti是甜蜜點
而1080Ti現在很難買新品，所以可能你也被迫剩下二手能選了

: 現在花錢偏向是買 1 張 1070Ti 或是 1080Ti，但是因為二手的 1080Ti 價格是 2 張 10
: 70Ti ，所以才萌生一些奇怪的念頭！
: 以上，謝謝版上的大大們指教！
: ：D


-----
Sent from JPTT on my Asus ASUS_Z01KDA.

--