打造高階工作站(4)-Xeon E5-2650 x2 - 3C

我也是做理論計算的Group

主要都是跑DFT

如果有接觸的人 應該都知道他的計算量非常龐大

底下開了個話題 那我也一起加入討論好了XD

順便供後人參考

最近老闆也是買了5台這樣的機器

我是負責將這些電腦叢集串起來

我的規格跟h大幾乎相同

機器規格:
CPU Intel Xeon Processor E5-2650 * 2
MB SuperMicro X9DRi-LN4F+ * 1
RAM SuperMicro 16GB DDR3-1600 2Rx4 ECC REG * 8
HD WD 500G 64MB RE4 5003ABYX * 1
HD WD 2TBMB RE4 2003FYYS * 1
CHASSIS SuperMicro 825TQ-563LPB *1
OS用 SuSE Linux Enterprise Server 11 SP2
使用OpenMPI-1.6.5 MPI Library
使用Intel Fortran Composer XE 2013 for Linux (2013.5.192)
有使用Composer XE 2013內的 Intel Math Kernel Library
主要是BLAS LAPACK FFT
我有關掉HT 因為對於計算來說HT沒任何幫助 反而還會變慢
預留記憶體插槽之後要擴充用
之前job太大 使用的記憶體超過御風者fat node的上限(256GB) 就死掉了
用2個node才解決此問題...

NFS的主要規格:
Adaptec 6805 8-port PCIe SAS 2.0 RAID Kit
Seagate ST3300657SS SAS 15000RPM, 300GB (HD & Kit) * 8 做RAID0
為何不用SSD?
因為當file system多人讀寫 SSD的緩衝一定不夠撐
SCSI硬碟支援多人讀寫 因此多人多工的環境加上SSD壽命問題 完全不用考慮SSD


主要的軟體是VASP5.2和Gaussian09 這些軟體都是用Fortran寫的

Makefile 編譯參數 OFLAG 御風者用-O2 -ip 效能最好
Xeon用 -O3 -ip -axAVX 效能最好

AMD機器 用他們的編譯器 效能沒比較好 連GotoBLAS效能也比MKL差
結果AMD機器用intel的編譯器和MKL效能最好...

我們也是御風者的用戶 御風者的是使用AMD的CPU

浮點運算效能頗弱(以DFT計算來說)

御風者是強在使用InfiniBand的網路架構

所以還是要看程式怎麼寫 程式寫得不好 平行效率就非常差

這裡的平行主要是MPI架構 不討論SMP架構

所以Code還是很重要 因此影響到體系

以VASP來說 單純算結構Opt的話 御風者單機24core效率最佳
或是一台12core 走InfiniBand跨2個node 效率也不錯
如果使用超過12core 只會變慢 不會變快
用越多core 會越慢

如果VASP是做找過渡狀態 使用NEB方法 平行效率非常好
core越多 計算越快 御風者96core(2個node)是極限了 效率這裡最好
Xoen的話5個node(共80core)效率最好 我們也只有五台這樣的機器 所以沒辦法測下去

所以還是看你的體系決定用什麼電腦

以結構Opt來說 同一個job(學長從以前測到現在 所以就以他的標準)
Xeon E5-2650 *2 共16core 只需要8分鐘
御風者 24core 需要32分鐘
以上是單機跑

跨node 我以NEB計算為基準的job
Xeon E5-2650 *2 用5個node 80core 只要7小時
御風者 用2個node 共96core 將近7小時(不到7小時)
可能原因是1Gbps和InfiniBand的速度比起來根本是天壤之別...
所以這個比較 沒啥意義...

新的CPU強是強在新的AVX指令集
Xeon的Cache也比較大
跟廠商借了ivy的i7的頂級款 用AVX2 還是一樣被sandy的Xeon E5 打假的....
所以時脈似乎不是重點
也難怪Xeon的CPU特別貴(廢話XD)

所以還是看你要算什麼體系而定...

Gaussian09的話 是使用OpenMP架構 所以單機跑效能比較好
Linda那個跨node的library效能超差的 所以就不裝了
不過i7就夠用了

如果用新的CPU 程式沒有重新編譯過 效能是一定跑不出來的

還有我不是資訊相關科系的人 如果我專業術語有錯誤 煩請糾正...

附上機房機器的兩張圖:http://ppt.cc/R9YV
http://ppt.cc/pAYW

獻醜了...

--