HPC的 I/O drawer 通常是用來做什麼的? - Linux

Table of Contents



_
我不是HPC專家,所以我只能提供我不負責任的猜測..

supercomputer裏會把純計算跟I/O分開,提高效率

計算的node單純負責計算,當遇到需要I/O時,會把I/O的task丟給I/O node

所以我猜IO drawer的computing card是用來處理硬碟I/O相關的task

而不是用來進行主要的計算task

譬如這個訓練課程的投影片的第10及18頁

http://0rz.tw/nXm3G

可以看到computing node, I/O forwarding node, storage node是分開的

然後我猜PCIe expansion slot可以用來插網絡介面,

這樣猜是因爲不同的interconnection pattern會用到不同數量的網路界面

至於我這些猜測可信度有多高我也不知道,因爲我只是單純的使用者

對我來說電腦能用,程式能在deadline前跑出結果就滿足了

※ 引述《vic750314 (都一人)》之銘言:
: 小弟最近在看IBM blue gene/Q的硬體資料,
: 發現有個蠢問題想請問一下。
: HPC每個機櫃(Rack)除了各種多核心處理器和內存記憶體組成的計算節點(compute node)
: ;
: 計算節點會有網路連結處理器,
: 並用各種不同拓撲結構連結節點;
: 然後再搭配空氣冷卻、水冷系統。
: 機櫃中除了以上所說的,
: 還會有一組IO drawer,
: 以IBM為例,
: 每個IO drawer搭配 8 Computer cards、
: 8 PCIe expansion slot。
: 通常這個IO drawer在HPC裡可用來做什麼呢?
: 我能理解成如個人PC的PCIe slot吧?
: 可是HPC如果要增加計算速度或是增加容量不都是再增加計算節點嗎?
: 不知道這個問題能不能在這發問,
: 因為是硬體問題...
: 如有打擾小弟先說聲抱歉,
: 謝謝。

--

All Comments

Tom avatarTom2016-11-10
謝謝大大回覆,我覺得你推測的沒錯。I/O node有配八組c
omputer card,如果之間只有bridge接,傳輸速度是不夠
的。最近看了一些現行server board,很多除了內建1G, 1
0G, 100G LAN,還會有Infiniband card(約20G)。過沒多
久甚至會有CPU長出金手指,然後金手指直接連infiniband
card,直接將計算結果傳出去的板子出現。