打造高階工作站(6)-平價 16埠 10GbE 網路 - 3C

先用一張圖解釋為什麼需要 10GbE 網路系統，可實現相當於 SATA SSD 效能的大容
量高容錯網路儲存系統：
https://i.imgur.com/Ci89WUg.png


前言
====
1990年 10BASE-T 標準使 10Mb/s 區網普及；1995年 100BASE-TX 標準讓
100Mb/s 區網普及；1999年的 1000BASE 標準也使 1Gb/s 網路很快普及。在這
短短十年間區網速度進步了 100倍！在 2019年的現今，為什麼我們還卡在 20年前的
有線網路速度？搞到連無線網路速度都要超車了(Wi-Fi 6)。畢竟 10GBASE-SR 標準
早在 2002年就發佈，10GBASE-T 也於 2006年就完成了，研發成本都攤提好幾倍回
去了，應該要有便宜的10GbE網路設備可以用了吧？至少終於不再是天價了。


設備列表與入手價
===============
交換器 11500元 MikroTik CRS317-1G-16S+RM 16埠10GbE(SFP+)/1埠GbE(RJ45)
交換器 8200元 MikroTik CRS309-1G-8S+IN 8埠10GbE(SFP+)/1埠GbE(RJ45)
交換器 4500元 MikroTik CRS305-1G-4S+IN 4埠10GbE(SFP+)/1埠GbE(RJ45)
網路卡 385元 Mellanox ConnectX-2 MNPA19-XTR 二手/1埠10GbE(SFP+)
DAC銅線 160元 Cisco SFP-H10GB-CU3M 二手/3米/兩端內建收發器
DAC銅線 410元 1SFP CAB-10GSFP-5M 5米/兩端內建收發器
光收發器 280元 Cisco SFP-10G-SR 二手/850nm多模/300米傳輸距離/雙LC接頭
光纖線 189元 10Gtek OM3-LC-LC-D5M 5米/OM3/直徑50μm/雙LC接頭
光纖線 279元 10Gtek OM3-LC-LC-D10M 10米/OM3/直徑50μm/雙LC接頭
光纖線 369元 10Gtek OM3-LC-LC-D15M 15米/OM3/直徑50μm/雙LC接頭
光纖線 759元 10Gtek OM3-LC-LC-D30M 30米/OM3/直徑50μm/雙LC接頭
Cat6收發器 2000元 MikroTik S-RJ10 SFP+轉RJ45(10GBASE-T)/30米傳輸距離
https://i.imgur.com/GShDVtO.jpg


交換器
======
MikroTik是1996年於拉脫維亞成立的軟體公司，主要產品是功能強大的RouterOS、
路由器、無線網路設備，在市場上走高CP路線，許多開發中國家大量採用其設備。
Made in Latvia：https://i.imgur.com/QqGH3R2.jpg

11500元 MikroTik CRS317-1G-16S+RM
https://i.imgur.com/RkdnT3g.jpg
官網：https://mikrotik.com/product/crs317_1g_16s_rm

主要規格：
* 主被動散熱設計，正常運作情況是完全靜音，放家裡不會被嫌太吵。在環境溫度異
常高的情況下才會啟用雙備援主動散熱風扇。
* 內建雙備援電源供應器。
https://i.imgur.com/8LAYdWU.jpg
* 可當桌上型(內附防滑貼片)或機架式(內附機架配件)安裝。
https://i.imgur.com/2AmM6dZ.jpg
https://i.imgur.com/rkygqY1.jpg
* 16埠 10GbE(SFP+) + 1埠 1GbE(RJ45) 共 17埠 Level 3 管理型交換網路。可
用1GbE Cat5e 網路線連接 ISP 的數據機或現有 wifi 分享器，讓 16個 10GbE 設
備連上網際網路。
* 總交換能力 322 Gbps，封包轉送率 239 Mpps。
* 802.3ad 動態鏈路聚合 (LACP)、802.1Q 虛擬區域網路 (VLAN)、硬體實作
802.1S 多重生成樹協定 (MSTP)。
* 雙核心 800MHz ARM 處理器、1GB RAM。
* 內建 RouterOS (Level6 授權) 與 SwitchOS 雙作業系統開機切換

第一次開機預設也是開進功能最完整的 RouterOS Level6 授權，好好一台企業級路
由器被當交換器用，雖然是有點大材小用了，但是如果不需要路由器功能，讓他開機
成 SwitchOS 可以加速開機並減少攻擊表面。

首次開機預設IP為192.168.88.1 https://i.imgur.com/GAMbMSc.jpg
RouterOS介面 https://i.imgur.com/m6dFFVb.jpg
這裡可以設定開機作業系統為SwOS https://i.imgur.com/ZfGxsdz.jpg
SwOS介面 https://i.imgur.com/hMHDtYR.jpg

在 MikroTik 出這台之前，有在關注 10GbE 高 CP 交換器的板友，大概會查到以下
幾台：

11990元 QNAP QSW-804-4C 8埠10GbE/SFP+/非網管型
14990元 QNAP QSW-1208-8C 12埠10GbE/SFP+/非網管型
24150元 NETGEAR XS708E 8埠10GbE/RJ45/網管型
39999元 Zyxel XS1920-12 12埠10GbE/RJ45/網管型
48000元 D-Link DXS-1210-12SC 10埠10GbE/SFP+/網管型
57750元 NETGEAR XS716E 16埠10GbE/RJ45/網管型

MikroTik CRS317-1G-16S+RM 11500元幾乎是市場上其他 16埠交換器的四分之一價
格了。
如果只有 4台以內的裝置需要 10GbE，MikroTik CRS305-1G-4S+IN 4500元的
市價，大幅降低進入 10GbE 世界的門檻，應該會是許多小家庭的首選。


網路卡
======
500元以內的 10GbE SFP+ 二手網路卡，最近市場大量釋出中。10GbE 網卡不像
1GbE 是 Intel 獨大，事實上 Mellanox 與 Chelsio 時常是更好的選擇，下單前
建義簡單確認一下預計使用的作業系統支援度，與預計只用的線材轉換器的相容性。

385元 Mellanox ConnectX-2 EN MNPA19-XTR 二手/1埠10GbE(SFP+)
https://i.imgur.com/rVvRemK.jpg

主要規格：
* 這張我裝過 Windows 10, Ubuntu 18.10, Fedora 29, CentOS 7.5,
FreeNAS 11.2, Synology DSM 6.2 都隨插即用，這張卡在幾個作業系統不需要額
外找尋與安裝驅動程式，也不需要做什麼特別的設定。
https://i.imgur.com/mzoECms.jpg
* Low Profile 安裝在小型 NAS 內也可以。
* 以色列製造。https://i.imgur.com/9mJZGaX.jpg
* 只有 PCIe 2.0，只要注意不要插在實際上只有 PCIe x2 的 x8 插槽就好，至少
需要 x4，否則會無法跑全速 (約只有 800MB/s，而非應有的 1100MB/s)。
* 單孔 SFP+，接頭有 10pin。https://i.imgur.com/PqfYTD0.jpg

其他考慮產品：

800元 Mellanox ConnectX-3 EN MCX311A-XCAT 二手/1埠10GbE(SFP+)
官網：https://goo.gl/cOc3C (PDF)
這張比較新也貴了一倍，換來的是 PCIe 3.0，插槽有 x2 即可跑全速

2950元 ASUS XG-C100C RJ45/10GBASE-T
這種用傳統網路線的 10GbE 網路卡沒有二手洋垃圾可買，所以變成貴 3~7倍，除非
有特殊需求(例如建物牆內已經拉好 CAT6/7 的線路)，不會買這種卡。


線材與收發器
============
在 10GbE 的世界裡，相對於只跑 10GBASE-T 的 RJ45 埠，SFP+埠可藉由選用不同
的收發器支援多種光纖與銅線10GbE協定，我自己用了以下三種：
https://i.imgur.com/Io8LkBX.jpg

10GBASE-CR
----------
160元 Cisco SFP-H10GB-CU3M 二手/3米/兩端內建被動式收發器
https://i.imgur.com/ILPw5Rg.jpg
410元 1SFP CAB-10GSFP-5M 5米/兩端內建被動式收發器

10GBASE-CR是雙軸銅纜的 10GbE 協定，又稱 Direct Attach Copper (DAC) 或
Twinaxial (Twinax)，當裝置到交換器距離 5M 以內，這是最高 CP 的線材。被動
式最長 7M，主動式最長 15M，但是主動式線材的價格比一條同長度的光纖線加兩個光
收發器還貴。

2000元 10Gtek SFP-H10GB-ACU10M 10米/兩端內建主動式收發器
3000元 10Gtek SFP-H10GB-ACU12M 12米/兩端內建主動式收發器

10GBASE-SR (Short Range)
------------------------
280元 Cisco SFP-10G-SR 二手/850nm多模/300米傳輸距離/雙LC接頭
https://i.imgur.com/Oduz8Ma.jpg
https://i.imgur.com/gN7hvLK.jpg
https://i.imgur.com/w4M7yOG.jpg
https://i.imgur.com/zG2hIVq.jpg
https://i.imgur.com/llCTiLX.jpg
189元 10Gtek OM3-LC-LC-D5M 5米/OM3/直徑50μm/雙LC接頭
279元 10Gtek OM3-LC-LC-D10M 10米/OM3/直徑50μm/雙LC接頭
369元 10Gtek OM3-LC-LC-D15M 15米/OM3/直徑50μm/雙LC接頭
759元 10Gtek OM3-LC-LC-D30M 30米/OM3/直徑50μm/雙LC接頭
https://i.imgur.com/TfmxOsp.jpg
https://i.imgur.com/xcI7Wbw.jpg

10GBASE-SR 這是短距離光纖的標準，使用多模光纖線材與850nm雷射收發器，OM3光
纖最長距離為 300M。
如果需要連接兩棟建築物也可選用長距離光纖標準 10GBASE-LR (Long Range)，使
用單模光纖線材與 1310nm 雷射收發器，最長距離為 10KM。另有 10GBASE-ER 可
達 40KM；10GBASE-ZR 可達 80KM。

10GBASE-T
---------
2000元 MikroTik S-RJ10 SFP+轉RJ45(10GBASE-T)/30米傳輸距離

如果有連接 10GBASE-T 設備的需求(例如：主機板本身已內建 10GBASE-T 網路孔且
板子上所有 PCIe 插槽都插好插滿了)，就可以靠 SFP+ 轉 RJ45 收發器連上交換
器。只是目前的價格還是篇高，一個洞要價 2000元。


採購
====
MikroTik CRS317-1G-16S+RM 在台灣有好幾間小型代理商/進口商，但是價格約落
在 15000 左右，官方定價美金 $399，國外賣場市價都比官方定價低，所以我自己是
選擇直接從國外買進。
台灣身處世界兩大貿易國中間，不要浪費這個先天上的地理優勢，美亞、淘寶、eBay
比較後的價差甚至足以多買一兩個備品，自己的保固自己做，壞了馬上換，省下送修
的來回時間損失。


--