AMD平台搭建ESXi - 3C

Table of Contents

先上配置
CPU : AMD Ryzen 3 Pro 2100ge
MB : ASRock B450M Pro4
RAM : Samsung DDR4 16G ECC (M391A2K43BB1-CRC)

主要是原本用Freenas卻沒裝ECC有點抖,再加上突然在某寶看到這顆CPU就撿回來玩了
Ryzen只有沒內顯版本的才全系列支援ECC,帶G版就要找Pro的,市面上很少
主機板目前是小石頭全部都有支援ECC,大石頭中階以上都有(像B350M-A、TUF)
技嘉只有頂級的才有支援,其他的應該都沒有

https://imgur.com/R9BlMok
目前已經運行3個禮拜了,應該算是穩定吧

安裝的是ESXi 6.7 Update 3
過程網路上應該都有,總之就是要先打網卡的驅動進去才可以上
然後之前看到的6.5必須關SMT才可以動的目前6.7開著SMT也沒有問題

主要要講的坑點有兩個
1. Passthrough大多數裝置都無效
https://imgur.com/Z4OG9rF
不管怎麼重開機都會長上面這樣
翻log檔會發現"Device passthru not possible on this system (no PCI ACS support)"
但事實上之前在Intel平台(I5 3570 + H61)就沒事...
搜尋網路上資料少得可憐,只有找到這篇韓文的有解決
http://bit.ly/2lZBh3q
但所謂的打ACS Patch卻沒有說怎麼做(翻桌
最後摸兩天摸出來
https://imgur.com/z8l0uLV
disableACSCheck = true,無視就好

再來很重要,BIOS最多到AGESA 1.0.0.6的版本
再上去Bug一堆,最新版連Passthrough都打不開
重點是,升上去還不給降級,我*&#@$^&@....
(當初我還想說升級BIOS看會不會好,畢竟新平台)

2. IOMMU有點坑
借一張微星B450M的block diagram
https://imgur.com/GQUk0h9
如果我passthrough板子上的sata port,同時有兩個usb孔也會一起過去,這沒問題
我不能理解的是,一條PCIe x4的也被強迫passthrough過去了==
但如果單獨passthrough那條PCIe x4卻又沒事
https://imgur.com/PTyya89

想Passthrough內顯的話,很抱歉,幾乎板子剩下的東西都會一起被Passthrough
開機就跟廢了一樣,感覺ACS沒有支援的很完善

總結一下,我覺得如果要搞EXSi虛擬機之類的話,Intel還是比較好的選擇
我就不記得以前用I5 3570 + H61有這麼折騰==
然後我感覺打ACS Patch應該可以解決大部分的問題
不知道有沒有大大能解惑QQ

--

All Comments

Odelette avatarOdelette2019-09-19
板子不對
你的iommu問題在於分的group都被分到同一個
intel其實也有這問題
Puput avatarPuput2019-09-22
我是挑X470太極才解決
Jacob avatarJacob2019-09-24
b350m-a 算低階吧
Callum avatarCallum2019-09-28
剛好以前有在研究 說明一下
Charlie avatarCharlie2019-09-28
b350m-k 不是更低階?不懂 Asus 的分法
Joe avatarJoe2019-09-29
就像樓上說的,都被分到同一個IOMMU Group才會這樣
Bennie avatarBennie2019-10-02
通常這要主機板有好的VT-d或AMD-Vi才不會有問題
通常不是高階的主機板或CPU很容易踩到這雷 但廠商不
Una avatarUna2019-10-03
更低階應該是像PRIME A320系列這種吧????
Mason avatarMason2019-10-07
會跟你說
Susan avatarSusan2019-10-11
320是晶片更低一階,我不懂是同級350晶片一樣搞出-A,
-K...一堆版本
Blanche avatarBlanche2019-10-13
剛好打算弄個散片+350板子跑 EXSi 說
Ivy avatarIvy2019-10-17
Asus PRIME B350M-A 不用 2000, 外加4個DIMM,在口袋
名單說
Jacob avatarJacob2019-10-18
wikichip上面寫2200g有支援ecc...
Hedwig avatarHedwig2019-10-20
不過應該是錯的就是了. 以實測為主.
Andy avatarAndy2019-10-22
B350M-K只有兩個DDR4插槽,其他跟-A差不多
Cara avatarCara2019-10-23
當初也是-A有4個DIMM選它,倒是沒考慮用ECC
Kumar avatarKumar2019-10-25
除了X470的某幾張板子之外都算低階啦
intel的更狠 VT-D只有給半殘
Vanessa avatarVanessa2019-10-27
收一台2手360 365比較快
Carolina Franco avatarCarolina Franco2019-10-28
基本上用AMD就是找麻煩。祝好運,AMD現在確實很好
Catherine avatarCatherine2019-11-02
但是畢竟ESXi用AMD的人真的很少阿
Charlie avatarCharlie2019-11-03
看用途吧,我只是拿來自玩.這些不會是問題.樓主可能
用在更專業需求上
Blanche avatarBlanche2019-11-08
幾個月前我用APU跑黑蘋果也是很痛苦 選I會輕鬆點
當時主要是卡在APU的內顯驅動問題
Ursula avatarUrsula2019-11-11
這篇學到不少東西,雖然之前用x3650跑,但6.7之後不
支援舊CPU.
Lauren avatarLauren2019-11-15
AMD廉價的多核+RAM與SSD便宜,比以前跑VM已經快太多
了.
Olivia avatarOlivia2019-11-18
6.7還是可以在一些舊時代的機器上裝起來 DL380G8裝
成功過
Ingrid avatarIngrid2019-11-22
Ryzen 從來不在 EXSi 的相容平台
EXSi 只支援 EPYC
Sierra Rose avatarSierra Rose2019-11-26
6.7的文件有提到,但手上那台x3650就是不給裝
只能繼續用6.5
Edward Lewis avatarEdward Lewis2019-11-27
樓主沒考慮跑PVE嗎?
Mason avatarMason2019-11-29
沒考慮過,也沒能力考慮QQ,主要是當初用Intel裝很
Edwina avatarEdwina2019-12-01
順利,這次換平台根本不想重弄我的虛擬機,只好硬幹
Joe avatarJoe2019-12-03
我買了一張小石頭的x470d4u server板 等cpu到我來試
試iommu
Selena avatarSelena2019-12-05
牙膏廠的iommu有時候也蠻神奇的 我有一台J3455 在ES
Xi下直通卻都沒問題 不會同時直通多個裝置過去 但我
在PVE就遇到iommu group問題了
Lydia avatarLydia2019-12-08
是說你可以問看看華擎 看能不能改一下iommu group
華擎在這部分蠻用心的應該有機會讓他們修
Barb Cronin avatarBarb Cronin2019-12-10
ACS通常是跟IOMMU綁在一起的,就算CPU與晶片組支援
Lucy avatarLucy2019-12-14
還要看每一家BIOS怎麼寫
就讓某樓說的 Intel給一般桌上或是E3等級的CPU
Harry avatarHarry2019-12-17
在VT-d支援上都是半殘 不少都是指這件事情
以前在KVM上玩GPU Passthrough的時候就被搞過很久
Franklin avatarFranklin2019-12-20
真的要完整支援就只能上兩家的HEDT或Server了
Sierra Rose avatarSierra Rose2019-12-23
你這些問題跟這位板廠比較有關
Suhail Hany avatarSuhail Hany2019-12-25
另外你應該要買tr才對
Irma avatarIrma2019-12-28
tr頂級主板例如asus zenith或者鳥頭 iommu都分的很
乾淨
Bennie avatarBennie2020-01-01
ecc ryzen主機板大多數半殘 板廠基本上都亂閹割
Blanche avatarBlanche2020-01-05
另外 apu確實問題比較多 你怎不考慮無內顯cpu加上u
sb爛顯卡就好?
Zanna avatarZanna2020-01-06
問個蠢問題請別見怪,都要玩VGA Passthrough了
為啥不直接用Xen或是Proxmox VE呢? (思
Erin avatarErin2020-01-10
不ˉ不是叫你買高級版
L1TF這一類論壇有人整理哪些是能正常使用的
Anonymous avatarAnonymous2020-01-13
不是噓你 是要噓不肖板廠
David avatarDavid2020-01-13
請問MSI的板子都沒支援嗎?
Dinah avatarDinah2020-01-15
手上4台香香機都是MSI的板子Carbon AC, Mortar Ti,
Mortar MAX
Freda avatarFreda2020-01-18
真要玩應該會去找Pro WS X570-ACE來搞吧..
但缺點是保固...
Ursula avatarUrsula2020-01-20
乖乖用intel
Ethan avatarEthan2020-01-23
不過你這樣弄起來好便宜
Dora avatarDora2020-01-27
若RAM不用ECC會更便宜
Genevieve avatarGenevieve2020-01-27
折騰花了很多時間,換成時薪頭夠買Intel了
Queena avatarQueena2020-01-28
真便宜 單一使用者沒ACS應該還好
Eden avatarEden2020-01-31
ACS是打在kernel上吧,好懷念啊…
Hedwig avatarHedwig2020-02-05
以前用消費級的pc也有解過這個問題