Zen2 架構分析 by Anandtech - 3C
By Michael
at 2019-06-13T11:08
at 2019-06-13T11:08
Table of Contents
原文:https://www.anandtech.com/show/14525/
簡體中文翻譯:https://reurl.cc/Mm3aX (部分名詞有改成台灣習慣用法)
--
一年多來,我們一直惦念著AMD的下一代處理器產品。新的chiplet設計被認為是在驅動性
能和可擴展性方面的重大突破,特別是在越來越小的製程節點上製造高頻大晶片變得越來
越困難的情況下。AMD預計將通過Ryzen和EPYC在其處理器系列中部署其chiplet範式,這
些chiplet每個都有8個下一代Zen 2核心。今天,AMD更詳細地介紹了Zen 2核心,為公司
上週在Computex上展示的比上一代產品提高15%的時鐘性能提供了理由。
- AMD的Zen 2產品組合
目前AMD宣布擁有Zen 2核心的產品包括Ryzen第三代消費級CPU,即Ryzen 3000系列,以及
AMD下一代企業EPYC處理器,即Rome。到目前為止,AMD已經公佈了6款消費級Ryzen 3000
處理器的詳細信息,包括核心數量、頻率、內存支持和電源。關於服務器處理器的細節,
除了一些峰值之外,預計將在未來幾個月的適當時候公佈。
與第一代Zen相比,Zen 2的設計範式已經發生了顯著的變化。新平台和核心實現是圍繞台
積電7nm製程的小型8核chiplet設計的,尺寸約74~80mm2 。在這些chiplet上有兩組四核
組成的“核心複合體” (CCX) ,其中包含這4個核心和一組L3快取——Zen 2的L3快取是
Zen 1的兩倍。
每個完整的CPU,無論它有多少chiplet,都通過Infinity Fabric鏈路與中央IO晶片配對
。IO晶片充當所有片外通信的中心樞紐,因為它包含處理器的所有PCIe通道、內存通道,
以及與其他chiplet和其他CPU之間的Infinity Fabric鏈路。EPYC Rome處理器的IO晶片基
於台積電的14nm製程製造,而消費類處理器IO晶片 (體積更小,功能更少) 則基於
GlobalFoundries的12nm製程製造。
這款名為“Matisse” (或稱Ryzen 3rd Gen、Ryzen 3000系列) 的消費級處理器擁有最多
兩個chiplet,16個內核。AMD將在7月7日推出6個版本的Matisse,從6核到16核不等。6核
處理器和8核處理器有一個chiplet,8核以上的處理器有兩個chiplet,但在所有情況下IO
晶片都是相同的。這意味著每個基於Zen 2的Ryzen 3000處理器都可以訪問24個PCIe 4.0
通道和雙通道內存。根據今天的公告,Ryzen 5 3600的價格將從199美元到16核的700美元
以上 (我們正在等待這個價格的最終確認) 。
基於Zen 2 chiplet構建的EPYC Rome處理器擁有多達8個處理器,使一個平台可以支持多
達64個核心。與消費級處理器一樣,chiplet不可以直接相互通信——每個chiplet只能直
接連接到中央IO晶片。IO晶片包含8個內存通道的鏈路,以及多達128個PCIe 4.0連接通道
。
- AMD的路線圖
在討論新產品線之前,有必要回顧一下我們目前在AMD的計劃路線圖中所處的位置。
AMD之前的路線圖展示了從Zen到Zen 2、Zen 3的轉變,AMD解釋說,這個結構已有多年,
2017年發布Zen,2019年發布Zen 2,2021年發布Zen 3。節奏並不完全是一年一代,因為
這依賴於AMD的設計和製造能力,以及與代工廠合作夥伴的協議和當前的市場力量。
AMD曾表示,Zen 2的計劃始終是在7nm製程上推出,最終使用台積電的7nm製程 (Global
Foundries未能及時準備好7nm製程,並最終放棄了這一計劃) 。下一代Zen 3預計將與更
新的7nm製程保持一致,目前AMD尚未對潛在的“Zen 2+”設計發表任何評論,儘管目前我
們並不期望看到它。
除了Zen 3之外,AMD已經聲明Zen 4和Zen 5目前正處於各自設計的不同階段,但是AMD沒
有承諾特定的時間框架或製程節點技術。AMD過去曾表示,這些平台和處理器設計的範式
都是提前3~5年制定的,公司必須在每一代產品上都下大賭注,以確保自己能夠保持競爭
力。
為了深入了解Zen 4,在Computex上,AMD嵌入式和半訂製組的高級副總裁Forrest Norrod
在採訪中向AnandTech獨家透露了AMD Zen 4 EPYC處理器的代號:Genoa。
Forrest解釋說,Zen 5的代號遵循類似的模式,但他不願對Zen 4產品的時間框架發表評
論。鑑於Zen 3的設計預計將在2020年年中推出,如果AMD遵循這一節奏,那麼Zen 4將在
2021年末/2022年初推出。目前還不清楚它將如何進入AMD的消費級路線圖計劃,它將取決
於AMD如何接近其晶片範式和未來對封裝技術的調整,以實現進一步的性能改進。
《Zen 2的性能聲明》
在Computex上,AMD宣布他們已經設計出了Zen 2,當比較相同頻率的Zen 2和Zen+時,
Zen 2可以提供比Zen+平台高15%的原始性能。與此同時,AMD還聲稱,在相同的功率下,
Zen 2可以提供1.25倍以上的性能增益,或在同樣的性能下只有一半的功耗。結合這一點
,就特定基準而言,AMD聲稱其每瓦性能比其上一代產品高75%,比競爭對手高45%。
這些數字我們目前無法核實,因為我們手頭沒有相關產品,當7月7日禁令解除時,我們會
確定基準測試結果。AMD確實花了大量的時間來研究Zen 2微架構的新變化,以及平台級別
的變化,以展示該產品與上一代產品相比是如何改進的。
還應該注意的是,在AMD最近的技術日期間,該公司多次表示,他們無意與主要競爭對手
在漸進式更新上反覆拉鋸,試圖打敗對方,這可能會導致技術停滯不前。AMD的高管們表
示,無論競爭對手是誰,AMD都將竭盡所能地挑戰每一代產品的性能極限。首席執行官
Lisa Su博士和首席技術官Mark Papermaster都表示,他們預計Zen 2產品組合推出的時間
表將與競爭激烈的英特爾10nm產品線交叉。儘管情況並非如此,AMD的高管們表示,他們
仍在按計劃推進他們的路線圖。
AMD在展示其即將推出的Matisse處理器的性能時,選擇的基準是Cinebench。Cinebench是
一種浮點基準測試,該公司在這方面一直做得很好,它傾向於檢測CPU FP性能以及快取性
能,儘管它通常不涉及很多內存子系統。
早在今年1月的CES 2019上,AMD就展示了一款未命名的8核Zen 2處理器,與英特爾的高端
8核處理器i9-9900K相比,二者在Cinebench R15上的系統得分大致相同,但AMD全系統的
耗電量約為英特爾的1/3或更少。在5月份的Computex上,AMD公佈了很多8核和12核的細節
,以及這些晶片在單執行緒和多執行緒Cinebench R20結果中的比較。
AMD表示,在比較不同內核數量時,它的新處理器在CPU基準測試方面提供了更好的單執行
緒性能、更好的多執行緒性能、更低的功耗和更低的價格。
談到遊戲,AMD在這方面相當樂觀。在1080p時,將Ryzen 7 2700X與Ryzen 7 3800X進行比
較,AMD希望幀速率每一代都能有11%~34%的增長。
在比較AMD和英特爾處理器時,AMD堅持對熱門遊戲進行1080p測試,再次比較核心數量和
價格類似的處理器。在幾乎所有的比較中,AMD的產品和英特爾的產品都不相上下,AMD有
的高些,有的低些,或平分秋色。以下以250美元產品為例進行比較:
此時,遊戲性能旨在展示頻率和IPC的改進,而不是展示PCIe 4.0帶來的好處。在頻率方
面,AMD表示,儘管7nm晶片尺寸縮小且通路電阻率較高,但與GlobalFoundries的14nm和
12nm相比,它們能夠從台積電7nm製程中獲得更高的頻率。
AMD還評論了新的L3快取設計,因為它從2MB/核心變成了4MB/核心。據AMD稱,L3快取翻了
一倍,使用獨立GPU進行遊戲時,1080p的性能提升了11%~21%。
Zen 2中有一些新指令可以幫助驗證這些數字。
《Windows優化》
對於使用Windows的非英特爾處理器而言,一個令人頭疼的關鍵問題是操作系統中的優化
和調度程序安排。我們在過去已經看到Windows對非英特爾微架構佈局是多麼地不友好,
例如AMD以前在Bulldozer中的模塊設計、高通在Snapdraon上使用的混合CPU策略,以及最
近在Threadripper上進行的多晶片安排,以便將不同的內存延遲域引入消費級計算。
顯然,AMD與微軟有密切的關係,當涉及到識別處理器的非常規核心拓撲時,這兩家公司
致力於確保執行緒和內存分配,沒有程序驅動的方向,試圖最大限度地利用系統。隨著5
月10日Windows的更新,一些額外的功能已經到位,以充分利用即將到來的Zen 2微架構和
Ryzen 3000晶片佈局。
優化有兩方面,這兩方面都很容易解釋。
- 執行緒分組
第一個是執行緒分配。當處理器具有不同的CPU核心“組”時,分配執行緒的方式也就不
同,所有這些方法都有各自的優缺點。執行緒分配的兩個極端歸結為執行緒分組和執行緒
擴展。
執行緒分組是當新執行緒生成時,它們將被直接分配到已經擁有執行緒的內核旁邊的內核
上。這使執行緒緊密結合在一起,用於執行緒到執行緒的通信,但是它可以創建高功率密
度的區域,特別是當處理器上有多個內核但只有幾個處於活動狀態的時候。
執行緒擴展是指內核彼此放置得盡可能遠。這意味著第二個執行緒盡可能遠地在不同的
chiplet或不同的核心複合體 (CCX) 上產生。這允許CPU通過沒有高功率密度的區域來保
持高性能,通常在多個執行緒上提供最佳的turbo性能。
執行緒擴展的危險在於,當一個程序生成兩個執行緒,而這兩個執行緒最終位於CPU的不
同位置的時候。在Threadrapper中,這甚至可能意味著第二個執行緒位於CPU的一個具有
較長內存延遲的部分,從而導致兩個執行緒之間的潛在性能不平衡,即便這些執行緒所在
的內核處於較高的turbo頻率。
由於現代軟體 (特別是電子遊戲) 正在產生多執行緒而不是依賴單個執行緒,並且這些執
行緒需要相互通信,AMD正在從混合執行緒擴展技術轉向執行緒分組技術。這意味著在訪
問另一個CCX之前,一個CCX將被執行緒填滿。AMD認為,儘管一個chiplet中具有高功率密
度的潛力,而另一個可能處於非活動狀態,但對於整體性能而言,這仍然是值得的。
對於Matisse而言,這應該可以為有限的執行緒場景提供一個很好的改進。看看這對即將
到來的EPYC Rome CPU或未來的Threadripper設計有多大影響將會很有趣。AMD在其解釋中
提供的單一基準是1080p Low的《火箭聯盟》,報告稱幀速率增加了15%。
- 時鐘提升
對於熟悉Skylake微架構的用戶來說,你可能還記得英特爾推出了一項名為Speed Shift的
新功能,使處理器能夠更自由地在不同P狀態之間進行調整,以及非常快速地從空閒調整
到負載——Skylake的第一個版本從100毫秒到40毫秒,然後Kaby Lake下降到15毫秒。它
通過將P狀態控制從操作系統返回給處理器來實現這一點,處理器根據指令吞吐量和請求
做出反應。在Zen 2中,AMD現在實現了相同的功能。
相比於英特爾,AMD在頻率調整方面已經具有足夠的粒度,允許25MHz而不是100MHz的差異
,但是,當涉及非常突發驅動的工作負載 (burst-driven workload) 時,能夠實現更快
的ramp- to-load頻率跳變將給AMD帶來幫助,例如WebXPRT (英特爾最喜歡這種演示) 。
根據AMD的說法,使用Zen 2實現這一功能的方式將需要BIOS更新以及Windows 5月10日的
更新,但是它將把Zen的頻率提升時間從30毫秒降低到Zen 2的1~2毫秒。值得注意的是,
這比英特爾給出的數字要快得多。
AMD實現的技術名稱涉及CPPC2,即Collaborative Power Performance Control 2,AMD的
指標表明這會增加突發工作負載和應用程序負載。AMD表示,使用PCMark10的應用程序啟
動子測試,應用程序的啟動時間性能提升了6%。
- 增強了Zen 2的安全性
Zen 2的另一個方面是AMD用來提高現代處理器安全性要求的方法。正如已經報導過的,最
近一系列的側通道攻擊並沒有影響AMD處理器,這主要是因為AMD管理其TLB緩衝區的方式
,這些緩衝區在大部分成為問題之前總是需要額外的安全檢查。儘管如此,對於AMD易受
攻擊的問題,它已經為這些問題實現了一個完全基於硬件的安全平台。
這裡的變化來自Speculative Store Bypass,稱為Spectre v4,AMD現在有額外的硬件與
操作系統或虛擬內存管理器 (如hypervisor) 協同工作,以便進行控制。AMD預計這些更
新不會帶來任何性能變化。諸如Foreshadow和Zombieload等新問題不會影響AMD處理器。
《指令》
- 快取和記憶體頻寬QoS控制
與大多數新的x86微架構一樣,存在通過新指令提高性能的動力,但也會嘗試在支持哪些
指令方面實現不同供應商之間的對等。對於Zen 2,雖然AMD沒有像英特爾那樣迎合一些更
古怪的指令集,但它在三個不同的領域增加了新的指令。
第一個是CLWB,以前已經在英特爾處理器上看到過它與非易失性內存有關。此指令允許程
序將數據推回到非易失性內存中,以防系統收到停機命令造成數據丟失。儘管AMD沒有明
確說明,但還有其他與保護數據到非易失性內存系統相關的指令。這可能表明AMD正在尋
求在未來的設計中更好地支持非易失性內存的硬件和結構,特別是在EPYC處理器中。
第二個快取指令WBNOINVD是一個僅限AMD的命令,但它基於其他類似的命令,如WBINVD。
此命令用於預測將來可能需要快取的特定部分,並清除它們,以便加速將來的計算。如果
所需的快取行未準備就緒,則會在所需操作之前處理刷新命令,從而增加延遲——當延遲
關鍵型指令仍沿流水線中傳遞時提前運行快取行刷新,有助於加速其最終執行。
在QoS下歸檔的最後一組指令實際上與如何分配快取和內存優先級有關。
當針對不同客戶將雲CPU拆分為不同的容器 (container) 或虛擬機 (VM) 時,性能級別並
不總是一致的,因為性能可能會根據另一個虛擬機在系統上執行的操作而受到限制。這就
是所謂的“嘈雜鄰居”問題:如果其他人正在佔用所有核心到內存的頻寬 (即L3快取) ,
那麼系統上的另一個VM就很難訪問它所需的內容。由於這個嘈雜的鄰居,其他VM在處理其
工作負載時的延遲將是高度可變的。或者,如果一個任務關鍵型VM在系統上,而另一個VM
一直在請求資源,那麼任務關鍵型VM可能會錯過它的目標,因為它沒有訪問所需的所有資
源。
除了確保單個用戶可以完全訪問硬件之外,處理嘈雜的鄰居很困難。大多數雲提供商和操
作甚至不會告訴你是否有鄰居,在實時VM遷移的情況下,這些鄰居可能會非常頻繁地更改
,因此不能保證在任何時候都有持續的性能。這就需要一組專用的QoS (服務質量) 指令
。
與英特爾的實現一樣,當一系列虛擬機分配到虛擬機管理程序之上的系統上時,虛擬機管
理程序可以控制每個虛擬機有多少記憶體頻寬和快取。如果任務關鍵型8核虛擬機需要訪
問64MB的L3和至少30GB/s的記憶體頻寬,則虛擬機監控程序可以控制優先級虛擬機始終有
權訪問該數量,並將其從其他虛擬機的池中完全刪除,或者在任務關鍵型虛擬機突然進入
完全訪問時智能地限制其要求。
英特爾只在其Xeon可擴展處理器上實現了這一功能,但AMD將為消費級和企業用戶在Zen 2
處理器系列中實現這一功能。
我在這個功能上遇到的最直接的問題是在消費級方面。想像一下,如果一個電子遊戲需要
訪問所有的快取和所有的記憶體頻寬,而一些流媒體軟體卻不能訪問——這可能會對系統
造成嚴重的破壞。AMD解釋說,雖然從技術上講,單個程序可以請求一定級別的QoS,但是
,這些請求是否有效和合適將取決於操作系統或虛擬機監控程序。他們將此功能更多地視
為發揮虛擬機監控程序作用時使用的一種企業功能,而不是消費級系統上的裸機安裝。
- CCX尺寸
向下移動節點大小會在核心內外帶來許多挑戰。即使不考慮功率和頻率,將結構放入晶片
,然後將晶片集成到封裝中,以及通過正確的連接為晶片的正確部分提供電力本身也成為
一種練習。AMD讓我們深入了解7nm如何改變其部分設計,以及其中的封裝挑戰。
AMD放棄的一個關鍵指標與核心複合體 (CCX) 有關:4個核心,相關的核心結構,然後是
L2和L3快取。AMD稱,在12 nm和ZEN+核心的情況下,單個核心複合體為60mm2 ,其中核心
佔44mm2 ,8MB的L3佔16mm2 。把其中兩個60mm2 的複合體加上兩個帶內存控制器、PCIe
通道、4個IF鏈路和其他IO,Zen+ Zeppelin裸片總共是213mm2 。
對於Zen 2,單個chiplet是74mm2 ,其中31.3mm2 是核心複合體,有16 MB的L3。AMD沒有
將這31.3個數字拆分為核心和L3,但是人們可以想像L3可能接近這個數字的50%。chiplet
如此小的原因是它不需要內存控制器,它只有一個IF鏈路,沒有IO,因為所有的平台要求
都在IO晶片上。這使得AMD可以使chiplet非常緊湊。然而,如果AMD打算繼續增加L3快取
,那麼L3快取可能會佔據晶片的大部分。
但總體而言,AMD已經表示CCX (核心加L3) 的尺寸減少了47%。這顯示了巨大的可擴展性
,特別是當+15%的原始指令吞吐量和增加的頻率開始發揮作用時。每mm2 的性能將是一個
非常令人興奮的指標。
- 封裝
由於Matisse使用AM4插槽,Rome使用EPYC插槽,AMD表示他們必須押寶封裝技術,以保持
兼容性。這些賭注中的一些最終總是為了持續的支持而進行權衡,但AMD相信,為了兼容
性值得付出額外的努力。
AMD談到的與封裝有關的關鍵問題之一是,每個裸片如何連接到封裝上。為了實現
pin-grid陣列台式機處理器,必須以BGA方式將晶片固定到處理器上。AMD表示,由於採用
了7nm製程,凸點間距 (裸片和封裝上的焊球之間的距離) 從12nm的150微米減少到7nm的
130微米。這聽起來並不多,但AMD表示,世界上只有兩家廠商擁有足夠的技術來做到這一
點。唯一的替代方案是使用更大的晶片來支持更大的凸點間距,最終導致晶片中出現大量
空閒 (或不同的設計範式) 。
為了實現更緊密的凸點間距,其中一種方法是調整在晶片下側處理凸點的方式。通常情況
下,封裝上的焊料凸點是一個無鉛焊料的團或球,依靠表面張力和回流的物理特性來確保
其一致且規則。然而,為了實現更緊密的凸點間距,AMD必須轉向銅柱焊料凸點拓撲。
為了實現這一特性,銅被外延沉積在掩模內,以便形成回流焊料所使用的“支架”。由於
焊柱的直徑,所需的掩模較少,從而產生較小的焊料半徑。由於其在Matisse內部的雙晶
片設計,AMD還遇到了另一個問題:如果IO晶片使用標準焊料凸點掩模,並且chiplet使用
銅柱,則集成散熱器需要有一定的高度一致性。對於較小的銅柱,這意味著管理銅柱的增
長水平。
- 佈線
除了將裸片放在有機襯底上之外,該襯底還必須管理裸片與裸片外部之間的連接。為了處
理額外的佈線,AMD必須將封裝中的襯底層增加到12層 (沒有透露在Rome需要多少層,也
許14層) 。對於單核chiplet和雙核chiplet處理器而言,這也變得有些複雜,特別是在將
裸片放進封裝之前對其進行測試時。
從圖中我們可以清楚地看到從兩個chiplet到IO晶片的IF鏈路,IO晶片也處理內存控制器
以及貌似電源平面的任務。chiplet之間沒有封裝內鏈接:chiplet無法直接通信,
chiplet之間的所有通信都是通過IO晶片處理的。
AMD表示,採用這種佈局,他們還必須注意處理器如何放置在系統中,以及冷卻和內存佈
局。此外,當涉及到更快的內存支持或PCIe 4.0更嚴格的容差時,所有這些也需要被考慮
,以便在不受其他佈線干擾的情況下為信號傳導提供最佳路徑。
《AMD Zen 2微架構概述》
- 快速分析
在AMD的技術日,在場的是同事兼首席架構師Mike Clark,他經歷了這些變化。Mike是一
個很好的工程師,儘管總是讓我感到有趣的是,談論最新產品上市的工程師們已經在公司
工作了一代、兩代或三代 (對於任何公司都是這樣,不僅僅是AMD) 。Mike說,他花了一
段時間來回想Zen+到Zen 2的具體變化,而他的腦海中已經經歷了幾代產品的變化。
Zen 2的一個有趣元素是圍繞其意圖。最初Zen 2僅僅是Zen+的縮小版,從12nm縮小到7nm
,類似於我們在本世紀初看到的英特爾的tick-tock模型。然而,AMD根據內部分析和7nm
的時間框架,決定使用ZEN 2作為性能更好的平台,以多種方式利用7nm,而不是僅僅在一
個新的製程節點上重新設計相同的佈局。作為調整的結果,AMD正在推動Zen 2的IPC比
Zen+提升15%。
當談到微架構的確切變化時,我們基本上看到的仍然是類似於Zen外觀的佈局規劃。Zen 2
是Zen系列的一員,在處理x86方面並不是完全的重新設計或不同的範例——與其他具有家
族更新的架構一樣,Zen 2提供了更有效的核心和更廣泛的核心,允許更好的指令吞吐量
。
從較高的層面來看,核心看起來非常相似。Zen 2設計的亮點包括不同的L2分支預測器,
稱為TAGE預測器,micro-op快取加倍,L3快取加倍,整數資源增加,加載/存儲資源增加
,以及對單操作AVX-256 (或AVX2) 的支持。AMD表示,基於其能量感知頻率平台,AVX2沒
有頻率損失。
AMD還對快取系統進行了調整,其中最引人注目的是L1指令快取,它被減半到32kb,但關
聯性增加了一倍。進行這種更改是出於重要的原因,我們將在下一頁中對此進行討論。L1
數據快取和L2快取保持不變,但是事務後備緩衝區 (TLB) 增加了支持。AMD還表示,它已
經在安全方面增加了更深層次的虛擬化支持,有助於實現流水線後續的功能。正如本文前
面提到的,還有安全性強化更新。
對於快速分析,可以很容易地看出,在許多情況下,加倍micro-op快取將為IPC帶來顯著
的改進,而把它與負載/存儲資源的增加相結合,會有助於通過更多的指令。加倍L3快取
有助於特定工作負載,支持AVX2單操作也是如此,但改進的分支預測程序也將展示原始性
能提升。總而言之,從紙面分析來看,AMD 15%的IPC改進似乎是一個非常合理的數字。
在接下來的幾頁中,我們將深入探討微架構的變化。
- 提取/預提取
我們從處理器的前端開始,預取器。
AMD在這裡宣傳的主要改進是使用TAGE預測器,儘管它只用於非l1提取。這聽起來可能並
不足道:AMD仍然使用哈希感知器預取引擎為L1提取,這將會盡可能多的提取,但TAGE L2
分支預測器使用額外的標記來實現更長的分支歷史,以獲得更好的預測路徑。這對於L2預
取及以後的預取變得更加重要,哈希感知器優先用於基於功率的L1中的短預取。
在前端,我們還有更大的BTB,以幫助跟踪指令分支和快取請求。L1 BTB的大小增加了一
倍,從256個條目增加到512個條目,L2幾乎增加了一倍,從4K增加到7K。L0 BTB保持在16
個條目,但間接目標陣列最多可達1K個條目。總體而言,AMD的這些變化讓誤預測率降低
了30%,從而節省了電力。
另一個主要變化是L1指令快取。我們注意到它對於Zen 2來說更小:只有32KB而非64KB,
但是關聯性增加了一倍,從4路增加到8路。考慮到高速快取的工作方式,這兩種影響最終
不會互相抵消,但是32KB L1-I快取應該更節能,並且有更高的利用率。L1-I快取並不是
孤立地減少的——減少I快取大小的好處之一是允許AMD將micro-op快取的大小增加一倍。
這兩個結構在核心內部彼此相鄰,因此即使在7nm,我們也有空間限制的實例,導致核心
內部結構之間的權衡。AMD表示,這種較小的L1與較大的micro-op快取的配置,在更多的
測試場景中表現更好。
《解碼》
對於解碼階段,這裡的主要提升是micro-op快取。通過把2K條目加倍到4K條目,它將比以
前包含更多的解碼操作,這意味著它將經歷大量的重用。為了便於使用,AMD提高了從
micro-op快取到緩衝區的調度速度,最多8條融合指令。假設AMD可以經常繞過它的解碼器
,這應該是一個非常有效的區塊。
4K條目更令人印象深刻的是當我們將它與競爭對手進行比較的時候。在英特爾的Skylake
系列中,這些內核中的micro-op快取只有1.5K條目。英特爾將Ice Lake的規模增加了50%
,達到了2.25K,這個核心將在今年晚些時候進入移動平台,明年可能進入服務器。相比
之下,AMD的Zen 2核心將涵蓋從消費級到企業的所有領域。同時,我們也可以將其與Arm
A77 CPU的micro-op快取進行比較,該快取為1.5K條目,然而,它是Arm為核心設計的第一
個micro-op快取。
Zen 2中的解碼器保持不變,我們仍然可以訪問4個複雜解碼器 (Intel是1個複雜解碼器+4
個簡單解碼器) ,解碼指令被快取到micro-op快取中,並被分派到micro-op隊列中。
AMD還表示,它已經改進了其micro-op融合算法,但沒有詳細說明這將如何影響性能。目
前的micro-op融合轉換已經相當好,所以看看AMD在這裡做了什麼將會很有趣。與ZEN和
ZEN+相比,基於對AVX2的支持,這意味著解碼器不需要將AVX2指令分解為兩個micro-op:
AVX2現在是通過流水線的單個micro-op。
除了解碼器之外,micro-op隊列和調度可以在每個週期向調度器饋送6個micro-op。但是
,這有點不平衡,因為AMD有獨立的整數和浮點調度器:整數調度器每週期可以接受6個
micro-op,而浮點調度器只能接受4個micro-op。然而,調度可以同時向兩者發送
micro-op。
《浮點》
浮點性能的關鍵亮點是完全支持AVX2。AMD已經將執行單元的寬度從128位增加到256位,
允許單週期AVX2計算,而不是將計算分成兩個指令和兩個週期。這是通過提供256位負載
和存儲來增強的,因此FMA單元可以連續饋送。AMD指出,由於其能量感知調度,在使用
AVX2指令時沒有預定義的頻率下降 (但是頻率可能會根據溫度和電壓要求而降低,但無論
使用何種指令,這都是自動的) 。
在浮點單元中,隊列每個週期最多接受來自調度單元的4個micro-op,這些micro-op饋入
一個包含160個條目的物理寄存器文件。這將移動到4個執行單元,可以在加載和存儲機制
中向這些單元提供256b的數據。
除了尺寸加倍之外,FMA還進行了其他調整。AMD表示,他們提高了內存分配、重複物理計
算,以及某些音頻處理技術的原始性能。
另一個關鍵更新是將FP乘法延遲從4個週期減少到3個週期。這是相當顯著的進步。AMD表
示,公司對很多細節保密,因為公司想在8月的Hot Chips上展示。我們將在7月7日進行全
面的指令分析。
《整數單元、加載和存儲》
整數單元調度器每個週期最多可以接受6個micro-op,這些micro-op將饋送到224個條目的
重新排序緩衝區 (以前是192個) 。整數單元在技術上有7個執行端口,由4個ALU (算術邏
輯單元) 和3個AGU (地址生成單元) 組成。
調度程序由4個16條目的ALU隊列和1個28條目的AGU隊列組成,儘管AGU單元每個週期可以
向寄存器文件饋送3個micro-op。基於AMD對通用軟體中指令分佈的模擬,AGU隊列的大小
有所增加。這些隊列饋送180個條目的通用寄存器文件 (原先是168個) ,但也跟踪特定的
ALU操作,以防止潛在的停機操作。
三個AGU饋送到加載/存儲單元,加載/存儲單元每個週期可以支持兩個256位的讀取和一個
256位的寫入。從上圖可以看出,並非所有三個AGU都相同:AGU2只能管理存儲,而AGU0和
AGU1可以同時進行加載和存儲。
存儲隊列從44個條目增加到48個條目,數據快取的TLB也增加了。不過,這裡的關鍵指標
是加載/存儲頻寬,因為核心現在每個時鐘可以支持32個字節,而非原來的16個字節。
《快取和Infinity Fabric》
快取中最大的變化就是L1指令快取,它從64KB減少到了32KB,但是結合度從4路增加到了8
路。這一變化使AMD能夠將micro-op快取的大小從2K條目增加到4K條目,AMD認為這可以更
好地平衡現代工作負載的發展。
L1-D快取仍然是8路32KB ,而L2快取仍為8路512KB。L3快取是非包容性快取 (L2是包容性
快取) ,現在它的大小已經增加了一倍,達到16MB/核心複合體 (原先是8MB) 。AMD管理
L3的方式是每個CCX共享一個16MB的區塊,而不是允許從任何核心訪問L3。
由於L3的大小增加,延遲略有增加。L1仍然是4週期,L2仍然是12週期,但是L3已經從35
週期增加到了40週期 (這是大快取的一個特性,它們的延遲會稍微長一些;這是一個有趣
的權衡) 。AMD已經聲明它已經增加了處理L1和L2丟失的隊列的大小,儘管尚未詳細說明
它們現在有多大。
- Infinity Fabric
隨著Zen 2的推出,我們也轉向了第二代Infinity Fabric。IF2的主要更新之一是支持
PCIe 4.0,因此匯流排寬度從256位增加到512位。
據AMD稱,IF2的整體效率提高了27%,導致每比特的功耗更低。隨著EPYC中的IF鏈路越來
越多,這將變得非常重要,因為數據從chiplet傳輸到IO晶片。
IF2的一個特點是時鐘已經從DRAM主時鐘中分離出來。在Zen和Zen+中,IF頻率與DRAM頻率
耦合,這導致了一些有趣的場景,在這些場景中,內存可以運行得更快,但IF中的限制意
味著它們都受到時鐘鎖步特性的限制。對於Zen 2,AMD已經為IF2引入了比率,支持1:1的
正常比率或2:1的比率,可以將IF2時鐘減半。
這個比率應該在DDR4-3600或DDR4-3800附近自動發揮作用,但這確實意味著IF2時鐘減少
了一半,這對頻寬有衝擊效應。應該注意的是,即使DRAM頻率很高,如果IF頻率較慢,則
可能會限制從該較快內存獲得的原始性能增益。AMD建議在DDR4-3600附近保持1:1的比例
,而是在該速度優化sub-timing。
《結論:平台、SoC、核心》
構建像Zen 2這樣的核心需要的不僅僅是構建核心。核心、SoC設計和平台之間的相互作用
要求不同的內部團隊聯合起來,創造出單獨工作所缺乏的協同水平。AMD在chiplet設計和
Zen 2方面所做的工作表現出了巨大的希望,不僅可以利用更小的製程節點,還可以為計算的未來開闢一條道路。
當進入更先進的製程節點時,主要優點是功耗更低。這可以通過以下幾種方式來實現:在
相同的性能下降低運行的功率,或者使用更多的功率預算來做更多的事情。隨著時間的推
移,我們在核心設計中看到了這一點:隨著更多的功率預算被開啟,以及內核中的不同單
元變得更高效,額外的功率被更廣泛地用來驅動內核,希望能提高原始指令速率。這不是
一個容易解決的問題,因為存在許多權衡因素:Zen 2核心中的一個例子就是L1 I快取的
減少使得AMD的micro-op快取增加了一倍,AMD希望這樣能提高性能和功耗。對這些工程師
來說,實施至少在高層次上可行的方案就像玩樂高一樣。
儘管如此,Zen 2看起來很像Zen。它屬於同一個系列,這意味著它看起來非常相似。AMD
在這個平台上所做的一切,啟用PCIe 4.0,並使服務器處理器擺脫類似NUMA的環境,都將
有助於AMD的長遠發展。AMD良好的前景取決於它可以驅動的服務器部件的頻率有多高,但
Zen 2+ Rome將會著力解決Zen的客戶提出的大量問題。
總之,AMD已經在Zen 2和Zen+的基礎上提高了15%的核心性能。隨著核心的變化,在高層
次上看肯定是可行的。專注於性能的用戶會喜歡新的16核Ryzen 9 3950X,而處理器在
105W時看起來效率很高,因此看看它在低功耗下會發生什麼會很有趣。我們也期待在接下
來的幾個月內Rome推出非常強大的產品,特別是像雙倍FP性能和QoS這樣的特性,64核的
原始多執行緒性能將成為市場的一個有趣的破壞者,特別是價格有效的話。我們很快就會
拿到硬件,在7月7日處理器發佈時展示我們的發現。
--
Tags:
3C
All Comments
By Bennie
at 2019-06-17T21:05
at 2019-06-17T21:05
By Bennie
at 2019-06-21T20:14
at 2019-06-21T20:14
By Elma
at 2019-06-23T22:59
at 2019-06-23T22:59
By Skylar Davis
at 2019-06-24T23:19
at 2019-06-24T23:19
By Emma
at 2019-06-28T22:15
at 2019-06-28T22:15
By Elma
at 2019-07-03T06:48
at 2019-07-03T06:48
By Joe
at 2019-07-07T15:23
at 2019-07-07T15:23
By Emma
at 2019-07-10T02:13
at 2019-07-10T02:13
By Ida
at 2019-07-13T01:53
at 2019-07-13T01:53
By Annie
at 2019-07-16T22:16
at 2019-07-16T22:16
By Anthony
at 2019-07-17T19:59
at 2019-07-17T19:59
By Brianna
at 2019-07-22T00:14
at 2019-07-22T00:14
By Donna
at 2019-07-23T10:44
at 2019-07-23T10:44
By Hedy
at 2019-07-25T15:37
at 2019-07-25T15:37
By Connor
at 2019-07-26T08:36
at 2019-07-26T08:36
By David
at 2019-07-27T02:59
at 2019-07-27T02:59
By Jacob
at 2019-07-30T22:05
at 2019-07-30T22:05
By Agnes
at 2019-08-01T17:54
at 2019-08-01T17:54
By Lily
at 2019-08-02T00:01
at 2019-08-02T00:01
By Agnes
at 2019-08-06T04:51
at 2019-08-06T04:51
By Xanthe
at 2019-08-07T05:24
at 2019-08-07T05:24
By Selena
at 2019-08-09T04:34
at 2019-08-09T04:34
By Hamiltion
at 2019-08-13T02:58
at 2019-08-13T02:58
By Audriana
at 2019-08-17T22:59
at 2019-08-17T22:59
By Christine
at 2019-08-20T01:09
at 2019-08-20T01:09
By Kelly
at 2019-08-21T23:06
at 2019-08-21T23:06
By Kumar
at 2019-08-25T20:50
at 2019-08-25T20:50
By Ingrid
at 2019-08-27T19:32
at 2019-08-27T19:32
By Ula
at 2019-08-30T22:44
at 2019-08-30T22:44
By Eartha
at 2019-09-01T14:13
at 2019-09-01T14:13
By Hedda
at 2019-09-06T09:06
at 2019-09-06T09:06
By Erin
at 2019-09-11T07:50
at 2019-09-11T07:50
By Quintina
at 2019-09-13T12:22
at 2019-09-13T12:22
By Wallis
at 2019-09-15T21:33
at 2019-09-15T21:33
By Susan
at 2019-09-17T17:37
at 2019-09-17T17:37
By Sandy
at 2019-09-18T10:04
at 2019-09-18T10:04
By Suhail Hany
at 2019-09-19T00:12
at 2019-09-19T00:12
By Jessica
at 2019-09-20T20:37
at 2019-09-20T20:37
By Steve
at 2019-09-23T04:35
at 2019-09-23T04:35
By Susan
at 2019-09-27T07:06
at 2019-09-27T07:06
By Tracy
at 2019-09-29T05:14
at 2019-09-29T05:14
By Lily
at 2019-10-02T17:43
at 2019-10-02T17:43
By Skylar DavisLinda
at 2019-10-03T20:08
at 2019-10-03T20:08
By Irma
at 2019-10-04T10:10
at 2019-10-04T10:10
By Yedda
at 2019-10-06T07:44
at 2019-10-06T07:44
By Genevieve
at 2019-10-11T01:03
at 2019-10-11T01:03
By Oscar
at 2019-10-14T12:10
at 2019-10-14T12:10
By Genevieve
at 2019-10-18T23:21
at 2019-10-18T23:21
By Elvira
at 2019-10-21T18:39
at 2019-10-21T18:39
By George
at 2019-10-25T18:35
at 2019-10-25T18:35
By Daniel
at 2019-10-27T20:57
at 2019-10-27T20:57
By Odelette
at 2019-11-01T20:46
at 2019-11-01T20:46
By Edith
at 2019-11-06T16:08
at 2019-11-06T16:08
By Necoo
at 2019-11-09T14:00
at 2019-11-09T14:00
By Annie
at 2019-11-12T17:02
at 2019-11-12T17:02
By Heather
at 2019-11-14T09:12
at 2019-11-14T09:12
By Erin
at 2019-11-16T02:19
at 2019-11-16T02:19
By Anonymous
at 2019-11-16T05:16
at 2019-11-16T05:16
By Sarah
at 2019-11-20T00:20
at 2019-11-20T00:20
By Skylar Davis
at 2019-11-20T17:21
at 2019-11-20T17:21
By Sarah
at 2019-11-24T05:01
at 2019-11-24T05:01
By William
at 2019-11-24T09:20
at 2019-11-24T09:20
By Madame
at 2019-11-27T15:45
at 2019-11-27T15:45
By Callum
at 2019-12-01T03:56
at 2019-12-01T03:56
By Hamiltion
at 2019-12-04T14:39
at 2019-12-04T14:39
By Edwina
at 2019-12-07T08:35
at 2019-12-07T08:35
By Poppy
at 2019-12-08T21:14
at 2019-12-08T21:14
By Zenobia
at 2019-12-11T06:53
at 2019-12-11T06:53
By Olga
at 2019-12-15T10:57
at 2019-12-15T10:57
By Kelly
at 2019-12-18T18:33
at 2019-12-18T18:33
By Christine
at 2019-12-21T06:44
at 2019-12-21T06:44
By Bennie
at 2019-12-22T19:55
at 2019-12-22T19:55
By Selena
at 2019-12-25T00:03
at 2019-12-25T00:03
By Faithe
at 2019-12-26T10:59
at 2019-12-26T10:59
By Aaliyah
at 2019-12-28T17:17
at 2019-12-28T17:17
By Wallis
at 2019-12-30T10:46
at 2019-12-30T10:46
By Sarah
at 2020-01-03T11:46
at 2020-01-03T11:46
By Valerie
at 2020-01-04T21:46
at 2020-01-04T21:46
By Andy
at 2020-01-07T21:38
at 2020-01-07T21:38
By Dorothy
at 2020-01-10T10:22
at 2020-01-10T10:22
By Dinah
at 2020-01-11T00:56
at 2020-01-11T00:56
By Caroline
at 2020-01-11T12:28
at 2020-01-11T12:28
By Jessica
at 2020-01-15T17:36
at 2020-01-15T17:36
By Andy
at 2020-01-16T03:58
at 2020-01-16T03:58
By Damian
at 2020-01-17T00:52
at 2020-01-17T00:52
By Annie
at 2020-01-19T14:27
at 2020-01-19T14:27
By William
at 2020-01-22T20:24
at 2020-01-22T20:24
By Daph Bay
at 2020-01-23T08:54
at 2020-01-23T08:54
By Emily
at 2020-01-27T04:28
at 2020-01-27T04:28
By Mary
at 2020-01-29T02:52
at 2020-01-29T02:52
By Blanche
at 2020-01-30T08:13
at 2020-01-30T08:13
By Adele
at 2020-01-31T04:34
at 2020-01-31T04:34
By Edward Lewis
at 2020-02-02T01:41
at 2020-02-02T01:41
By Brianna
at 2020-02-05T22:14
at 2020-02-05T22:14
By Tom
at 2020-02-07T22:38
at 2020-02-07T22:38
By Joseph
at 2020-02-11T06:41
at 2020-02-11T06:41
By Michael
at 2020-02-13T10:50
at 2020-02-13T10:50
By Jacky
at 2020-02-15T02:39
at 2020-02-15T02:39
By Regina
at 2020-02-15T14:57
at 2020-02-15T14:57
By Sarah
at 2020-02-19T15:53
at 2020-02-19T15:53
By Megan
at 2020-02-23T08:05
at 2020-02-23T08:05
By Anthony
at 2020-02-27T19:12
at 2020-02-27T19:12
By Sarah
at 2020-03-02T09:47
at 2020-03-02T09:47
By Margaret
at 2020-03-06T04:48
at 2020-03-06T04:48
By Olga
at 2020-03-08T19:19
at 2020-03-08T19:19
By Puput
at 2020-03-13T00:49
at 2020-03-13T00:49
By William
at 2020-03-14T05:46
at 2020-03-14T05:46
By Bethany
at 2020-03-17T13:33
at 2020-03-17T13:33
By Jacky
at 2020-03-21T17:13
at 2020-03-21T17:13
By Vanessa
at 2020-03-22T09:45
at 2020-03-22T09:45
By Daph Bay
at 2020-03-22T20:06
at 2020-03-22T20:06
By Lucy
at 2020-03-24T13:53
at 2020-03-24T13:53
By Kelly
at 2020-03-28T16:16
at 2020-03-28T16:16
By Anthony
at 2020-03-31T15:18
at 2020-03-31T15:18
By Donna
at 2020-04-05T06:37
at 2020-04-05T06:37
By Audriana
at 2020-04-08T22:09
at 2020-04-08T22:09
By Lydia
at 2020-04-11T17:43
at 2020-04-11T17:43
By Isabella
at 2020-04-12T11:40
at 2020-04-12T11:40
By Valerie
at 2020-04-14T09:11
at 2020-04-14T09:11
By Margaret
at 2020-04-17T19:34
at 2020-04-17T19:34
By Oliver
at 2020-04-18T08:52
at 2020-04-18T08:52
By Harry
at 2020-04-22T21:05
at 2020-04-22T21:05
By Margaret
at 2020-04-23T14:04
at 2020-04-23T14:04
By Caroline
at 2020-04-23T17:13
at 2020-04-23T17:13
By Irma
at 2020-04-27T22:48
at 2020-04-27T22:48
By Kristin
at 2020-04-29T05:28
at 2020-04-29T05:28
By Linda
at 2020-05-01T16:31
at 2020-05-01T16:31
By Gary
at 2020-05-03T00:36
at 2020-05-03T00:36
By Delia
at 2020-05-07T17:20
at 2020-05-07T17:20
By Annie
at 2020-05-08T22:50
at 2020-05-08T22:50
By Blanche
at 2020-05-11T09:55
at 2020-05-11T09:55
By Ida
at 2020-05-15T01:40
at 2020-05-15T01:40
By Annie
at 2020-05-16T15:01
at 2020-05-16T15:01
By Edwina
at 2020-05-21T05:59
at 2020-05-21T05:59
By Olive
at 2020-05-22T18:21
at 2020-05-22T18:21
By Blanche
at 2020-05-24T17:02
at 2020-05-24T17:02
By Catherine
at 2020-05-29T10:04
at 2020-05-29T10:04
By Tom
at 2020-06-02T06:35
at 2020-06-02T06:35
By Yedda
at 2020-06-06T09:54
at 2020-06-06T09:54
By Carol
at 2020-06-08T14:00
at 2020-06-08T14:00
By Jacky
at 2020-06-10T14:55
at 2020-06-10T14:55
By Brianna
at 2020-06-13T19:57
at 2020-06-13T19:57
By Necoo
at 2020-06-16T05:32
at 2020-06-16T05:32
By Ida
at 2020-06-17T06:00
at 2020-06-17T06:00
By Emily
at 2020-06-17T15:13
at 2020-06-17T15:13
By Megan
at 2020-06-20T21:33
at 2020-06-20T21:33
By Kama
at 2020-06-23T20:38
at 2020-06-23T20:38
By Madame
at 2020-06-28T18:19
at 2020-06-28T18:19
By Charlotte
at 2020-07-01T19:06
at 2020-07-01T19:06
By Eden
at 2020-07-05T11:49
at 2020-07-05T11:49
By Leila
at 2020-07-06T15:51
at 2020-07-06T15:51
By Jacky
at 2020-07-10T12:00
at 2020-07-10T12:00
By Belly
at 2020-07-14T01:14
at 2020-07-14T01:14
By Liam
at 2020-07-18T12:26
at 2020-07-18T12:26
By Iris
at 2020-07-20T09:18
at 2020-07-20T09:18
By Mason
at 2020-07-24T20:43
at 2020-07-24T20:43
By Bethany
at 2020-07-26T08:09
at 2020-07-26T08:09
By Carolina Franco
at 2020-07-28T04:13
at 2020-07-28T04:13
By Agatha
at 2020-07-30T07:02
at 2020-07-30T07:02
By John
at 2020-08-03T02:49
at 2020-08-03T02:49
By Frederica
at 2020-08-07T11:54
at 2020-08-07T11:54
By Hardy
at 2020-08-08T07:25
at 2020-08-08T07:25
By Agatha
at 2020-08-09T16:33
at 2020-08-09T16:33
By Erin
at 2020-08-13T11:26
at 2020-08-13T11:26
By Lauren
at 2020-08-17T16:34
at 2020-08-17T16:34
By Xanthe
at 2020-08-21T04:14
at 2020-08-21T04:14
By Ursula
at 2020-08-23T03:55
at 2020-08-23T03:55
By Zenobia
at 2020-08-24T10:04
at 2020-08-24T10:04
By Freda
at 2020-08-26T18:59
at 2020-08-26T18:59
By Charlie
at 2020-08-29T14:45
at 2020-08-29T14:45
By Caitlin
at 2020-08-30T16:30
at 2020-08-30T16:30
By Edwina
at 2020-09-02T13:08
at 2020-09-02T13:08
By Sierra Rose
at 2020-09-03T08:44
at 2020-09-03T08:44
By Margaret
at 2020-09-06T13:39
at 2020-09-06T13:39
By Bethany
at 2020-09-06T17:36
at 2020-09-06T17:36
By Jake
at 2020-09-07T09:27
at 2020-09-07T09:27
By Sierra Rose
at 2020-09-09T23:52
at 2020-09-09T23:52
By Kristin
at 2020-09-12T15:37
at 2020-09-12T15:37
By Dorothy
at 2020-09-16T16:35
at 2020-09-16T16:35
By Andy
at 2020-09-20T07:15
at 2020-09-20T07:15
By Kumar
at 2020-09-24T02:24
at 2020-09-24T02:24
By Noah
at 2020-09-25T00:28
at 2020-09-25T00:28
By Oscar
at 2020-09-25T23:54
at 2020-09-25T23:54
By David
at 2020-09-28T21:58
at 2020-09-28T21:58
By Brianna
at 2020-10-02T00:56
at 2020-10-02T00:56
By Vanessa
at 2020-10-03T10:27
at 2020-10-03T10:27
By Hardy
at 2020-10-04T19:54
at 2020-10-04T19:54
By Valerie
at 2020-10-07T21:48
at 2020-10-07T21:48
By Sarah
at 2020-10-08T09:56
at 2020-10-08T09:56
By Yedda
at 2020-10-12T23:41
at 2020-10-12T23:41
By Erin
at 2020-10-13T16:13
at 2020-10-13T16:13
By Hardy
at 2020-10-16T19:28
at 2020-10-16T19:28
By Barb Cronin
at 2020-10-17T22:16
at 2020-10-17T22:16
By Freda
at 2020-10-22T02:00
at 2020-10-22T02:00
By Joseph
at 2020-10-25T11:31
at 2020-10-25T11:31
By Olivia
at 2020-10-28T21:42
at 2020-10-28T21:42
By Necoo
at 2020-11-02T02:02
at 2020-11-02T02:02
By Andy
at 2020-11-02T08:38
at 2020-11-02T08:38
By Cara
at 2020-11-04T04:58
at 2020-11-04T04:58
By Eartha
at 2020-11-08T18:04
at 2020-11-08T18:04
By Jack
at 2020-11-12T09:08
at 2020-11-12T09:08
By Hamiltion
at 2020-11-14T12:50
at 2020-11-14T12:50
By Iris
at 2020-11-17T00:05
at 2020-11-17T00:05
By James
at 2020-11-21T05:25
at 2020-11-21T05:25
By Audriana
at 2020-11-25T01:36
at 2020-11-25T01:36
By Callum
at 2020-11-26T06:13
at 2020-11-26T06:13
By Vanessa
at 2020-11-27T06:20
at 2020-11-27T06:20
By Quintina
at 2020-11-29T17:49
at 2020-11-29T17:49
By Kumar
at 2020-12-04T16:27
at 2020-12-04T16:27
By Selena
at 2020-12-08T18:02
at 2020-12-08T18:02
By Kelly
at 2020-12-09T08:33
at 2020-12-09T08:33
By Mason
at 2020-12-12T06:24
at 2020-12-12T06:24
By Gary
at 2020-12-15T14:32
at 2020-12-15T14:32
By Edward Lewis
at 2020-12-16T00:25
at 2020-12-16T00:25
By Cara
at 2020-12-19T17:29
at 2020-12-19T17:29
By Hedda
at 2020-12-20T09:49
at 2020-12-20T09:49
Related Posts
Intel有沒有可能再次上演當時的core2逆襲?
By Una
at 2019-06-13T03:40
at 2019-06-13T03:40
10K左右文書機開模擬器玩遊戲
By Puput
at 2019-06-13T01:54
at 2019-06-13T01:54
電腦家的生日慶
By Dora
at 2019-06-13T01:02
at 2019-06-13T01:02
Intel有沒有可能再次上演當時的core2逆襲?
By Faithe
at 2019-06-13T00:28
at 2019-06-13T00:28
I飯Diss A飯:你們被洗腦了 引發網友熱議
By Harry
at 2019-06-13T00:05
at 2019-06-13T00:05