外媒稱聯發科 SoC效能分數造假,官方否認 - 手機討論

Todd Johnson avatar
By Todd Johnson
at 2020-04-10T22:40

Table of Contents

https://technews.tw/2020/04/10/mobile-benchmark-cheating/
外媒稱聯發科 SoC 效能分數造假,官方否認但反駁又來了

現在的手機跑分,真的是不能信。
手機產商、芯片廠商越來越追求芯片的跑分數值,Benchmark (基準性能測試)逐漸成為
衡量設備性能的重要標準。但在一味追求分值的同時,廠商們也逐漸深陷“分值禁錮”之中,近期的聯發科,就是如
此。

聯發科芯片benchmark 造假事情的開始,要從OPPO Reno3 說起。
外媒Anandtech 發現,搭載P95 CPU 的歐洲版OPPO Reno3 Pro 的跑分數值比搭載性能更
強大的最新Dimensity 1000L CPU 的國行版Reno3 的高,這引起了Anandtech 的質疑。
由此,Anandtech 分別使用匿名版(可幫助分值作弊)和常規版的PCMark 對MediaTek
P95 CPU 進行跑分。結果顯示,P95 CPU的真實總分比匿名版得分低30%;在寫入負載方面,二者得分的差異甚
至達到75%。同時,Anandtech指出,通過對OPPO Reno3 Pro進行測試,結果表明並非是OPPO Reno3
Pro導致的跑分差異。也就是說,造成跑分差異的根源在於聯發科芯片。為了證明這一結論, Anandtech 對Reno3 搭載的聯發科芯片作進一步調查。結果發現,
在手機的固件(/vendor/etc 文件夾)中,包含一個“power_whitelist_cfg.xml”文件


該文件中存在一個涵蓋各種基準測試的列表,包括GeekBench、AnTuTu、3 dbench,、
PCMark、魯大師、AndroBench2 等。不僅如此,列表中還新增了人工智能基準測試,包括
Master Lu AIBench、ZTH AI 。在這其中,Anandtech 找到了PCMark 的APK ID,發現ID 中配置了一些電源管理提示,其
中一個共同的提示為“運動模式”。

該模式能夠修正SoC 芯片的一些DVFS (動態電壓頻率調整)特性,比如始終以最大頻率
運行內存控制器。另外,在負載跟踪方面,調度器也被更改了設置,在工作負載時CPU 核
心的頻率能夠更快地上升,並停留更長時間。

不僅如此,其APK ID 還包含了企業版的GFXBench,雖然在清單中沒有配置“運動模式”
提示,但在使用應用程序是會改為默認的DVFS、熱力和調度器設置。值得注意的是,
“power_whitelist_cfg.xml”文件不僅存在於OPPO設備上,Anandtech還在其他設備上
(搭載聯發科芯片的設備)發現了類似文件以及幾乎相同的基準清單條目。如表所示:
巧合的是,在Anandtech 解壓文件之後,OPPO 向手機推送了一個固件更新,文件中原有
的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置,因為基準測試中依然
能夠觸發“運動模式”,從而使性能大大提升。


聯發科回應

對於Anandtech 提出的質疑,聯發科方面也給出了正面回應。以下為回應聲明:
聯發科技遵循公認的行業標準,並且對基準測試準確地代表了我們芯片組的功能充滿信心
。在測試和基準測試由我們的芯片組驅動的設備時,我們與全球設備製造商緊密合作,但
最終,品牌商可以靈活地配置自己認為合適的設備。許多公司將設備設計為在進行基準測
試時以最高性能運行,以顯示芯片組的全部功能。這揭示了任何給定芯片組的性能能力的
最高端。

當然,在現實世界中,有許多因素將決定芯片組的性能。聯發科技的芯片組旨在優化功耗
和性能,以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在運行諸如要
求苛刻的遊戲之類的計算密集型程序,則該芯片組將智能地適應計算模式以提供持續的性
能。

這意味著,隨著芯片組根據出色的用戶體驗所需的功能和性能動態管理CPU,GPU和內存資
源,用戶將從不同的應用程序中看到不同的性能水平。此外,某些品牌在不同地區具有不
同類型的模式,因此設備性能可能會因地區市場需求而異。

我們認為,在基準測試中展示芯片組的全部功能與其他公司的做法是一致的,並且可以為
消費者提供有關設備性能的準確信息。

聯發科認為,其公佈的Benchmarks 分值代表了芯片組驅動設備時的最高分值,代表了芯
片組性能的最高端,所以不存在跑分造假的行為。同時聯發科指出,這一做法與其它公司
的做法是一致的,也就是說,行業裡的廠商都是這麼做的。

但這一回應遭到了Anandtech 的反駁。Anandtech 認為,聯發科並無回應出問題的本質。
其具有欺騙性的Benchmarks 不僅針對的是與SoC 相關的跑分軟件(例如GeekBench、
GFXBench),而且面向了與用戶體驗相關的跑分軟件,也就是前文提到的PCMark。Anandte
ch 解釋稱,PCMark 是一個系統基準測試,其分值代表了芯片的工作負載和設備
響應能力。雖然PCMark 反映的是芯片的性能,但會受DVFS 和調度程序等軟件和機制的影
響;這也印證了前文提及“運動模式”會修正SoC 芯片的DVFS 特性,從而影響
Benchmarks 分值。

另外,Anandtech 指出,PCmark 分值反映的是用戶使用體驗,而不僅僅是芯片組的性能
。也就是說,Anandtech 認為聯發科干涉PCmark 分值已超出了芯片跑分的範圍。


用產品說話,才擲地有聲

事實上,在聯發科之前,三星、華為都曾因欺騙Benchmark 結果陷入輿論中心。2014 年
,測試人員發現三星通過添加源代碼在基準測試中作弊,該代碼能夠檢測基準測試應用程
序是否在手機上運行,一旦發現,則以更快的速度(532MHz,正常情況下為480MHz)運行
手機。由此,三星遭到了集體訴訟,且該訴訟長達4 年。2019 年9 月30 日,三星敗訴,
承認在基準測試中作弊,同意向Galaxy S4 的購買者支付10 美元賠償。

同樣的事情在華為身上也發生了。Anandtech 發現,華為會在新設備中配備基準檢測機制
,為SoC 提供了更高的功率限制。最終,在某些白名單應用程序中,設備的性能會更高。

不過,這種做法會帶來一些負面影響,包括消耗電能,降低機組效率,降低電池壽命等。

對此,華為表示,僅憑一個單一的基準數字並不能顯示完整體驗。但對於部分項目,進行
基準測試是整個行業中被認可的方式,每個公司都在朝著更好的客觀結果而努力。同時,
華為消費者BG軟件工程部總裁王成錄表示,其他廠商都在進行同樣的測試獲得高分,華為
不能保持沉默。不難看出,Benchmark 的高分值正成為芯片製造商追求的目標,也逐漸成
為了行業的營銷手段。Benchmark 分值固然能反應設備的性能,但為了營銷、數值攀比而
進行跑分造假不應是行業常態。

且不論“你做我也做”追求Benchmark 高分值的盲目性,就跑分造假這一行徑而言,其分
值只能在短時間內獲取用戶體驗的好感度,但從長期視角來看,追求高分值會帶來設備性
能的損耗,這並不是與用戶建立良好關係的正確途徑。

正如AnandTech 在文中提及,更好地與用戶體驗建立聯繫的唯一方式,就是讓每個常規遊
戲在標準的功率範圍內運行。也就是說,性能最具說服力的表現不是分值,而是產品本身



心得:
文章很長不過其實重點蠻短的
發哥的天機1000這次新聞預熱了這麼久
結果天機1000都還是一台都沒有,目前只有割肉版的1000L

這次發哥漲價看起來很失策阿 但是從財報又沒賺比較多
(高頻版本MT6889售價高達70美元到80美元之間,
遠遠高於一般4G晶片10美元到12美元的價位,漲價了五到六倍)
https://tinyurl.com/ujz8zr6

到底這次是誰害發哥產品得大漲價呢 到今天終端產品都還沒超過1款

--
Tags: 手機

All Comments

Xanthe avatar
By Xanthe
at 2020-04-11T20:31
ㄟ不是,你還沒解釋白名單怎麼來的阿發哥
Candice avatar
By Candice
at 2020-04-12T18:21
要火力全開就是白名單!
Connor avatar
By Connor
at 2020-04-13T16:12
不過我覺得白名單模式有甚麼好奇怪的 又不是代打
Margaret avatar
By Margaret
at 2020-04-14T14:02
發哥尷尬==第一段仔細看來是想把問題甩給OPPO,但又不能得罪客戶所以寫得很隱諱
Ethan avatar
By Ethan
at 2020-04-15T11:53
因為消費者要跑分高又要省電 只有白名單能做到
Noah avatar
By Noah
at 2020-04-16T09:43
天璣1000l 本來就 把765按在地上 OPPO要自己這樣搞熱門R系列 就自己承擔吧 根本就不像同系的兩隻 ...
Joe avatar
By Joe
at 2020-04-17T07:34
不同的dvfs模式不就s865就這樣幹,可是高通很大方告訴你我就是準備了一個performance版本的dvfs
Dora avatar
By Dora
at 2020-04-18T05:25
不見得有造假,但目前似乎還沒有一台5g手機搭載天璣1000是不是說明了什麼問題
Skylar DavisLinda avatar
By Skylar DavisLinda
at 2020-04-19T03:15
可是本季發哥營收超標,高於預期,如果天璣1000沒賣,是賣什麼東西達到的?
James avatar
By James
at 2020-04-20T01:06
p90 G90一大票a76+a55改來改去的賣了不少吧
Tom avatar
By Tom
at 2020-04-20T22:56
一堆中國用語看下去好累
Ethan avatar
By Ethan
at 2020-04-21T20:47
那我打遊戲開運動模式就是100%效能啦?
Ula avatar
By Ula
at 2020-04-22T18:37
玩遊戲跟跑分有一致的表現就沒問題了
Audriana avatar
By Audriana
at 2020-04-23T16:28
p90成本低,效能又好,賣的很好
Xanthe avatar
By Xanthe
at 2020-04-24T14:18
做成一個開關不就好了…
Edith avatar
By Edith
at 2020-04-25T12:09
幾十年前的win筆記型電腦就有省電-標準-效能全開的設定檔可以選了…
Elizabeth avatar
By Elizabeth
at 2020-04-26T09:59
樓上,你說的三個模式android好幾年前就有了阿
Anthony avatar
By Anthony
at 2020-04-27T07:50
安卓只有一般、閹割、究極閹割吧 哪來效能全開
Carol avatar
By Carol
at 2020-04-28T05:41
可以動態根據負載調整,但不是根據程式的名稱調整吧為什麼現在的作弊這麼低格調
Edward Lewis avatar
By Edward Lewis
at 2020-04-29T03:31
對測試程式最佳化這招在電腦上不是常態了嗎?所以我不看分數很久了…
Hedy avatar
By Hedy
at 2020-04-30T01:22
筆電可以不放大腿上用 手機玩遊戲很少是放桌上的
Dora avatar
By Dora
at 2020-04-30T23:12
跟人體要長時間接觸 就要考慮體感溫度的問題啊大哥
Jacky avatar
By Jacky
at 2020-05-01T21:03
power_whitelist_cfg.xml 這不就是答案?
Bennie avatar
By Bennie
at 2020-05-02T18:53
https://i.imgur.com/W3Z3stj.jpg 已經說的很清楚了

Sony入股中國Bilibili 31億元 推展動畫、

Andy avatar
By Andy
at 2020-04-10T20:50
https://unwire.hk/2020/04/10/sonybilibili/game-channel/ Sony入股中國Bilibili 31億元 推展動畫、手機遊戲、串流廣播合作 Sony 在美國的子公司 Sony Corporation of America 宣佈,將入股中國串流廣播、影片 ...

大師級手機得大獎 Sony Xperia 1獲「紅

Jacob avatar
By Jacob
at 2020-04-10T20:46
大師級手機得大獎 Sony Xperia 1獲「紅點」產品設計獎 記者邱倢芯/台北報導 Sony Mobile於2019年所推出的大師級手機Xperia 1再傳出捷報,繼2020年初榮獲IF Design Award「產品設計獎」與「傳達設計獎」,更於近期受Red Dot Award 2020(德國 紅點 ...

美國制裁和疫情之下 余承東說華為今年仍

Elma avatar
By Elma
at 2020-04-10T20:45
https://news.sina.com.tw/article/20200409/34812936.html 美國制裁和疫情之下 余承東說華為今年仍將保持增長 北京新浪網 (2020-04-09 19:31) 「美國制裁讓我們從一個沒有生態的硬體公司成為一個有生態的公司,塞翁失馬焉知非福 。」   今年 ...

台灣之星:5G升級方案告捷 申辦量占近4成

Sandy avatar
By Sandy
at 2020-04-10T20:41
中央社 https://www.cna.com.tw/news/afe/202004100121.aspx (中央社記者江明晏台北10日電)台灣將在下半年正式進入5G時代,各家業者5G升級方案 互別苗頭,台灣之星今天宣布,3月推出的5G體驗方案,首月申辦量開出紅盤,占整體近4 成。 由於5G旗艦機已開賣, ...

B818-263 分享器?

Jessica avatar
By Jessica
at 2020-04-10T20:14
請問各位有入手 B818-263 有什麼缺點嗎? 最近想要找台分享器來插台星599 想說不用吃CA也沒關係 全頻b315s-607 停產 難找二手的價格也不合理還要一千多 查了一下最新B818 有4CA大概 3300就有了 應該可以拿來榨一下 台星不限速 亞太不限速 有經驗可以分享嗎感恩 - ...