Kauza: podvádí Xiaomi v benchmarcích? Jak se to vezme

V poslední době se vyrojila celá řada více či méně podložených podezření, podle kterých někteří výrobci mobilních telefonů podváděli ve výkonnostních testech – takzvaných benchmarcích. Stín padl i na čínské Xiaomi, což nás přimělo zabývat se tímto problémem podrobněji. Podvádí tedy Xiaomi v benchmarcích?

Hned v úvodu je nutné upozornit na jednu věc: benchmarky jsou syntetické testy a jako takové nemusejí přesně odrážet výkon telefonu v běžných situacích. Jejich výsledky sice mohou napovědět, jak si jednotlivé modely stojí ve srovnání s ostatními, ale neříkají nic o tom, jak dobře fungují v různých scénářích.

Benchmarky přesto mají značnou popularitu, proto se výrobci snaží, aby v nich jejich telefony figurovaly na co možná nejvyšších příčkách. Často jsou tomu ochotni obětovat vše, včetně dobré pověsti. Z nekalých praktik byly v poslední době obviněny například firmy Samsung či OnePlus.

Podvádí Xiaomi v benchmarcích?

Celou kauzu rozdmýchal spoluzakladatel renomovaného benchmarku Geekbench John Poole, když na sociální síti Twitter upozornil na zajímavé zjištění. „Vypadá to, že společnost Xiaomi také rozhoduje o výkonu na základě identifikace aplikací.“ napsal 27. března.

V následujícím příspěvku pak odkázal na testy provedené na loňském vlajkovém telefonu Xiaomi Mi 11. „Zde jsou výsledky z Xiaomi Mi 11, na kterém běží Geekbench a Geekbench převlečený za Fortnite.  Výsledky pro jedno jádro jsou o 30 % nižší a výsledky pro více jader jsou o 15 % nižší v sestavení Fortnite.“

Jinými slovy: pokud byl na telefonu spuštěn Geekbench, který „se tvářil“ jako benchmark, dosáhl citelně lepšího výkonu, než když byl ten samý test spuštěn jako hra (konkrétně Fortnite). „To se stává i v případě, že je Geekbench maskován jako jiné hry, například Genshin Impact.“ dodal Poole.

Logicky tak vytanulo podezření, že Xiaomi zachází s běžnými aplikacemi jinak než s výkonnostními testy. Jednalo se o umělé navyšování výkonu, kterého se v minulosti dopustilo hned několik výrobců? Nebo jde o něco jiného?

Přiškrcování výkonu

Je veřejným tajemstvím, že nejvýkonnější procesory od Qualcommu generují při nejvyšším výkonu značné množství odpadního tepla. To samozřejmě není dobré s ohledem na hardwarové komponenty, jejichž dlouhodobé přehřívání by mohlo vést k nevratnému poškození.

Část tepla se daří vyzařovat do okolí, ale pokud to nestačí, přijde na řadu „thermal throttling“ – tedy omezení výkonu, jehož cílem je ochladit zahřátý procesor. V tomto směru můžeme konstatovat, že loňský Xiaomi Mi 11 nebylo těžké dovést do stavu, kdy ukončoval aplikace a vypínal některé funkce s odkazem na příliš vysokou teplotu.

Letošní vlajková loď Xiaomi 12 je na tom o poznání lépe – sice se také v některých situacích hřeje, ale na hlášku o přehřátí jsme během testování zatím nenarazili. Škrcení výkonu je ale evidentní – ve stres testu Wild Life Extreme, který je součástí benchmarku 3DMark, se výsledky prvního testu se studeným zařízením od výsledku následujících testů, kdy je telefon již citelně zahřátý, liší o více než 50 %. Konkrétně studený telefon dosáhl skóre 2 623 bodů, zatímco zahřátý spadl až na 1 187 bodů.

Co to znamená v praxi? Že když budete na telefonu například dlouho hrát hry, bude vám po určité době poskytovat menší výkon. Dá se to pochopit s ohledem na snahu chránit hardwarové komponenty před poškozením. John Poole ale tvrdí, že Xiaomi přinejmenším u některých her přiškrcuje výkon hned od spuštění – jaksi preventivně.

Xiaomi odpovídá

Xiaomi se k situaci postavilo čelem a vydalo oficiální prohlášení. Objektivně vzato však v jedné části mluví o něčem úplně jiném, než z čeho je obviňováno – zmiňovaná nabídka tří výkonnostních režimů se objevuje jen v některých modelech a nijak nesouvisí s tím, že přinejmenším Xiaomi Mi 11 poskytuje hrám apriori méně výkonu než benchmarkům.

„Společnost Xiaomi používá strategie řízení teploty, aby zajistila optimální zážitek z produktu, zejména u náročných aplikací, které se běžně používají po delší dobu. V mnoha našich zařízeních nabízíme tři výkonnostní režimy, které uživatelům umožňují nastavit rovnováhu mezi výkonem a energetickou účinností. Na úrovni systému se při všech optimalizacích souvisejících s výkonem aplikací bere v úvahu mnoho zásadních faktorů, jako je spotřeba energie, výkon a dopad na teplotu.“

Podvádí tedy Xiaomi v benchmarcích? Jak se to vezme – přímo v testech vlastně nepodvádí, jen jim poskytuje maximální možný výkon. Co ale není správné, je automatické přidělování výkonu na základě toho, jaká aplikace je aktuálně spuštěná, respektive (přesněji řečeno) na základě jejího názvu.

Xiaomi bylo nakonec z žebříčků benchmarku vyřazeno. Jde o pochopitelný krok – naměřené výsledky prostě neodpovídaly tomu, co telefony nabízely ve skutečnosti. Určitě není ze strany výrobce dobře, když jeho zařízení poskytují maximální výkon pouze benchmarkům, zatímco běžně používaným aplikacím výkon škrtí.

Odhalení se skrývá ve zdrojovém kódu

Web XiaoMIUI se pokusil vypátrat, jak to vlastně funguje. Zaměřil se přitom na systémovou aplikaci Baterie a výkon, kde narazil na určité podivnosti. Konkrétně se ve zdrojovém kódu nacházela pasáž, obsahující názvy následujících benchmarkových aplikací:

• 3DRating pro OpenGL ES 2.0
• AI Benchmark
• Almark
• Androbench
• AndSPECmod
• AnTuTu 3DBench
• AnTuTu AI Benchmark
• Antutu Benchmark
• AnTuTu Lite
• AnTuTu Tester
• AnTuTu Video Tester
• Geekbench 4
• Geekbench 5
• GFXBench Benchmark
• GPU GFLOPS
• LDS 3D Bench
• LDS Benchmark
• Master Lu pro Android
• Speed test by Ookla

Lze předpokládat, že pokud systém zjistí, že je spuštěna některá z uvedených aplikací, poskytne jí nejvyšší možný výkon. V ostatních případech však výkon – alespoň dle dosavadních zjištění – „optimalizuje“ v rámci snahy zabránit přehřívání zařízení.

Na otázku z nadpisu – tedy zda podvádí Xiaomi v benchmarcích – odpovíme možná trochu šalamounsky. Přímo v benchmarcích dle našeho mínění nepodvádí. Určitě ale není správné, že ostatním aplikacím neposkytuje stejný výkon jako syntetickým testům.

Podvádí dle vašeho názoru Xiaomi v benchmarcích? Nebo je to v pořádku?

Zdroje: androidauthority.com, xiaomist.com, xiaomiui.net.