先週金曜日、Tom's Guideはサムスンの主力製品Galaxy S6を「世界最速のスマートフォン」と称する記事を掲載し、「9つの実世界テストと合成ベンチマークのうち6つで1位を獲得」したと記しました。残念ながら、この主張は恣意的に選ばれた数字に依拠しており、現実世界を完全に無視しています。
サムスンのダメージコントロール
サムスンの最新フラッグシップスマートフォン、Galaxy S6は、昨年9月に発売されたiPhone 6から7か月後の4月に発表されました。スマートフォンは世代を重ねるごとに演算性能が飛躍的に向上しており（グラフィック性能の向上はさらに加速しています）、サムスンの最新ハイエンドスマートフォンは、単に新しいというだけでiPhone 6よりも大幅に高速であるはずです。しかし、実際にはそうではありません。
3か月前、Galaxy S6の最初のベンチマークが登場したとき、AppleInsiderは、GFX BenchのグラフィックスパフォーマンススコアはGalaxy S5より向上したものの、依然としてAppleのiPhone 6には遠く及ばないと報じた。
実際、Galaxy S6はネイティブ解像度では、移動させるピクセル数が非常に多かったため、2013年のiPhone 5sよりもパフォーマンスが劣っていました。超高解像度の画面と低性能のCPUとGPUを組み合わせるというSamsungの誤ったエンジニアリングの選択は、スペック上は優れていても、実際のパフォーマンスは低いという結果に終わりました。
サムスンの販売不振から3ヶ月後、サム・ラザフォード氏とアレックス・H・クランツ氏はTom's Guide誌に共同で寄稿したレポートで、表面上はデータを無視することで反証しているように見えました。記事では、問題となっているGFX Benchのスコアについては一切触れられていません。
1位のスコアを達成するための「現実世界」のテストを作成する
代わりに、同サイトでは、タスク（PDFを開く、カメラアプリを起動する、ビデオゲームで遊ぶ、ビデオをトランスコードするなど）を実行し、スローモーションカメラで撮影して、数ミリ秒の違いを見つける「現実世界」のテストを4つ作成した。
PDFの「読み込み時間」テストでは1.6GBのファイルが使用されましたが、使用されたアプリは明記されていませんでした（単なるビューアか、それともより高機能なエディタでしょうか？）。いずれにせよ、Galaxy S6とiPhone 6の差は20ミリ秒でした。この差に気づくには、ハイスピードカメラが必要になるでしょう。
他のAndroidスマートフォンは、遅延がすぐにわかるほど動作が遅かった。例えば、GoogleのNexus 6ではファイルを開くのにほぼ4倍の時間がかかり、純正Androidが必ずしも高速ではないことが浮き彫りになった。
2つ目のテストはカメラの読み込み時間で、同様に異なるアプリ同士で比較しましたが、iPhone 6とLGおよびSamsungの2機種の違いを観察するためにスローモーションカメラが必要でした。どちらの機種もカメラアプリの起動に10ミリ秒以内の差がありました。ここでもNexus 6は最下位につけ、iPhone 6やLGおよびSamsungのハイエンド機種の2倍以上の速度を記録しました。
Asphalt 8で3分間のゲームパフォーマンステストを実施したところ、iPhone 6はGalaxy S6と同じフレームレートを達成しました。Galaxy S6はネイティブ解像度では速度が遅いにもかかわらず、ほとんどのゲームをネイティブ解像度以外の低い解像度でプレイすることで速度の優位性を確保しています。しかし、コア数、RAM容量、クロック速度の速いアプリケーションプロセッサを搭載しているにもかかわらず、Galaxy S6はネイティブ解像度以外の低い解像度でプレイしても速度面で優位性を示すことができませんでした。
サムスンのより高価なGalaxy S6は、ゲームではiPhone 6に勝てない
4つ目のテストでは、アプリを使用して1080pの映画を480pにトランスコードしましたが、ベンチマークアプリがAndroid用だったため、このタスクはiPhone 6では実行されませんでした。著者らは「この現実世界のシナリオはCPUパフォーマンスの正確な状況を描写している」と述べていますが、実際に使用したVidTrimアプリは、一般的なCPUパフォーマンスを反映するのではなく、特殊なARMv7 NEONハードウェアアクセラレーションに依存しています。
サムスンの「第一位」、より高価なハードウェアは現実世界での優位性をもたらしていない
Toms Guideの「実世界」テストでは、SamsungのGalaxy S6とiPhone 6の間に明確な違いは見られませんでした。Samsungのデバイスは価格が高く、AppleのデュアルコアA8よりも7ヶ月遅れて「オクタコア」CPUを搭載し、より高速なDDR4チップを使用してシステムRAMを3倍搭載しているにもかかわらずです。GoogleのAndroid 5.0は、2GBの高速DDR4システムメモリと8コアの高速クロックCPUを搭載しても、昨年のiPhone 6と比べて目に見えるパフォーマンス向上が見られないほど、リソースを浪費しているのでしょうか？
Google の Android 5.0 は、2GB の高速 DDR4 システム メモリと 8 コアの高速クロック CPU を追加しても、昨年の iPhone 6 と比べて目に見えるパフォーマンスの向上が見られないほど、本当にリソースを浪費しているのでしょうか?
Android 5.0 Lollipopは、AndroidのDalvik「ジャストインタイム」仮想マシンを置き換えることで、ART「事前」コンパイル（「Androidデバイスのパフォーマンス向上を目指す、Googleが2年間にわたり継続中の秘密プロジェクト」と説明されている）によって、アプリのパフォーマンスを大幅に向上させるはずだった。しかし、1年間にわたるハードウェアのアップグレードとAndroidの新バージョンは、サムスンが昨年Appleが発表したスマートフォンに勝つことに全く貢献していない。
さらに悪いことに、ネイティブ解像度（低解像度のビデオゲームを除けばデバイスが通常動作する解像度）では、Samsungのエンジニアリング上の選択により、Galaxy S6のパフォーマンスは著しく低下しています。GFX Benchによると、Samsungの「Exynos 7」搭載Galaxy S6は、同じネイティブ解像度テストで15fpsまで低下し、これはiPhone 6 Plusのフレームレートのわずか78%に過ぎません。
サムスンを不正に「1位」にするための人工的なテスト
Toms Guideは、ネイティブ解像度と1080p解像度の両方におけるGPUの生の性能を示すGFX Benchの数値を無視する一方で、独自のGPUベンチマークもいくつか掲載しています。Androidファンサイトにありがちなことですが、著者はFutureMark 3D Mark Ice Storm Unlimitedを選択しました。GFX Benchと同様に、GPUのレンダリングテストも含まれています。
しかし、Androidファンが3D Mark Ice Storm Unlimitedを気に入っている本当の理由は、Androidが現実を全く考慮せずに勝者のように見せかけているからです。GPUテストに加えて、Android向けに最適化されているもののiOSでは使用も最適化もされていないソフトウェアライブラリを使った物理テストも組み込まれているため、iPhoneのスコアを下げて、常に誤った不合格を報告してしまうのです。
このことはToms Guide の記事ですぐに明らかです。記事では、iPhone 6 は実際のビデオ ゲームの再生では最速の Android デバイスと並ぶか上回った (クロック レートが高速で、RAM が多く、コア数が多いにもかかわらず、上記) ものの、どういうわけか 3D Mark Ice Storm Unlimited のランキングでは最下位に終わり、実際のゲーム パフォーマンスが最悪で、同じ記事内の他の「現実世界」のテストでもすべて不合格となった Nexus 6 よりも下位に沈んでいます。
3Dマークアイスストームアンリミテッドは現実世界のゲームパフォーマンスと矛盾している
サイトの編集者はそれに気づくべきではなかったでしょうか?
FutureMark 3D Mark Ice Storm Unlimitedのテスト結果がレビューや「対決」で紹介されているのを見ると、iPhoneの性能を下げ、実際のテストで不合格になったAndroidデバイス（Nexus 6など）を実際よりも良く見せるための、仕組まれた策略だと分かります。Androidファンが大好きな、偽の数値を巧みに提示しているのです。
好意的なスコアを見つけるためのベンチマーク
この記事で紹介したもう一つの人工ベンチマークはGeekbench 3です。これは私たちも頻繁に使用しており、モバイルデバイスとデスクトップ版のMacおよびPCの両方でテストしています。モバイルデバイスの場合、Geekbenchには主に2つのスコアが含まれています。1つはシングルコアのパフォーマンスを、もう1つは利用可能なすべてのコアが連携して動作するパフォーマンスをテストするマルチコアスコアです。
シングル コア スコアは、基本的な日常的なタスクで CPU がどれだけ強力であるかを示します。これは、スマートフォン ユーザー (またはアプリを操作するオペレーティング システム) が、ベンチマーク アプリのように、デバイスのすべてのコアを効果的に連携させて完璧に動作させることができるケースが比較的少ないためです。
2 つのベンチマーク スコアは、実際の運転条件ではほとんど遭遇しない理論上のパフォーマンスを測定するテスト トラックと比較して、市街地および高速道路の速度で車両がどのような馬力を発揮するかを測定することに多少似ています。
AppleはiPhoneをシングルコアでの動作でも問題なく動作し、両方のコアが動作可能な場合はさらに優れたパフォーマンスを発揮するように最適化しています。電力消費が大きいため、システムはバッテリー寿命を延ばすために、ほとんどの場合、未使用のコアをオフにしようとします。AppleのA8は比較的大きなコアを2つ搭載しており、これはパフォーマンスと効率性の優れたバランスを実現しているため、初代iPod以来、ARM CPUはこの設計を忠実に守り続けています。
SamsungはARMの8コア「big.LITTLE」設計を採用しています。これらのコアのうち4つは汎用タスクを分担するマッスルコアで、残りの4つは低消費電力で動作するように設計された軽量コアです。つまり、8つのコアを一度にすべて使用することは、短時間の人工的なベンチマークを達成する以外、ほとんど意味がありません。
しかし、8コア設計は、より多くの小さなコアにより多くの表面積を割り当てるため、ほとんどの場合、チップをより多く使用できるというトレードオフも生じます。ほとんどのタスクは一度に1つのコアしか使用できないため、Appleの2つの大きなA8コアはCPUチップ面積の半分をシングルコアタスクに割り当てていることになります。Samsungは、4つのコアのうち1セットをアイドル状態にするだけでなく、残りの使用中のチップ面積を4分の1にすることで、スマートフォンユーザーが実際に行うほとんどのタスクを、より小さな単一のエンジンで処理できるようにしています。
「8コア」は魅力的に聞こえるかもしれませんが、実際にはデュアルコアチップの4倍（あるいは2倍）の性能を発揮できるわけではありません。実際、Geekbench 3によると、シングルコア処理では、iPhone 6に搭載されたAppleのA8は、SamsungのGalaxy S6に搭載されたExynos 7よりも40%高速です。Appleは、iPhoneユーザーが実際のアプリを実際の環境で実行する際に、ほとんどの場合で最速のレスポンスが得られるようにパフォーマンスを最適化していますが、Samsungは、実際の使用ではほとんど遭遇しないような条件下でのベンチマークスコアを最適化しています。
Toms Guideはこれらの点について一切説明しておらず、シングルコアのスコアすら示していません。その代わりに、マルチコアという一つの数字に焦点を当てています。Geekbench 3の記録によると、Galaxy S6はマルチコアのスコアでiPhone 6よりも36%高速です。つまり、iPhone 6は日常的な動作では40%高速ですが、SamsungのGalaxy S6はこの種のフルスペックベンチマークでは36%高速です。
A8チップは両コアを使うことでGeekbenchスコアを79.4%向上させますが（両コアを稼働させてもスコアが2倍になるわけではありません）、Exynos 7では全コアを使うと240%も向上します。これは4倍どころか8倍にも遠く及びませんが、どちらのケースでも、AppleはiPhoneユーザーが実際のアプリを実際の環境で実行する際にほとんどの場合最速のレスポンスが得られるようにパフォーマンスを最適化しているのに対し、Samsungは実際の使用ではほとんど遭遇しないような条件下でベンチマークスコアを最適化していることは明らかです。
サムスンは長年、ベンチマークを様々な方法でごまかし、特定の数値だけを見て、その数値の真の意味を深く考えない人々を感心させようとしてきました。しかし、Exynos「オクタコア」チップの開発によって、サムスンは実際の使用ではなく、スコアに最適化した製品を作り出しました。
GeekbenchスコアはGeekbenchよりも大幅に高い
Toms Guide は、ベンチマークでサムスンが「競争相手を圧倒した」と宣言するために、ある数字を恣意的に選んだだけでなく (一連の「現実世界」テストで昨年の iPhone を上回ることができなかった後)、他のユーザーが Geekbench で記録したスコアよりもはるかに高い Galaxy S6 のスコアも獲得しました。
同サイトではマルチコアスコアが5,283と報告されていますが、Geekbenchブラウザでは、このスマートフォン（Samsung Exynos 7420 Galaxy S6、1500MHz、8コア）の実際のスコアは3925と表示されています。同じスマートフォンで同じベンチマークを実行したにもかかわらず、これほどのスコア差は歴然としています。また、他のベンダーの報告したスコアの差とも全く一致していません。
Toms GuideのGalaxy S6のGeekbenchスコアは実際のユーザーが見ているものとは異なっている
例えば、Toms GuideのGeekbenchによるiPhone 6のスコアは、Geekbenchブラウザで報告された平均スコアから38ポイントも上回っています。Toms Guideが公開したGalaxy S6のスコアは平均より1358ポイント高く、実際のユーザーからの報告よりも3分の1以上も高い値となっています。これは警戒すべき点です。なぜなら、通常、同じハードウェアで実行したスコアにはそれほど大きな差がないからです。
エンジニアリングとベンチマーク最適化
しかし、同じハードウェアであっても、デバイスが何らかの形で最適化されている場合、ベンチマークで大きな差が出ることがあります。例えば、Samsungは過去に、ベンチマークアプリを実行する際にバッテリー駆動時間と熱対策をオフにすることで、同じデバイスから「パフォーマンスポイント」をさらに絞り出しました。もし実際にユーザーがデバイスを常にその「ベンチマークモード」で使用していたら、スマートフォンは過熱し、すぐに電源が切れてしまうでしょう。
逆に、iOS 9のAppleの新しい省電力モードは、プロセッサの動作速度を落とすことでバッテリー寿命を延ばします。ハードウェアアクセラレーションコーデック（Androidのフルディスク暗号化をiOSのように常時オンにすると、メモリパフォーマンスが50～80%低下します）やAppleのMetal（GPUのタスクを効率的に処理することでオーバーヘッドを削減し、CPUパフォーマンスを向上させる）などの最適化も、ベンチマークスコアに影響を与える可能性があります。
Toms GuideはGalaxy S6の異例かつ不自然なスコアを誇示する一方で、バッテリー切れまでにどれくらいの時間そのベンチマークスコアを維持できるかというデータは一切公開しませんでした。サイトにはシステムとメモリのFutureMarkスコアも別々に掲載されていましたが、どちらも大きく異なるスコアを示しており、ライターが実環境でのテストで観測した実際のパフォーマンスとは矛盾していました。4つ目のテストではWi-Fiスループットをベンチマークしましたが、そのテスト方法についてはほとんど言及されていませんでした。
奇妙な要約で、このサイトはSamsung Galaxy S6に搭載されている「DDR4メモリと高速UFSストレージ」を称賛していましたが、Basemark OS IIメモリ固有のテストでは、低速のDDR3メモリを搭載し、「高速」な新UFSストレージを搭載していないにもかかわらず、LGのGalaxy S4がGalaxy S6を上回ったことが示されていました。これらのテストには何か意味があるのでしょうか？それとも、Samsungが宣伝している技術が現実世界で実際に何らかの貢献をしているという先入観を膨らませるための、見栄えの良いグラフを作成するためだけのものなのでしょうか？
さらに、Toms Guideは、ベンチマークテストが全く異なるテストであることを指摘していませんでした。iPhone 6はデフォルトでフルディスク暗号化（FDE）を提供していますが、SamsungのGalaxy S6（およびその他のAndroidスマートフォン）は、AndroidのFDEがメモリパフォーマンスに多大な負担をかけるため、暗号化がオフの状態で出荷されています。コアセキュリティ機能をオフにした状態でベンチマークを実行すると、魅力的なベンチマーク結果が得られますが、Galaxy S6が実際に「高速化」されるわけではありません。単にセキュリティが低いだけです。
このレポートは、サムスンS6が「最速のスマートフォン」であることを証明したのではなく、著者らが現実と矛盾するベンチマーク数値を導き出したとしても、Appleの前モデルより半年間先行している派手な仕様と新技術では実際のパフォーマンス向上は得られないことを実際に実証したに過ぎない。
さらに、このサイトは実際のベンチマークを無視して偽のベンチマークを優遇しただけでなく、iPhone 6が、技術に精通しているとされるウェブサイトが作成した単純な「ファイルを開く」テストでは確認できないような一連のメリットによって最適化されているという事実を完全に無視しています。これには、Appleのアプリプラットフォームが現在64ビットに完全に移行されている（App Storeの承認要件）ことや、グラフィックアプリやゲームがMetalに対応しているという事実も含まれます。
Metalの優位性をAndroidと比較するのは難しい。その理由の一つは、ほとんどのGPUテストがCPUとGPUのアクティビティを同時に測定していないこと（例えばGFX Benchは、CPUに依存せずユーザー操作を伴わない、段階的な3DシーンのレンダリングによってGPUパフォーマンスに焦点を当てている）と、Android向けに提供されている実世界のアプリやゲームの数自体が少ないことにある。これには、AppleがMetalのデモに使用した動画編集ツールや写真編集ツールも含まれる。
AppleのiOSプラットフォームが長年にわたり多様な専用アプリを惹きつけてきたという事実は、他のプラットフォームにおける「より高速なハードウェア」の価値をむしろ損なわせるものだ。2012年当時、4G LTE対応のAndroidスマートフォンは3GのみのiPhoneよりも明らかに高速だったが、Appleの強力なエコシステムは依然として最もプレミアムな顧客層を惹きつけていた。今日、iPhoneに技術的な優位性はなく、AppleはCPUとGPUの設計において世界をリードしている。
Toms Guideは、ほとんどのテストで同点か上回ったLG G4よりも定価が100ドル高いにもかかわらず、サムスンのフラッグシップ機を「最速」と称することにためらいはなかった。同サイトはサムスンが「他を圧倒した」と評したが、自社のデータでは実際にはそうではなかった。
