iPhone 8の中身：AppleのA11 Bionicは5つの新しいカスタムシリコンエンジンを導入

iPhone 8と次期iPhone Xに搭載されるAppleの新しいA11 Bionicチップには、それぞれ特定のタスクに最適化された多数のプロセッシングコアと高度なコントローラが搭載されています。これらのコアとコントローラについてはまだほとんど情報がなく、このSoCに他に何が詰め込まれているのかは言うまでもありません。そこで、パッケージに搭載されている新しいApple GPU、Neural Engine、6コアCPU、NVMe SSDコントローラ、そして新しいカスタムビデオエンコーダをご覧ください。

グラフィックス、GPGPU、ML用の新しい3コアGPU

Apple が初めて社内設計した GPU は A11 Bionic アプリケーションプロセッサに組み込まれており、すでにスマートフォンの主要グラフィックアーキテクチャとなっていた iPhone 7 モデルで使用されている Imagination ベースの GPU よりも 30 パーセント高速であると主張しています。

同様に印象的なのは、Apple の新しい GPU は高速であるだけでなく、より効率的であり、半分のエネルギーで A10 Fusion GPU の作業に匹敵できることです。

GPUはもともとグラフィックスを高速化するために開発されましたが、長年にわたり、同様の反復的な性質を持つ他の種類の計算処理にも利用され、「汎用GPU」と呼ばれることもあります。Appleは当初、GPGPUを実行するためのAPIとしてOpenCLを開発し、最近ではGPGPU Computeを、AppleのiOSデバイスとMacで使用されているGPU向けに最適化されたMetal APIに組み込みました。最新バージョンであるMetal 2の詳細は、今夏のWWDC17で発表されました。

Appleがグラフィックスチップとそれを管理するソフトウェアの両方を設計していることから、GPUとGPGPUの進化はさらに加速すると予想されます。さらに、AppleはGPUが特に得意とするタスクの一つである機械学習にも進出しています。機械学習では、様々な既知のもの（例えば様々な花の写真）に基づいてモデルを構築し、その「知識」モデルを用いて、一致するもの（他の新しい写真に写っている花やカメラのファインダーに写っているものなど）を見つけて識別します。

Appleは、新しいGPU設計について、「3つのコア」を搭載しているという点以外、まだ多くの技術的詳細を明らかにしていません。GPU設計はそれぞれ特定のタスクや戦略に最適化されており、「コア」の定義も大きく異なるため、Intel、Nvidia、AMD、Qualcomm、ARM MaliなどのGPUと直接的かつ有意義な比較を行うことは不可能です。

TB;DR

Appleが、新しいモバイルA11 Bionic GPUファミリー4のグラフィックスアーキテクチャについて、タイルベースの遅延レンダリング（TBDR）を採用していると説明していることは注目に値します。TBDRは、リソースが限られたモバイルデバイス向けに開発されたレンダリング技術です。実質的には、3Dシーンでユーザーに表示されるオブジェクトのみのレンダリングを完了します。デスクトップPCのGPU（およびQualcomm AdrenoとARM MaliモバイルGPU）では、シーン内のすべての三角形に対して「即時モード」レンダリングが実行され、ラスタライズとフラグメント関数の段階を経てデバイスメモリに出力されます。最終的なシーンでは他のオブジェクトに隠れてしまう可能性があっても、この処理は実行されます。

TBDRは、目に見えない作業は一切行わず、シーンをタイルに分割してから、各タイルに何をレンダリングする必要があるかを分析します。出力は高速で低レイテンシのタイルメモリに一時的に保存されます。このワークフローにより、頂点処理とフラグメント処理を非同期に実行できるため、GPU全体をより有効に活用できます。Appleは次のように述べています。「頂点処理では通常、固定機能のハードウェアを多用しますが、フラグメント処理では演算処理と帯域幅を消費します。これらを完全にオーバーラップさせることで、デバイスはGPU上のすべてのハードウェアブロックを同時に使用できます。」

技術としては、TBDR は Imagination の PowerVR と密接に関連しています。PowerVR は、デスクトップ GPU と並行して、あまり通っていない方法で開発され、その後、PC GPU を縮小しても匹敵しない効率の利点を備えた、完璧なモバイルに最適化された GPU アーキテクチャとして、最初の iPhone の発売頃に登場しました。

しかし、イマジネーション社は当初、今春、アップル社が自社の知的財産権を「侵害していないことを証明していない」と苦情を述べたが、現在ではアップル社の新型GPUがライセンスのないPowerVR技術を使用しているという主張を続けるつもりはなく、アップル社との取引を失った後、大幅な値引きで自社を売却したようだ。

さらに、TBDRはImagination独自のアプローチというわけではありませんが、GPUアーキテクチャで成功した例は（失敗に終わった数多くの実験的アプローチの中で）これまでわずかしかありません。これはCPUの世界にも似ています。現在、モバイルデバイスではARM、PCやサーバーではIntelのx86が主流ですが、競合他社（そしてIntel自身さえも）による現状打破の試みは数多く失敗しています。

AppleのMetal 2は、A11 Bionic GPU向けにTBDRの詳細を開発者に公開しました。これにより、開発者はメモリ使用をさらに最適化し、「よりきめ細かな同期を実現することで、GPUでより多くの作業を実行」できるようになります。また、Appleは、この新しいGPUは「TBDRを大幅に強化する複数の機能を提供する」と述べており、サードパーティ製のアプリやゲームが「新たなレベルのパフォーマンスと機能を実現」できるようになります。

デュアルコアISPニューラルエンジン

まったく新しい GPU アーキテクチャを作成するだけでは「革新性が不十分」だったため、A11 Bionic では、画像信号プロセッサ内にまったく新しいニューラルエンジンも搭載され、カメラセンサーから大量に送信される画像データ内の何千もの参照ポイントをマッチング、分析、計算するなど、非常に特殊な問題を解決するように調整されています。

これらのタスクは GPU に送信できますが、行列乗算と浮動小数点処理に特化して最適化されたロジックにより、Neural Engine はこれらのタスクで優れたパフォーマンスを発揮できます。

Neural Engine自体は、リアルタイム処理向けに設計された2つの並列コアを搭載し、毎秒6000億回の演算処理が可能です。つまり、Appleが以前の世代のISPで行ってきたように、写真に高度なエフェクトを適用するだけでなく、ライブビデオにもエフェクトを適用できるようになったということです。エフェクト以外にも、Neural Engineはカメラシステムがシーン内のオブジェクトとその構成を識別し、撮影中の被写体を追跡してフォーカスを合わせることができるようにもなっているようです。

このニューラルエンジンこそが、A11 Bionicの名前の由来となっています。「Bionic」とは一般的に、電気機械的な強化を受けた人間を指し、その強化によって超人的な能力を持つというイメージを連想させます。A11 Bionicはこれとは正反対で、人間のような能力を備えた機械であると考えることもできます。あるいは、このチップを、それを使用する人間をバイオニックに強化したものと捉え、通常のAndroidでは不可能なタスクをユーザーが飛躍的にこなせるようにすると考えることもできます。

Appleの6つの新しいCPUコア、2Gパフォーマンスコントローラ

A11 Bionicの3つ目の部分は、Apple独自のARMアーキテクチャCPUコアのカスタム実装です。Appleは2010年に独自のカスタムA4 SoCをリリースし、その後も設計を急速に改良してきました。2013年には、初の64ビットARMチップであるA7を開発し、競合他社のチップを圧倒しました。

昨年の A10 Fusion は、パフォーマンスコアのペアと効率コアのペアの間でタスクを管理する新しいアーキテクチャにちなんで名付けられ、フルパワーでの実行と効率的なアイドル状態の間での柔軟性を実現しました。

Appleは今年、「第2世代パフォーマンスコントローラ」を売り出しています。これは、タスクをより多くの低消費電力コアに分散させたり、ワークフローをさらに高速な高消費電力コアに集約させたり、さらには6コアCPU全体をバースト的に稼働させたりできるように設計されています。A11 Bionicは、非対称マルチプロセッシングを使用することで、タスクに応じて任意の数のコアを個別にアクティブ化できます。A11 Bionicは、非対称マルチプロセッシングを使用することで、タスクに応じて任意の数のコアを個別にアクティブ化できます。

複数のコアにまたがるタスクキューのスケーリングには、SoC上の複数のコアだけでは不十分です。アプリやOSの機能は、それらの複数のコアを最大限に活用できるように設計する必要があります。これは、iPhoneが登場する何年も前から、AppleがOSレベルで、そしてサードパーティの開発者と協力して取り組んできたことです。

Appleは、不要なプロセッサユニットをオフにし、プロセスを効率的に順序付けることで、可能な限り迅速かつ効率的に実行するようにスケジュールを設定することを重視したソフトウェアOS戦略を詳細に発表しました。そして現在、同様の手法をシリコンハードウェアにも導入しています。SamsungやLGなどの他のモバイルデバイスメーカーは、これまで独自のPC OSプラットフォームを開発する必要に迫られたことはありません。

Googleは、Androidを当初のポータブル（JavaME）モバイルプラットフォームから改良してきましたが、パフォーマンスにお金を払うユーザー向けには販売していません。同社はタブレットやデスクトップコンピューティング事業を本格的に展開しておらず、同社のスマートフォンプラットフォームは平均販売価格を300ドル未満に抑えることを目指しています。Android Oneスマートフォンは100ドルという積極的な価格目標を掲げています。Androidの購入者は広告主の顧客層であり、洗練されたUI、アプリのパフォーマンス、マルチプロセッサ対応といった高度な機能を求める顧客ではありません。Androidアプリは広告配信に最適化されています。

Apple によれば、A11 Bionic のパフォーマンスが最適化された 2 つの汎用 CPU コアは、昨年の A10 Fusion のものより最大 25 パーセント高速化しており、さらに大きな向上は効率コアによるもので、その数は 4 つに倍増し、最大 70 パーセント高速化しています。

同様の仕様の iPhone 7 と iPhone 8 (同じ RAM と同じディスプレイ解像度を共有) を比較した Geekbench テストでは、A11 Bionic はシングルコアで 25 パーセント、マルチコアスコアで 80 パーセント高速化しました。

これは特に注目に値する。なぜなら、Apple の最新チップは、一般的なプロセッサベンチマークで効果的に測定できる範囲をはるかに超える、新しいニューラルエンジン、GPU、カメラ ISP などの機能も提供しているからだ。

対照的に、サムスンは長年にわたり「オクタコア」プロセッサを販売してきましたが、実際にはコアあたりの性能は低く、ベンチマーク以外のアプリでマルチコアを効果的に活用するように最適化されていないOSを搭載しています。Google自身もかつて、粗悪なNexus 7の発売時に「基本的に16コア」（CPUとGPUコアの合計）と自慢していましたが、これは全くの虚偽で意味のないマーケティング主張であり、速度向上には繋がりませんでした。実際には最初から高速ではなく、時間の経過とともに急速に性能が低下していきました。

Apple のマーケティングは、抽象的な技術仕様の量を過度に自慢するのではなく、現実世界のアプリケーションに重点を置いています。たとえば、A11 Bionic は「驚異的な 3D ゲームや AR 体験に最適化されている」と述べており、これは App Store の訪問者が毎日体験できる主張です。

AppleはCPUとは別に、A7にSecure Enclaveを設計しました。これは、システムの他の部分から隔離されたシリコン内に機密データ（指紋生体認証）を保存するためです。AppleはA11 Bionicに改良を加えたと述べましたが、その具体的な内容については明らかにしませんでした。

秘密のソースSSDシリコンがストレージを高速化し、安全に保つ

A11 Bionicには、カスタムECC（誤り訂正符号）アルゴリズムを搭載した超高速SSDストレージコントローラなど、他にも特別な機能が搭載されています。Appleのハードウェアテクノロジー担当シニアバイスプレジデント、ジョニー・スルージ氏がMashableのインタビューで詳しく説明しています。これは速度だけのためではありません。「ユーザーがデバイスを購入すると、ストレージの耐久性とパフォーマンスは製品全体で一貫したものになります」とスルージ氏は指摘しました。

つまり、デバイスに保存されたデータ（ドキュメント、アプリ、写真）は、破損やストレージ障害（SSDセルの劣化による）からより強固に保護され、思い出やドキュメントを失う可能性が軽減されるだけでなく、時間の経過とともにデバイスの動作が不可解に遅くなるというフラストレーションも軽減されます。これは多くのAndroidデバイスに共通する問題です。

Apple は、2015 MacBook 向けに初めて独自のカスタム NVMe SSD ストレージコントローラを導入し、ソリッドステートストレージ (回転するハードドライブではなくチップ) からの読み取りと書き込みのハードウェア側を最適化できるようになりました。

同社はその後、iPhone 6sを皮切りにA9チップを搭載したiOSデバイスにこの技術を導入しました。NVMeはもともと、コンシューマーエレクトロニクスではなく、エンタープライズ市場を念頭に置いて開発されました。スマートフォンにNVMeコントローラーを追加するための既成ソリューションはなく、SSDストレージにアクセスするためのより安価な（ただし時代遅れの）プロトコルが既に存在します。Appleは独自に開発・実装しました。

A11 Fusionは、Appleの第3世代iOSストレージコントローラを搭載しているようです。さらに興味深いのは、Appleがステージ上でこれについて全く触れなかったことです。他にもっと魅力的な話題が山ほどあったからです。

Appleが設計した新しいビデオエンコーダ

2年前、AppleのA9はハードウェアベースのHEVCデコーダーを導入し、デバイスでH.265 / 「高効率」ビデオコンテンツを効率的に再生できるようになりました。昨年のA10 Fusionではハードウェアエンコーダーが導入され、iPhone 7でこの形式でコンテンツを作成・保存できるようになりました。これらの高効率形式の利点は、高解像度の写真や動画が占める容量を大幅に削減できることです。

この新機能はiOS 11で利用可能になり、カメラ設定の「高効率カメラキャプチャ」設定として公開されています。オンにすると、写真はHEIF（高効率画像フォーマット）で圧縮され、動画はHEVC（高効率ビデオコーデック）で録画されます。

これらの高効率フォーマットの利点は、高解像度の写真やビデオが占めるスペースが大幅に削減されることです。

Apple によれば、新しい HEVC 形式で録画された 1 分間の 4K 30fps ビデオのサイズは約 170 MB になるが、従来の H.264 を使用した場合の同じビデオのサイズは 350 MB となり、2 倍以上のサイズになる。

このHEVCコンテンツを再生するには、デバイスがデコードできる必要があります。A9以前のiOSデバイスはソフトウェアでデコードできますが、効率的な専用ハードウェアデコードよりも時間がかかり、バッテリー消費も大きくなります。

HEIF動画はH.264にトランスコードできます（変換に時間がかかります）。また、「互換性優先」をデフォルトに設定して、写真はJPG、動画はH.264で保存することもできます。ただし、この場合、4K動画を60fpsで撮影するための新しい録画オプション（およびA11 Bionic搭載iPhoneに新しく追加された24fpsのシネマティック設定）は無効になります。

AppleがA11 Bionic向けに独自のビデオエンコーダを開発し、それを公表したことは興味深い点です。これまでAppleは、iPodなどのデバイスに、MicrosoftのWMA、WMV、VC-1など、様々な独自規格のオーディオ・ビデオコーデックに対応した市販のコンポーネントを採用してきました。しかし、Appleはこの機能を有効化せず、MPEG LAパートナーが開発した業界標準規格を採用しました。

マイクロソフトがAppleが購入したチップのWindows Media IPからライセンス料を受け取っていたかどうかは不明だが、より大きな問題はAppleが使いたくない機能を搭載したコンポーネントにお金を払わなければならなかったことだ。独自のビデオエンコーダを開発することで、Appleはチップメーカーが選択する汎用的なコーデックパッケージではなく、自社がサポートするフォーマットのみに最適化できる。

Google傘下のYouTubeは当初、iOSユーザー向けにH.264動画コンテンツを提供するためにAppleと提携していました。しかしその後、On2から取得した独自のVP8およびVP9コーデックの進化に取り組んできました。iOSユーザーへのH.264動画の配信は継続していますが、高解像度の4K YouTubeコンテンツをH.264や新しいH.265/HEVCで公開しておらず、そのためSafariユーザーはYouTube 4Kをウェブ上で利用できなくなっています。

これにより、Apple TV 4Kは「YouTubeの4Kコンテンツを再生できない」という噂が広まりましたが、実際にはApple TV 4Kがデコードできるように設計されたコンテンツの提供を拒否しているのはGoogleです。この問題が解決するかどうか、そしてGoogleが今後iOSデバイスでの4Kサポートも拒否するかどうかは、まだ不明です。

iPhone 7、8、X（iPad、Apple TV、そしてMacで使用されている最新世代のIntel Coreプロセッサも同様）に、効率的かつ最適化されたHEVCエンコーダが搭載されることで、ユーザーは、通常ストレージ容量を最も消費する写真や動画を、より少ない容量でより多く保存できるようになります。また、書き出し、移動、そして消去するデータが半分になるため、SSDストレージの消耗も軽減されると考えられます。

しかし、HEVCによって可能になるもう一つのことは、より高フレームレートのコンテンツを録画できることです。iPhone 8とXでは、よりスムーズなカメラパンニングを実現するため、4Kビデオを60fpsで撮影できるようになりました。iPhone 7の既存の4Kビデオは鮮明なディテールを備えていますが、カメラや被写体の動きが速すぎると、映像が揺れることがあります。60fpsのスムーズな撮影により、動画の画質は格段に向上します。

しかし、フレーム数は2倍になるため、より高度な圧縮技術がなければ、1分間の動画で約800MBのファイルサイズを消費することになります。HEVCを使用すると、最終的な動画のサイズは4K 30fpsの動画とほぼ同等になります。ただし、HEVCの60fps動画を再生するには、かなりの処理能力または専用のハードウェアデコーダーが必要になることに注意してください。古いMacでは、iPhone 7の既存の4Kクリップの再生に既に問題があります。

A11 Bionic の残る興味深い側面の 1 つは、Apple が詳細を説明したチップの部品を積み重ねると、完全に謎に包まれた表面積がたくさんあることです。