AppleのiPhone X TrueDepth ARがGoogleのTangoを凌駕した経緯

AppleのiOS 11は、強力なA9、A10 Fusion、またはA11 Bionicチップを搭載した3億5000万台以上のiOSデバイスに拡張現実（AR）をもたらします。しかし、同社の新型iPhone X専用のARがもうすぐ導入されます。AppleのARに関する大きなサプライズを詳しく見ていきましょう。

TrueDepthカメラで顔にARKitを搭載

Apple の iOS 11 の ARKit 向け既存プラットフォームは、シングルカメラの iPhone および iPad モデルの大規模なインストールベースをターゲットにしていますが、同社はまた、近い将来 Android スマートフォンには搭載されないものをリリースしようとしています。それは、さらに洗練された AR 効果を実行できる前面の深度カメラです。

iPhone Xでは、ARKitアプリはTrueDepthカメラを活用して、ユーザーの顔を3Dグラフィックスが構築される表面に映し出すことができます。顔のジオメトリを用いてユーザーのポーズ、顔の形、表情をトラッキングし、アニ文字（下記参照）、ポートレートライティング効果、マスク、アバターなどを実現します。つまり、前面カメラで高度な深度を持つARエフェクトを実現できるのです。

ARKitのフェイストラッキング機能は、写真に単なる拡張レイヤーを重ねるのではなく、カメラアレイとスマートフォンの6軸モーションセンサーを用いてユーザーの顔と動きを検出し、位置を追跡します。これにより、バーチャルメイクやタトゥー、ひげ、メガネ、ジュエリー、帽子などの「自撮りエフェクト」を作成できます。また、「フェイスキャプチャ」機能も搭載されており、リアルタイムの表情をキャプチャしてキャラクターアバターなどの3Dモデルをアニメーション化できます。

GoogleのARは、ここまで遅れをとる前は先行していた

Apple の新しいレベルの深度カメラベースの AR テクノロジーは、Android の ARCore が基本的なシングルカメラ AR を厳選された少数の高価格帯の Android モデルに少しずつ提供しているのと同じように、何千万人もの iPhone X ユーザー向けのプラットフォームを構築し始めるだろう。

Google は AR ソフトウェアの導入で数年遅れているだけではありません。Android エコシステムは、Apple が来月中に数百万台に展開しようとしている深度ベースの AR を実現できる深度カメラを搭載した量販デバイスの開発をサポートできるビジネス モデルの作成においても大幅に遅れています。

奇妙なことに、Googleは当初、深度カメラを必要とするより野心的なARである実験的なProject Tangoで業界をリードしていました。この技術の系譜は、Appleが買収したPrimeSenseとFlyBy Mediaでの同様の研究に遡ります。

Tangoは視覚慣性オドメトリに加え、SLAM（Simultaneous Localization And Mapping）にも対応しています。これは、深度カメラシステムが「認識」した地図を作成し、後で使用するためのものです。自宅やあなたが利用するあらゆる場所のこの成長する地図は、Googleマップのストリートビューを作成するGoogleのカメラカーのように、世界の広大なモデルを収集します。ARKitにSLAMを組み込まなかったのは、意図的な決定でした。

ARKit 1.0は、ユーザーが使用する際に世界を正確にマッピングするのではなく、軽量で即時にARを活用して探索可能な3Dビジュアルを作成することに重点を置いています。ただし、GPSやiBeaconといった屋内位置情報システムと併用することで、既存の地図と組み合わせたARを実現できます。ARKitにSLAMを組み込まないのは意図的な決定です。AppleはSLAM技術を用いた屋内マッピングに取り組む企業を買収しているためです。

GoogleがTangoに取り組んだ技術的複雑さの増大と、動作に必要な複雑で高価な深度カメラが相まって、一般の人々が使える実用的な形でリリースされることはありませんでした。さらに、ARを一般向けに展開するためのハードウェアとソフトウェアの技術を自ら構築するのではなく、Googleは実験的な作業の応用先を見つけるためにサードパーティに依存していました。

Google の Tango は間違った方向に踊りました。

Googleは何年にもわたる作業を経て、約3,000人の好奇心旺盛な研究者に実験的なTangoスマートフォンとタブレットを少しずつ提供し、その後昨年、中国のLenovoと提携してPhab 2 Pro「Tango」スマートフォンの背面に深度カメラシステムを搭載し、今年初めには同様のAsus製Zenfone ARをリリースした。

しかし、これらのTangoスマートフォンはどちらも、背面カメラを用いた深度ARを実装していました。これは一見理にかなった設計上の決定のように思えますが、深度ARを独立したギミックとして扱い、VIOを用いたシングルカメラARと比べてわずかに優れている程度で、スマートフォン本体が大幅に高価になってしまいました。CNETはPhab 2 Proを「大きくて重い、期待外れのハードウェア、古いバージョンのAndroid、NFC非搭載の凡庸な端末」と結論付けました。

Tangoスマートフォンとは異なり、iPhone Xは前面にTrueDepthセンサーを搭載しています。現状と比べると、これは時代遅れのように思えますが、深度ベースのARを巧妙な「トリック」として実現するだけでなく、深度センサーが他の有用な機能にも活用されていることに気付くと、その効果に驚かされます。例えば、Face ID認証、セルフィーでお馴染みのポートレートライティング効果、そして若いSnapchatユーザーの間で既に大人気となっている高度な顔認識アバターフィルターなどです。

Appleの前面TrueDepthカメラが、Tangoの背面搭載深度カメラシステムよりもモバイル用途で大きな優位性を持つもう一つの理由は、深度カメラは消費電力が大きいため、スマートフォンを目の前にかざしながら店内をナビゲートするというのはあまり現実的ではないということです（Tangoの「Visual Positioning System」は、実はGoogleが今年の夏のIOで発表した機能の一つでした！）。さらに、深度カメラを屋外で使用すると、太陽光が深度カメラシステムから投影される赤外線照明やドットを圧倒してしまうため、問題が生じる可能性があります。

TrueDepthセンサーを前面に搭載することで、Appleは必要な時だけ（Face ID用に短いバースト光を頻繁に照射したり、ユーザーがアニ文字を撮影している時のみ）センサーをオンにすることができます。また、システムは周囲の環境全体を目に見えない形で照らすのではなく、ユーザーの顔だけを照らせば済みます。

Apple は Face ID が「暗闇でも」機能すると指摘し、ユーザーが期待する場所での使用を意図した設計であることを強調している点に留意してください。これは Tango や Google の VPS とは対照的です。Tango や Google の VPS は、AR 関連の SLAM や VIO を実用的な機能として実際に提供することがはるかに難しい、大規模でオープンな屋外環境で考えられるあらゆる場所で機能すると野心的に主張しています。

TangoはNewton。ARKitはiPod

新しい技術（あるいは芸術）を成功させるには、馴染みのあるものに根ざすことが重要です。あまりにも新しい技術だと、誰もその技術とどう向き合えばいいのか分かりません。しかし、あまりにもありふれた技術だと、その技術を開発しても独自の価値はほとんどありません。Appleは、単に先駆者になることだけでなく、誰も思いつかなかったような実用的で価値のあるソリューションを市場に投入することを目指しています。

Appleは、常にこれほど集中していたわけではありません。1990年代初頭、野心的なタブレットプロジェクトとしてNewtonを開発しましたが、新技術に見合う価格で、その実用性を明確に示すには、開発が不十分でした。何年もの開発期間を経て、NewtonはPalmの不意打ちを受けました。Palmは、より安価で技術的には劣るものの、より実用的で便利なPilot PDAを発売したのです。

Google は Tango に関しても同様の問題を抱えている。Apple が意図的に実装しないことを選択したテクノロジー (Tango では重要な役割を果たしているが ARKit 1.0 には含まれていない SLAM マッピングなど) の開発に多大な労力を費やした結果、大半の主流ユーザーにとっての価値が同等に増大しないまま、複雑さと費用が増大している。

学者たちは Tango が理論上はどれほど優れているかについてブログに書くことができますが、もし Tango がその野心的な約束を果たせず、実装に費用がかかるために誰も使用せず、現実世界での使用が少ないために更新もメンテナンスもされずに完成することもないのであれば、それはあまり意味がありません。

2010年にiPhone 4のプロトタイプを盗んだブロガーたちは、それを手に入れたものの、それがRetinaディスプレイやジャイロスコープを搭載したり、FaceTimeが導入されたりするとは知らなかったのと同じように、iPhone Xの基本設計は、Appleの深度AR戦略が単にイケアの家具を部屋の中で視覚化する以上のものだということを本当に理解していないリーク情報筋によって広められた。

TrueDepthは、デバイスの所有者を安全に識別・認識し、自撮り写真の画質を向上させ、アナ文字チャットやサードパーティ製アバターのアニメーション世界に引き込む手段として実装されました。AppleがiPhone XにTrueDepthを独自に実装したことで、ユーザーを独自の新しい深度カメラの焦点に据えることができました。

モバイルデバイスの背面に深度ベースのAR（ARKitのほとんどとは異なり、実際の深度カメラが必要）を搭載する興味深いアプリケーションがいくつかあります。しかし、これを実現する商用ソリューション（Occipitalの379ドルのiPad用外付けStructure Sensorなど）はすでに存在しており、それほど世界的なブームにはなっていません。

AppleがiPhone Xに搭載したTrueDepthの革新的な実装により、独自の深度カメラはユーザーに焦点を当てるようになりました。このカメラは、目に見えない赤外線を赤外線カメラに反射する投光イルミネーターと、構造センサーとして機能するランドマークポイントのグリッドを作成するドットプロジェクターを並列に組み合わせています。

深度ベースのARを実装するための複数の方法

この技術の実装方法は多岐にわたります。マイクロソフトは、Xbox Kinectゲームの前のリビングルームを赤外線でマッピングし、ユーザーの身体をトラッキングすることに注力しました。斬新ではありましたが、他のモーションコントローラーよりも優れたゲームプレイは実現できず、多くの単純な欠点を抱えています。また、このシステムはコストもかさみ、Microsoftの最新世代のゲーム機がKinectをバンドル機能から外すまで、競争力が高すぎるという問題を引き起こしました。

同様に、大型の Android スマートフォンの背面に構造センサーを搭載した Google の Tango 実験では、室内の物体のマッピングに関する斬新な機能の可能性が示唆されましたが、すぐに使える機能はほとんどなく、ユーザーを獲得するにはコストがかかりすぎました。

Apple の二本柱のアプローチにより、シングル カメラ ARKit が 3 億 8,000 万台のデバイスに導入され、iOS 11 の無料アップデートでユーザーにこの技術を知ってもらうことができます。同時に、ユーザーは iPhone X の前面にある TrueDepth カメラによる AR という、さらに洗練された世界を選択することもできます。この AR では、デバイスの背後にある外の世界ではなく、ユーザーを映します。

TrueDepthカメラを使って絵文字を動かすデモをAppleが軽薄だと嘲笑する者もいたが、実際にはクレイグ・フェデリギ氏がiPhone Xのこの機能のデモに割いた時間は、スティーブ・ジョブズ氏がiPhone 4のジャイロスコープを使ってJingaブロックを動かすデモに割いた時間よりも短かった。賢明な観察者にとって、どちらも、大規模なユーザープラットフォームに提供されれば、アプリ開発者が驚異的な新技術をいかに活用できるかを示す例だった。

秘密開発でGoogleを出し抜く

AppleがTrueDepthシステムに便利で魅力的な機能を見つけ出し、それをiPhone Xの大量販売につなげようとした努力は、今にして思えばあまりにも明白であり、Androidメーカーは今やそれを模倣しようと躍起になっている。だからこそ、AppleはiPhone Xの販売がほぼ完了するまで、TrueDepth ARの実装計画を公言しなかったのだ。

さらに、iOS 11でシングルカメラARを3億8000万人以上のユーザーに展開し、深度ベースの顔追跡ARをiPhone Xの独自機能として導入するというAppleの戦略は、今になって初めて明らかになったもので、模倣のAndroidメーカーやそのプラットフォームリーダーがすぐに追いつくには遅すぎます。

Googleは、深度カメラTangoの開発の一部を、よりシンプルなシングルカメラ実装（最近ARCoreとしてブランド変更）で救済しようと試みてきた。しかし、最も価値が高く導入しやすい技術を最初に特定できず、同時に、独占プレミアムとして販売できるより高度なレイヤーの開発も進めなかったため、AppleのARKit展開に大きく遅れをとっており、深度ベースのARをゼロからやり直さなければならない。Appleの成果をモデルにしたプレミアム価格のTangoの2度目の試みを採用してくれる企業を見つけられるかどうかは別として。

AppleがTrueDepth技術を独自かつ革新的な方法で応用する開発を秘密裏に進めてきたことは、Google Wallet（Apple Payに圧倒された）、Android NFC Beam（Bluetooth 4 Continuityに圧倒された）、Android指紋センサー（Touch IDに敗北）の歴史を本質的に再現したと言えるでしょう。実験的な新技術をいち早く発表することよりも、より優れた実装で規模を拡大し、消費者に真の価値を提供することの方が重要だったことは明らかです。