Appleが製造するARヘッドセットやスマートグラスに関する噂は長年流れていますが、iPhoneメーカーであるAppleは今のところ、そのハードウェアの開発を公式に認めていません。iOS 13でARKitに追加された機能や、多数の特許、その他の報道は、Appleがその開発内容をこれまで以上に公開に近づいていることを示唆しています。
WWDC 2019の基調講演で、AppleはARKit 3に搭載される最新機能の一部を発表しました。ARKit 3は、開発者がアプリに拡張現実（AR）機能を追加できる同社のフレームワークです。iOS 13の一部として提供されるこれらの追加機能は、AppleのARへの取り組みを新たなレベルへと引き上げ、ユーザーが期待する理想的な技術へと近づけるでしょう。
しかし現時点では、AppleエコシステムにおけるARはiPhoneとiPadに限定されており、ユーザーエクスペリエンスという点では理想的とは言えません。ヘッドセットを使ったARは、ユーザーがモバイルデバイスの限られたウィンドウを覗き込むことなくAR効果を得られるため、AR技術の完成形となる可能性があり、Appleはプラットフォームの改良を重ねるごとに、ARの実現に一歩ずつ近づいています。
iOS 13のARKit 3
基調講演では、これまでのAR体験には欠けていた要素が、ARKitの以前のバージョンで実現可能になった点が強調されました。ARKit 3では、ARKitの没入感を高めるための多くの変更が加えられており、開発者はアプリでさらに多くの機能を提供できるようになります。
ARKit 3の主要コンポーネントの一つがピープルオクルージョンです。iOSデバイスはAR強化されたシーンの中央に人が立っていることを検知します。ARKit 3は、カメラの視野をデジタルオブジェクトで完全に覆うのではなく、ユーザーから人までの距離を検出し、デジタルオブジェクトが理論上想定される距離よりも近い場合は、オーバーレイを調整して、オブジェクトが人の背後に現れるように見せます。
この技術により、グリーン スクリーン スタイルの効果も実現可能となり、クロマ キー バックグラウンドを必要とせずに、アプリを通じて表示される被写体が完全にデジタル環境内を歩いているように見えるようになります。
デジタルオブジェクトを隠して被写体の後ろに表示する AR シーンのビュー
Appleはモーションキャプチャ機能も追加しました。これにより、被写体の動きをアプリ内でリアルタイムに分析・解釈できるようになります。被写体をシンプルな骨格に分割することで、関節や骨を特定し、変化をモニタリングできます。これらの動きに基づいてアニメーションをトリガーしたり、キャラクターのカスタムモーションを記録したりすることも可能です。
トラッキング機能の変更は、ARKit Face Trackingにも影響します。ARKit Face Trackingは、MemojiやSnapchatなどで、最新のiPhoneおよびiPad ProモデルのTrueDepthカメラを利用してユーザーの顔を分析しています。ARKit 3では、フェイストラッキングが拡張され、最大3つの顔を同時に処理できるようになりました。
もう一つの重要な要素は、ユーザーが同じAR環境内で互いに連携できる機能です。単一のセッションで同じアイテムと環境を見ることができるため、AR内で複数人によるマルチプレイヤーゲームや共同作業が可能になり、AR体験にソーシャルな要素を加えることができます。
ARKit 3 で導入されたその他の変更点としては、前面カメラと背面カメラを同時に使用してユーザーの顔と世界を追跡する機能、同時に最大 100 枚の画像を検出する機能、物理的な画像サイズの自動推定、より堅牢な 3D オブジェクト検出、機械学習による平面検出の改善などがあります。
Appleによる継続的な取り組み
ARKit の発表とは別に、特許は Apple の AR グラスの取り組みに関する第 2 の証拠源です。
Apple が米国特許商標庁に提出したアイデアを将来の製品やサービスに使うつもりであることは保証されていないが、少なくともこの提出書類は Apple の研究開発活動におけるこれまでの関心領域を示している。
ヘッドセットの内側と外側にカメラが取り付けられていることを示すAppleの特許出願の画像
ARヘッドセットの重要な要素はディスプレイです。仮想風景と現実風景が融合した完璧なイリュージョンを作り出すには、高速な応答時間が不可欠です。2016年12月と2017年1月に出願された「複数のスキャンモードを備えたディスプレイ」と題された特許出願では、高解像度・高リフレッシュレートの画面でアーティファクトが発生する可能性を最小限に抑えるために、ディスプレイの回路がディスプレイ全体ではなく、リフレッシュごとにディスプレイの一部のみを更新する仕組みが説明されています。
画面の一部のみを更新すると、ディスプレイがリフレッシュごとに実行する負荷が軽減され、リフレッシュ間隔が短縮され、画面全体の更新速度が向上します。また、更新速度が速いことで、ディスプレイの更新速度がユーザーの頭の動きに追いつかない場合に発生する乗り物酔いを軽減できる可能性もあります。
2017年に提出された「予測型中心窩型仮想現実システム」の申請で示唆されているように、この高速レンダリング機能は、吐き気や乗り物酔いの防止にも役立ちます。複数のカメラを搭載したヘッドセットで構成されるこのハードウェアは、低解像度と高解像度で世界を撮影します。高解像度の部分はユーザーの視線が向いているディスプレイ上に表示され、低解像度の部分は周辺部分を埋めることで、シーンの処理を高速化します。
2016 年の「世界とユーザーのセンサーを備えたディスプレイ システム」は、ヘッドセットの外側と内側のカメラを使用して環境とユーザーの目、表情、手のジェスチャーを追跡し、一種の拡張現実画像を作成して操作できるようにします。
視線追跡に「ホットミラー」を使用する特許出願画像
視線追跡は特許出願においても大きな注目を集めており、2019年5月の眼優位性判定に関する特許や、2018年の特許ではユーザーの頭部にできるだけ近い位置で視線追跡を行う方法を提案しています。視線追跡装置を顔に近づけ、「ホットミラー」などの赤外線を反射する器具を使用することで、ユーザーの頭部から離れた位置にかかる重量が軽減され、より快適なユーザーエクスペリエンスが実現します。
より実用的なレベルでは、Appleは2019年に、モーターで締めるバンドや、装着後にヘッドセットがずれるのを防ぐための膨張式セクションなど、様々な調整システムを用いてARグラスを完璧にフィットさせる方法を模索してきました。また、ヘッドセット内部のハードウェアだけでなく、ユーザーの顔も冷却する温度調節も重要な要素であると判断されました。
Appleは、別個のディスプレイではなく、ユーザーのiPhoneを目の前に置くだけのスマートグラスの開発も検討している。スマートフォンベースのシンプルなVRヘッドセット筐体の進化形として、Appleが2017年に提案した「ディスプレイ付きポータブル電子機器を保持するためのヘッドマウントディスプレイ装置」は、iPhoneを片側からスライドさせて装着するタイプで、カメラと外部ボタン、アーム部分に内蔵されたイヤホン、そしてリモコンを備えている。
iPhoneを握っているスマートグラスの特許出願画像
インタラクションに関しては、AppleはVRやARシステムでフォースセンサー付きグローブを活用する方法の開発に時間を費やしてきました。導電性の糸と埋め込みセンサーを使用することで、グローブやその他の衣服にフォースセンサー機能を搭載し、コマンドのトリガー、ジェスチャーの読み取り、さらには物理的な物体に接触している指の数をカウントすることが可能になります。
応用面では、Appleの特許出願によると、ARは配車サービスに活用できる可能性が示唆されています。スマートグラスを使えば、乗客は乗車場所を見つけることができ、乗客もスマートグラスを使って目的地まで行くことができます。ナビゲーションに関しては、2019年の特許では、ARを介して現実世界の視界に興味のある場所を表示する方法が提案されており、さらに、注目すべき地理的特徴だけでなく、部屋にあるアイテムの位置も表示できるように拡張することも可能です。
スマートグラスに「興味のある場所」ナビゲーションアプリが登場する可能性
報告と推測
Appleが何らかのスマートグラスやARヘッドセットを開発するというアイデアは以前から出回っており、今後数年以内にハードウェアがリリースされる可能性があります。Loup Venturesのアナリスト、ジーン・マンスター氏は2018年、Appleが「Apple Glasses」を2021年後半にリリースし、1台あたり約1,300ドルの価格で、発売初年度に最大1,000万台を販売する可能性があると示唆しました。
もう一人の長年のApple評論家、ミンチー・クオ氏は最近、このヘッドセットは2020年半ばに登場し、製造は2019年末に開始される可能性があると示唆した。
このメガネの外観について、クオ氏は、iPhoneが処理の大部分を担い、ディスプレイとして機能するのではないかと示唆している。また、ケーブルレス接続を可能にする60GHzの無線ネットワークシステム「WiGig」や、8K解像度のアイピース、そして「T288」と呼ばれるコードネームも噂されている。
視線追跡技術を買収したSensoMotoric Instruments社が製造したヘッドセット
ヘッドセット開発に関するこの件は、2017年に流出した安全報告書で明らかになりました。Appleのオフィスの一つでプロトタイプデバイスのテストを行っていた人物が、「応急処置を超える医療処置」を必要とする事故に遭ったことが報告されています。具体的には、目の痛みに関する怪我であり、視覚関連のテスト、おそらく何らかのヘッドセットのテスト中に起きたことが示唆されています。
また、Appleは2019年のCESでARヘッドセットのコンポーネントの調達について技術サプライヤーと話し合ったと報じられており、匿名のApple社員が導波管ハードウェアのサプライヤーのブースを訪問したという。
ARやヘッドセット製造に密接に関連する企業の買収も行われています。2017年にはAppleが視線追跡技術企業のSensoMotoric Instrumentsを買収し、2018年8月にはARヘッドセット向け特殊レンズの開発に特化したスタートアップ企業Akonia Holographicsを買収しました。
