Appleは仮想現実（VR）と拡張現実（AR）の分野で数多くの特許と出願書類を取得しており、最終的にはiPhoneメーカー初のヘッドセットの開発につながる可能性がある。AppleInsiderは、ヘッドマウントディスプレイ以外の技術を活用した出願書類も含め、同社の出願書類の一部を検証した。
長年にわたる報道では、Appleが拡張現実（AR）や仮想現実（VR）を活用したヘッドセットやスマートグラスを開発するのではないかと推測されてきました。以前の報道では、ハードウェアの発売は2021年になる可能性が示唆されていましたが、ミンチー・クオ氏の投資家向けメモでは2020年の発売が示唆されています。しかし、結局のところ、少なくとも理論上は、Appleがこの分野で製品を発売するまでそれほど長くは待たないことを意味します。
同じ噂では、WiGig などの技術を使用して近くの iPhone やその他のホスト デバイスに接続し、軽量のヘッドセットを作成することや、最適なユーザー エクスペリエンスを実現するために片目ごとに 8K ディスプレイを使用することが示唆されています。
噂は筆者の考えに基づいた憶測に過ぎませんが、Appleがグラフィックス分野に取り組んでいることを裏付ける数少ない証拠の一つが、複数の特許の存在です。長年にわたり、様々な出願や特許が明らかになり、AppleがARやVR体験向けのソフトウェアやアプリを開発しようとしていることが示されているだけでなく、ヘッドセット以外にもハードウェアの設計やアプリケーションの可能性を示唆しています。
ハードウェア
ヘッドセットやメガネがどのような形になるかについては議論があるが、特許や申請書類を見ると、Apple がさまざまな製品カテゴリーが抱える、規模の大小を問わず、小さいながらも重要な問題の多くを解決することに取り組んでいることが分かる。
2018 年 3 月に米国特許商標庁が公開した「複数のスキャン モードを備えたディスプレイ」に関する特許出願では、ヘッドセットのディスプレイ要素を最適化して、画面を可能な限り高速に更新できるようにする方法が示唆されています。この問題は、使用されるピクセル数が多いため、高解像度ではさらに複雑になります。
変更が必要なディスプレイのセクションのみを更新することで、ヘッドセットが実行する作業が減り、ユーザーエクスペリエンスを損なう可能性のあるディスプレイアーティファクトが発生する可能性が最小限に抑えられます。
視覚体験は、可能な限り完璧な体験を実現するために、ユーザーの監視を強化するほど重要です。2018年4月に登場した「視線追跡システム」のアプリケーションは、簡単に言えば、ユーザーの視線の動きやディスプレイに対する位置などを追跡しようとするもので、これは現行世代のヘッドセットでは追跡できないものです。
アイトラッキングには、ユーザーの視線の位置を把握することで、よりリアルな被写界深度効果を実現できるなど、いくつかの利点があります。また、ユーザーが必ずしも正面を向いていなくても、特定の要素を見ているときにシーンの一部をアニメーション化するなど、視線に基づくインタラクションも提供できます。
ある特許の図解における反射型視線追跡の例
Appleのソリューションの注目すべき点は、一般的な視線追跡デバイスは最適なモニタリングのために目の反対側に配置する必要があるのに対し、Appleは鏡などの部品を用いて視線追跡ハードウェアをユーザーの頭部に近づけている点です。一般的に、重量物がユーザーから離れるほど、顔への圧迫感が増し、長時間の使用で不快感を感じる可能性があります。
最近の特許出願である「調整機構付きヘッドマウントディスプレイ」では、ヘッドバンドを電動で締め、硬いヘッドセットの膨張式ブラダーを使用して、最小限の動きでディスプレイを頭蓋骨に固定することで、ユーザーの快適性の問題を解決しようとしています。
これらのシステムは自動化が可能で、例えば、バンドがずれていると検知された場合やユーザーが素早く動いた場合、バンドを締めるといった動作が可能です。また、視線追跡機能も搭載されており、ユーザーの視線を計測することでヘッドセットの最適な位置を測り、理想的な位置に対する目の位置に基づいて自動的に調整されます。
後ろの箱は電気モーターでバンドに張力をかけるのに使われます
同時に、「ヘッドマウントディスプレイの熱制御」に関する別の特許出願は、発熱問題の解決を目指していました。ディスプレイなどの部品は大量の熱を放出する可能性があり、ヘッドセット内の他の部品だけでなく、ユーザー自身にも問題を引き起こす可能性があります。
Appleの解決策は比較的シンプルで、ファンと通気口によってコンポーネントが配置されているチャンバー内の空気の流れを良くする仕組みです。同時に、フェイスシールからヘッドセット内に空気を吸い込むことで、別途空気取り入れ口を設ける必要がなくなります。
空気の流れはユーザーにとっても有益となる可能性があります。空気が暑すぎたり、湿度が高すぎたりすると、ユーザーは長時間目に晒されることを好まないかもしれません。ここでも、Appleはファンを使用してそのエリアの空気を循環させることを提案しています。ファンは、部品の温度、湿度、ユーザーの皮膚温度、さらには発汗量に応じて自動的に作動させることも可能でしょう。
VR の面では、Apple が 2018 年 3 月に申請した「予測中心窩型仮想現実システム」の特許には、高解像度の画像と低解像度のバージョンの両方を同時に出力するデュアル解像度システムが関係しています。
理論上は、低解像度オプションは常に利用可能となりますが、高解像度画像は処理コストの関係で、比較的限られた範囲しか表示されないという前提に基づいています。高解像度画像が処理されている間、低解像度バージョンはユーザーの視界の一部に表示され、ユーザーは周囲の状況を大まかに把握することができます。また、高解像度画像はユーザーが注目している部分にのみ表示し、残りの部分には低解像度バージョンを使用するといったことも可能になります。
ヘッドセットの内外を監視するための多くのセンサーがどこに配置されているかを示す特許画像
同時に浮上した「世界とユーザーセンサーを備えたディスプレイシステム」は、筐体の内外に多数のカメラやその他のセンサーを搭載したヘッドセットを示唆している。内部のセンサーは視線、表情、頭の動きをモニターし、外部のセンサーは室内をトラッキングし、複数のライブビデオビューを生成して処理する。さらに、ヘッドセットの下でユーザーの手のジェスチャーも検出できる。
iPhoneをディスプレイとして差し込めるスペースを備えた「メガネ」の例
当時浮上した3つ目の出願は、現在のGoogle Cardboardスタイルのヘッドセットとスマートグラスを組み合わせたもので、「ディスプレイを備えた携帯用電子機器を保持するためのヘッドマウントディスプレイ装置」とは、実質的にiPhoneや類似のデバイスを保持できるグラスを指している。
シールドメガネのような形状のiPhoneは、ユーザーの目線に合わせて前面に差し込み、Lightningポートに接続します。背面カメラは画面を捉えるだけでなく、音声出力や換気のための穴も備えています。
このメガネには、内蔵イヤホン、操作用のリモコン、手動制御用のサイドボタンも付いています。
指センサーユニットの取り付け位置を示すAppleの特許出願画像
ARやVRとは直接関係ないが、Appleはユーザーが仮想オブジェクトとどのようにインタラクトできるかについても検討しており、その重要な例としては、ジェスチャーコントロールや触覚フィードバックを提供できるウェアラブルグローブのような入力デバイスが挙げられる。
アプリケーション
Appleの計画においてハードウェアは重要な役割を果たしていますが、ソフトウェアについても同様です。ARKitは開発者がアプリにARコンテンツを簡単に追加できる素晴らしいスタートですが、Appleはヘッドセットとデバイスの両方において、その有用性を拡大する方法を模索しています。
2017年10月、新たに公開された特許出願では、画像を動的に修正し、それとテキストデータをリアルタイムでユーザーに提示する方法が詳述されていました。この特許は具体的には、静止画と動画の両方において、視界に合わせて画像を歪ませる必要があるヘッドセットに関するものでした。
歪みは、2018 年 8 月に発見された別の特許出願でも提起された問題です。「球面投影による歪みを補正するための正距円筒オブジェクト データの処理」では、360 度カメラ リグで作成されたビデオを組み合わせる際のエラーと問題を修正する方法が説明されていました。
複数のカメラを使用した360度カメラリグ
エンコーダは、動画を大きな画像として扱うのではなく、ピクセルブロックに分割します。分割されたピクセルブロックは、シーン内の位置、そしてユーザーがその方向を向いている場合の「視界」内の位置に応じて、異なる方法で処理されます。赤道上のピクセルブロックは、球体の上部または下部にあるピクセルブロックよりも単純に処理されます。
2017年4月に出願された「現実環境における仮想オブジェクトの表示方法および装置」に関する特許出願では、デバイスの現実世界の画像を利用して、仮想オブジェクトをあたかも現実世界に置かれた物理的な物体のように見せる方法が説明されていました。この特許出願の要素は、ARKitがカメラ内ビュー内に配置されたオブジェクトを可能な限りリアルにレンダリングする仕組みの一部となっています。
コンテンツやアプリケーションの作成からアプリケーション自体に目を向けると、2018年3月に出願された「3Dドキュメント編集システム」という特許は、VRまたはAR空間内でのドキュメント作成という課題を扱っています。Appleはヘッドセットを用いて、空中に浮かぶ3Dテキストエディタを構想しており、テキストには奥行きなどの一般的な特性が備わっているとのことです。
これは「3D の Word」とも言えるかもしれませんが、VR でドキュメントを作成すると、ドキュメントの他の部分よりもアイテムをユーザーの近くに配置することで、要素をユーザーにとってより目立たせるなど、いくつかの利点が得られます。
Appleの3Dドキュメントエディタのコンセプト
AppleはARの普及にナビゲーションが非常に重要であると考えているようで、その特性を有効活用した特許や出願もいくつか提出されています。2017年1月に提出された特許の中には、周囲の環境を検知し、美術館の絵画などのアイテムに関する情報をユーザーにリアルタイムで提供できるモバイルデバイスに関するものがあります。
システムは、建物内でのユーザーの位置を単に特定するのではなく、デフォルトの低電力スキャンモードで近くにあるアイテムを能動的に識別し、その後、高電力モードに移行してアイテムに関連するARコンテンツをダウンロードして表示します。単一の背面カメラを用いた光学トラッキングにより、少なくともカメラの視野内では、ARデータがその場所に固定されているような印象を与えることができます。
2019年2月に付与された「モバイルデバイス上の現実環境のビュー内に関心地点を表示する方法及びそのためのモバイルデバイス」に関する特許は、ユーザーの周囲をARビューでオーバーレイ表示する機能を提供します。Appleは、この特許において主に一般的なナビゲーションの概念を指し、関心地点と関連データをカメラビューに重ね合わせることで、ユーザーが自分の位置との関係でその場所が大まかにどこにあるかを把握できるようにしています。
オブジェクトスキャンの特許出願からの画像
ここでも、カメラのビューを使用して、見ることができる興味のあるポイントを決定し、ユーザーに提供できるデータを決定します。
注目すべきは、この特許が都市のような広いエリアでの一般的なナビゲーションだけでなく、より直接的にアクセス可能な場所にも適用される点です。このようなシステムは、ダッシュボードを囲むようにして関心のあるエリアをハイライト表示することで、ショールームにいる車の主要な機能に関する詳細情報を提供できる可能性があります。また、紛失したiPhoneの位置など、自宅内の情報を知るためにも活用できる可能性があります。
この特許では、アップルは、モバイルデバイスだけでなく「半透明ディスプレイ」を備えたスマートグラスでも使用できることを示唆しており、ユーザーはARインジケーターを自分の周囲の現実世界の映像に重ねて見ることができるという。
仮想的なスマートグラスでポイントオブインタレストシステムがどのように機能するかを示す
車の中で
モバイルデバイスやヘッドセットはVRやARの活用先として当然の選択肢ですが、Appleはこれらの技術が活用できるより広範な分野にも着目しています。それは自動車工学分野にも通じる分野です。
2018年4月に発見された「立体画像を用いた適応型車両拡張現実ディスプレイ」に関する特許出願は、車内のARシステムがドライバーと乗客に前方の道路の別の視点を提供する仕組みを説明しています。ルート、興味のある地点、車載センサーなどのデータを使用することで、このシステムは、ユーザーの視界を遮る山や建物の向こう側のルートの眺めや、霧などの視界不良状況における道路の鮮明な眺めなどを提供できるようになります。
車両の前方の道路をコンピュータで生成した画像の例
他の特許や出願との重要な違いは、Appleが情報を必ずしもヘッドセットやメガネに表示するのではなく、ドライバー自身の道路状況に重ねてフロントガラスにARオーバーレイとして表示するという構想を持っていることです。
Appleは「Project Titan」というプロジェクト名の下、周囲の状況を監視できるセンサーを搭載した自動運転車の開発など、他の自動車分野にも注力しています。このプロジェクトは自動運転車が中心ですが、Appleはこの分野での取り組みを通じて、運転技術の向上を目的とした多くの技術特許を取得しており、ARビューもその一つです。
伝説的な AR スマートグラスとほぼ同じくらい噂されているものの、Project Titan がどのように進化して消費者向け製品になるのか、あるいはそもそもそうなるのかはまだわかりません。
