画像の最適化から、仮想現実や拡張現実内での物理コントローラーの複製、完璧なオーディオの確保まで、Apple が噂しているヘッドマウントディスプレイや AR グラスに関する最新の公開資料にはすべて記載されています。
Appleは仮想現実（VR）と拡張現実（AR）に関する計画があることをほとんど隠していませんが、5件の新たな特許出願は、その計画がどれほど詳細になっているかを如実に示しています。これらの特許は別々に出願され、それぞれ異なる発明チームに帰属しており、ヘッドマウントディスプレイを装着しているときに見えるものから、装着していないときに見えるものまで、あらゆるものを網羅しています。
5つのうち3つは、ユーザーに表示される画像が鮮明でクリアであること、均一な照明と十分な明るさを確保することに主眼を置いています。また、ヘッドマウントディスプレイの制約の中で、これをどのように実現するかについても検討しています。
高解像度のARまたはVR画像を表示する
「導波ディスプレイ システム」では、煩わしい装置で鼻に装着するヘッドマウント ディスプレイを使わずに、高品質の画像を取得する方法について具体的に説明します。
「ディスプレイを備えた電子機器は、ユーザーにコンテンツを表示するために使用される場合があります」と説明されています。「注意を払わないと、電子機器内でユーザーにコンテンツを表示するために使用されている部品は、見栄えが悪くかさばり、望ましいレベルの光学性能を発揮できない可能性があります。」
VRは、画像を生成するプロジェクターとユーザーが見るレンズを分離することでこの問題を回避しています。拡張現実（AR）システムでは、AR画像はユーザーが見ている現実世界の画像と合成されます。AR画像をルーティングし、現実世界と合成するには、導波管と呼ばれる光学系が用いられます。Appleは、ARと現実世界の光量差を一定に保つために、「ビームスプリッター構造」を組み込む予定です。
「電子デバイスは、画像光を放射するディスプレイ、導波路、および画像光を導波路に結合する入力カプラを備えることができる」と特許は続ける。「ビームスプリッタ構造は、ビームを2次元（例えば、導波路の側面）にわたって複製することができる。このようにして、アイボックスには、ディスプレイからその領域全体にわたって均一な強度の光が供給され、広い視野が得られる。」
この導波管特許は、Guolin Peng、Eric J. Hansotte、および以前の「ディスプレイ用光学システム」特許でも功績を共有した 4 名を含む 10 名の発明者によって発明されました。
VR ヘッドマウントディスプレイでは、煩わしい接眼レンズを避けるために、ミラーを使って画像を反射することができます。（写真は Magic Leap One Lightwear AR ゴーグルです。）
次に、別の特許出願「スキャン表示システム」も、ユーザーが見る画像に関するものですが、具体的にはその明るさと解像度に関するものです。
この特許には、「スケーラブルな用途に十分な光学的明るさ、表示解像度、そしてコンパクトさを備えた投影・表示システムを構築することは困難である」と記されており、ヘッドマウントディスプレイは堅牢でなければならないことも指摘されている。「落下衝撃や熱負荷といったユーザーケースも考慮する必要がある」
ヘッドセットの誤用によりミラーが損傷する可能性がありますが、一部のシステムでは通常の動作でも変形することがあります。ここで説明するシステムはスキャンミラー、つまり回転ミラーを使用しており、ミラーのサイズと回転速度に問題があります。
「一般に、遠距離場領域での画像解像度を最大化するために、光学系の走査ミラーにできるだけ大きな反射領域（直径1.2～2.0 mmなど）を設けることが望ましい」と特許は続けている。
「しかし、ミラーを高速でスキャンすると、ミラーに物理的な変形が生じる可能性があり（特に比較的大きなミラーの場合）、これにより画像光が分散し、遠距離場での画像解像度が制限される」と論文は続けている。
ここで提案されているシステムは、「斜めの列と垂直の列に交互に配置された発光素子のアレイ」を使用します。その目的は、「これらの困難を克服し、高フレームレートで高解像度（低発散）の画像を提供しながら、光学系を[ヘッドセット]の制約されたフォームファクター内に収めることができる」光学システムを提供することです。
現実世界のオブジェクトとVRを融合する
ヘッドマウントディスプレイは、ユーザーの現実世界の視界と並行してAR画像を表示するだけでなく、ユーザーが外部の物体を視認し、操作できることも必要です。完全に仮想現実の空間を視聴している場合、ユーザーはコントローラーなどのデバイスを実際に手に持っていても、その存在を認識できません。
発明家モハメド・セリム・ベン・ヒマネによる「トラッキングとドリフト修正」は、その問題を解決することを目的としています。
Vuzix Bladeスマートグラス
この特許には、「[既存の]システムは、コンテンツを提供するデバイスに対するそのような別個のデバイスの位置を適切に追跡することができず、したがって、そのような別個のデバイスまたはその表現を表示して、ユーザーのインタラクションをガイドすることができない」と記載されています。
「例えば、CGR（コンピュータ生成現実）環境を提示するヘッドマウントデバイス（HMD）を装着したユーザーは、携帯電話のタッチスクリーンを入力デバイスとして使用するために、CGR環境内で自分の携帯電話の表現を見る必要があります」と論文は続ける。「しかし、携帯電話とHMDの相対的な位置を正確かつ一貫して効率的に追跡できなければ、携帯電話の表現をCGR環境内の現実世界の位置に対応する位置に表示することはできません。」
Appleが提案するシステムでは、現実世界の携帯電話を正確に追跡し、仮想バージョンを正しい場所に表示される。「ユーザーが仮想リモコンの仮想ボタンを仮想的にタッチすると、実際には2つ目のデバイスのタッチスクリーンの対応する部分に触れたことになり、それが仮想環境を制御または操作するための入力として認識される。」
オーディオの問題
これらの特許はそれぞれ、具体的な方法や用途を詳細に規定していますが、ユーザーに表示される画像のみを対象としているわけではありません。「マルチモーダルオーディオを備えたディスプレイデバイス」は、ユーザーが聞く内容に焦点を当てています。
画像を表示する近眼ディスプレイの他に、ヘッドマウントディスプレイには、表示される音声の種類に合わせて調整できるイヤピースも備わっています。
「オーディオ操作の柔軟性は、システムを様々な設定や環境で使用できるという点で、しばしば望ましい」と特許には記されており、5人の発明者を名乗っている。その中には、ロバート・D・シルヴァスト氏、クリストファー・T・ユーバンク氏、ニール・D・エバンス氏も含まれており、彼らは最近、「Apple Glasses」の取り外し可能なイヤホンに関する特許の発明者として記載された。
Apple は、ボウリングのボールを目で見るのと同じくらい、その音を耳で聞いてもらいたいと考えています。
「例えば、仮想現実（VR）の文脈では、より没入感のあるオーディオ体験が望ましいかもしれない（例えば、外部のノイズを遮断またはキャンセルするため）。一方、拡張現実（AR）や複合現実（MR）の文脈では、外部のノイズはそれほど重要ではないかもしれない」と報告書は述べている。
頭に装着しないヘッドマウントディスプレイ
5件の特許出願の中で最も意外だったのは、ポール・X・ワン氏による「内部ディスプレイと外部からアクセス可能な入出力装置を備えた電子機器」でしょう。これは、ヘッドマウントディスプレイが頭部に装着されていない状態で何が起こるかに関するものです。
このアイデアは、ユーザーがヘッドセットを外しても、何らかの形で使用できるようにするためのものです。
特許には、「状況によっては、ヘッドマウント型電子機器などの電子機器をユーザーが操作することが困難な場合があります。しかし、ヘッドマウント型電子機器を装着していない場合は、ユーザーはディスプレイ上のコンテンツを見ることができません。そのため、ユーザーが機器や関連機器を操作する能力が妨げられます」と記されています。
このシステムは、ヘッドマウントディスプレイの接眼レンズに画像を投影するのではなく、「近くの表面」に投影することができます。例えば、Appleは、これによりユーザーがデバイスを操作できるようになると示唆しています。
「画像には、ユーザーが操作できる仮想キーボードが含まれる可能性があります」と記載されています。
Appleは、AR/VRヘッドマウントディスプレイを頭部に装着した際の外観と音質、そして装着していない際の活用方法を検討しています。今回出願された5件の特許は多岐にわたりますが、10年以上前から続く一連の特許出願の最新のものにすぎません。
