Apple の AR グラスや VR ヘッドセットには、さまざまなリスニング モードを提供できる切り替え可能なオーディオ システムが搭載される可能性があり、さらに、現実世界の映像と仮想画像を高速でスムーズに融合できるシステムも組み込まれています。
噂の絶えないApple Glassスマートグラスや、拡張現実（AR）／仮想現実（VR）ヘッドセットといった製品は、ユーザーに完全な没入感を与えるための説得力のある映像と十分な音声を提供することが不可欠です。しかし、どちらの要素にも、ヘッドマウントディスプレイを製造する企業が克服しなければならない独自の課題が存在します。
ヘッドセットオーディオ
オーディオに関しては、ARやスマートグラスとVRではオーディオのニーズが大きく異なります。ARやスマートグラスでは、周囲の音を聞きながら限られた音しか聞き取れない場合があります。一方、VRでは通常、外部の音を遮断し、仮想世界の音だけを聞き取ることが求められます。
現在のヘッドセットでは、ユーザーが独自のヘッドフォンを用意する必要がある場合にこれを実現できますが、オーディオ システムを内蔵したヘッドセットでは、通常、ユーザーが望むほどの柔軟性が提供されません。
米特許商標庁が火曜日に認可した「マルチモーダルオーディオを備えたディスプレイデバイス」と題する特許の中で、アップルはヘッドセットのサポート構造上の位置を変更できるオーディオコンポーネントを備えたヘッドマウントビジョンシステムについて説明している。
持ち上げた状態では、イヤホンはスピーカーとして機能する。
Appleは、このオーディオシステムを、可動式イヤホンのスピーカーを耳から少し離して使用する外耳モードと、スピーカーを耳の穴に装着する内耳モードの2つのモードに切り替えられると提案している。外耳モードでは外部の音がより明瞭に聞こえるようになり、内耳モードでは周囲の音がユーザーに聞こえにくくなる。
Appleは、モードを切り替える際に、イヤホンごとに1つのドライバーを使用することを提案しています。これにより、2つの異なる位置に合わせて、異なるポートからの音の投射方法を切り替えることができます。これには、ウーファーが耳に近づいているかどうかに応じて出力レベルを調整する機能や、音の動きを変化させる切り替え可能な物理要素も含まれます。
イヤホンを下げると、外部のノイズが遮断され、内蔵ヘッドフォンのように機能します。
音生成モジュールは、ピボット上の短いアームを使用し、ピボットから最も遠い点には耳の中に設置するための要素が配置されます。ピボットの角度によって、ユニットは一方の方法で音を耳に送り込むか、もう一方の方法で外耳道から音を発するかが切り替わり、その切り替えは自動的に行われます。
Apple は、回転するだけでなく、オーディオ要素を耳に近づけたり耳から遠ざけたりして簡単に配置できるようにする可能性や、伸縮セクションが含まれる可能性があることを示唆しています。
当初は2019年4月11日に出願され、発明者にはRobert D. Silfvast、James W. VanDyle、Jeremy C. Franklin、Neal D. Evans、およびChristopher T. Eubankが記載されています。
ブレンドされたビジョン
2つ目の特許では、AppleはARヘッドセットが現実世界のビデオフィード上に仮想オブジェクトを表示する方法に取り組んでいます。現実世界のカメラデータと、ユーザーのためにリアルタイムで生成されるデジタルバージョンを組み合わせます。これは正確かつ迅速に実行する必要があるため、高い水準で実現するには相当な計算リソースが必要になる可能性があります。
「実像と仮想像を合成する方法と装置」と題された特許の中で、Apple はシステムが可能な限り最小限のリソースで合成された仮想像を計算できる方法を示唆している。
このシステムについて、特許ではカメラ画像から「実ピクセル」の一連の値を生成する仕組みについて言及されています。実ピクセルは「仮想ピクセル」という形で仮想的に対応しています。それぞれのピクセル値は独自の値を持ち、それらを用いて計算が行われ、最終的にどのピクセル値を使用してユーザーに表示するかが決定されます。
2つのピクセル値は、実ピクセル値と仮想ピクセル値の加重平均に基づいて1つの値に統合できます。Appleは、この加重は実ピクセルまたは仮想ピクセルのアルファ値または透明度に基づいて部分的に決定できると考えています。
アルファ値を組み合わせることで、仮想オブジェクトを現実世界のビューに対して透明または半透明にすることができます。
実際のピクセルのアルファ値を決定するには、カメラ画像全体をダウンサンプリングし、カメラ画像に基づいてステンシルを作成し、ダウンサンプリングした画像とステンシルの両方に基づいてマットパラメータマトリックスを生成します。このマットパラメータ画像をアップサンプリングすることで、ピクセル値のアルファ値を作成できます。
このアルファ値は、特定のピクセルのカラー コンポーネント ピクセル値を作成するためにも使用でき、ピクセル値全体ではなく個々の色を混合できるようになります。
この技術を使用することで、画像をディスプレイに送信するのに必要な帯域幅は、カメラ単独で生成されるデータの「10分の1以下」になる可能性があると考えられています。
この特許には発明者としてペドロ・マヌエル・ダ・シルバ・クェルハス氏とステファン・アウアー氏が記載されており、2018年8月14日に出願された。
Apple は毎週多数の特許を申請しているが、特許の存在は同社の研究開発活動の関心領域を示すものではあっても、そのコンセプトが将来の製品やサービスに現れることを保証するものではない。
以前の作品
Appleはこれまで、ARやVRヘッドセットに関連して数多くの申請を行ってきた。その中には、VRユーザーが物体にぶつからないようにするシステム、ワイヤレス基地局へのグラフィック処理のオフロード、AR用にオンボードセンサーの代わりにiPhoneを使って部屋のマッピングを行うといったアイデアなどがある。
