ユーザーが何を見ているかを分析すると、視線を使ってカメラフィードの要素を分析用に優先順位付けすることで、Apple Glass や AR ヘッドセットのビデオ処理のパフォーマンスが向上する可能性があります。
拡張現実（AR）システムは、ユーザーにより良い複合現実画像を提供するために、環境に関するデータを収集します。ほとんどの人にとって、これは主に、ユーザーの目の近くからライブカメラ映像を取得し、それをデジタル処理して、変化させた状態でユーザーに表示することを意味しますが、深度マッピングなどの他の種類のデータも対象とする場合があります。
多くのVR/ARシステムは、ホストコンピュータに接続されたヘッドセットを使用しますが、環境に関するデータを取り込む必要があるため、テザー経由で一度に取り込めるデータ量に限りがあるため、問題が発生する可能性があります。長年にわたるカメラの改良（解像度やフレームレートの向上など）により、分析・処理すべきデータ量はさらに増加し、テザーでは処理しきれない可能性があります。
また、データが増えるほど AR 画像を作成するために必要な処理が増える可能性があるため、処理リソースも考慮する必要があります。
米特許商標庁が火曜日に認可した「視線方向に基づくビデオデータの適応型プレフィルタリング」と題する特許で、Apple は、主な処理が行われる前に、処理する必要のあるビデオデータを絞り込むことで侵入問題に対処しようとしている。
簡単に言うと、この特許は、ヘッドセットが環境画像を撮影し、そのシーンに複数のフィルターを適用し、それぞれがビデオフレームの異なる領域をカバーすることを示唆しています。これらのフィルターは、処理のためにホストに送信されるデータを決定するもので、ユーザーの視線だけでなく、頭の位置や動きといったAR/VRの一般的なデータポイントに基づいて配置されます。
フィルタリングされたデータレイヤーは、テザーまたはワイヤレスでホストに送信され、処理された後、ヘッドセットにフィードバックされて表示されます。このループが繰り返されます。
この考え方の根底にあるのは、カメラが捉えたデータの全てが、ユーザーが実際に見ているものを処理するために必ずしも必要ではないという点です。ユーザーは特定の方向を向いていても、視線は片側を向いている場合があり、その場合、視界の反対側にあるコンテンツをレンダリングしても実質的に意味がありません。
ユーザーの視線と周囲の環境を監視できるヘッドマウントディスプレイの Apple によるイラスト。
Appleのシステムでは、視線を検出し、そのデータポイントを画像データのフレームに適用する必要があります。複数のデータサブセットによって、画像の様々な形状とサイズを定義し、優先順位を設定できます。ユーザーが実際に見ている部分はメインのサブセットの下に、周囲の領域はより大きなサブセットでカバーします。
より小さく主要なサブセットは、ユーザーが積極的に注目するため、処理の優先順位が高くなります。より広い二次サブセットは、ユーザーの周辺にあるため処理能力が低く、重要度が低くなります。また、この二次データは、優先データサブセットほど重要ではないため、ホストに完全な品質で送信されない可能性があります。
ユーザーに最終画像をレンダリングする際に、データにさらにフィルターを適用し、可能な限り目立たないように効果的に結合することができます。これにより、システムは高品質な主要サブセットと低品質の周辺サブセット、そしてARアプリに重ねて表示されるカメラフィードの残りの部分との間の境界を曖昧にします。
ユーザーの視線の中心が完全にレンダリングされ、それより離れた部分は低品質でレンダリングされます。
サブセットの識別は必ずしも一度に生成する必要はありません。Appleは、カメラによって最初のフレームの映像データが生成された後にプライマリサブセットを作成し、セカンダリサブセット領域は2番目のフレームの作成中に決定できる可能性を示唆しています。
さらに、2番目のフレームに関連付けられた視線検出データは、1番目のフレームの2番目のサブセット領域に情報を提供し、処理に利用することができます。これは、ユーザーの視線が動いている場合に有用です。これにより、ユーザーの視点の変化による望ましくない影響を軽減し、システムがそれに追いついてユーザーの視野内にデータを配置する必要をなくすことができます。
この特許には、発明者としてCan Jin、Nicholas Pierre Marie Frederic Bonnier、Hao Panの3名が記載されており、2018年7月19日に出願されました。
Apple は毎週多数の特許を申請していますが、申請の存在は Apple の研究開発活動の関心領域を示すものであり、将来の製品やサービスで使用されることを保証するものではありません。
AppleがARまたはVRヘッドセットの開発に取り組んでいるという噂は長年にわたり続いており、最近では「Apple Glass」と呼ばれる製品に関する憶測が盛んに飛び交っています。ARヘッドセット、そして将来的にはスマートグラスになる可能性もあると考えられており、噂によると、一般的な眼鏡と同程度のサイズのメガネになる可能性が示唆されています。
当然ながら、Appleはこの分野に関連する多くの特許を出願しているが、中核となる概念が非常に似ているのが、2019年6月の「Foveated Display」である。この出願でAppleは、処理されるデータの量を制限することで、ヘッドセットディスプレイの処理およびレンダリングパフォーマンスを向上させる方法があるかもしれないと示唆した。
ホストデバイスに到達するデータを制限するのではなく、この申請はデータをディスプレイに届けることに重点を置いています。データのサブセットと同様に、Appleは高解像度画像と低解像度画像からなる2つの異なるデータストリームをディスプレイで使用できることを示唆しています。
視線検出機能を利用することで、システムはユーザーが見ている場所にのみ高解像度の画像を表示し、その周囲には低解像度のデータを表示します。これにより、ディスプレイ自体がリフレッシュごとに処理するデータ量が削減され、より高いリフレッシュレートを実現できます。
