AppleはARとVRをより高速かつ正確にするため視線追跡に取り組んでいる

長らく噂されていたアップルの拡張現実または仮想現実ヘッドセットは、その制御システムの一部として視線追跡機能を提供する可能性があり、iPhoneメーカーは、ヘッドセットが動いているときでも、そのような視線追跡システムを可能な限り正確にする方法を考案している。

マウスとキーボードは、Macやその他のコンピューターでは長年、基本的な操作システムであり、iPhoneやiPadではタッチ操作が主な操作手段でした。近年、特にモバイルデバイスでは音声による操作が主流となっていますが、画面上の特定の位置を選択するような操作など、あらゆるタスクに対応できるほど正確性や柔軟性に欠けています。

ヘッドマウントディスプレイの場合、仮想現実の制御システムは主に、ヘッドセットの位置に応じてマッピングされ、通常はカーソルまたは手のような表現によってアプリケーション内で識別される、モーション追跡型のハンドヘルドコントローラで構成されます。

視線追跡は、ヘッドセットのディスプレイ内でユーザーが特に何に焦点を合わせているかを検出することで、ユーザーが仮想現実環境とインタラクションするための新たな方法となる可能性があります。これにより、メニューやその他のソフトウェアシステムとのインタラクションにおいて、手を使うよりも自然で正確な操作が可能になります。これは、現実世界で仮想オブジェクトを掴んで選択するよりも違和感が少ないためです。

しかし、視線追跡は、ユーザーのヘッドセットが常に動いているため、その精度には限界があります。ヘッドセットはユーザーの頭に固定されていても動き続け、ユーザーの目と視線追跡システムとの距離は常に変化するため、視線追跡の有効性は最小限に抑えられます。

火曜日に米国特許商標庁がAppleに付与した特許では、「視線追跡システムを備えた電子機器」は、確率とシーン検出を用いて視線のずれの問題を解決することを目指しています。この特許は、全く新しいハードウェアソリューションを開発するのではなく、既存の視線追跡システムとソフトウェアシステムを組み合わせることで、項目選択能力を向上させることを示唆しています。

この特許では、デバイス内の「制御回路」が「サリエンシーマップ」を生成する仕組みについて説明されている。サリエンシーマップとは、ディスプレイに表示されているコンテンツの確率密度マップであり、ユーザーが視野内で操作できる関心ポイントを特定する。例えば、選択可能なボタン、テキスト、あるいはシーン内のインタラクティブな要素などがこれに該当する。

ユーザーがディスプレイの特定のポイントを見る方法の簡略化された例

関心ポイントとメニューを備えた顕著性マップのディスプレイ上の特定のポイントをユーザーが見る方法を示す簡略化された例。

通常の使用では、ユーザーが何かを選択したい場合、視線検出機能によりユーザーがどこを見ているかを判断し、顕著性マップを使用してユーザーが具体的に何を見ているかを推測し、別のコントローラーを使用して選択を確認します。

サリエンシーマップは、アイテム選択を支援するだけでなく、視線追跡システムの精度向上にも役立ちます。ユーザーが見ていると測定された場所、サリエンシーマップ上の関心領域とユーザーの視界、そして検出された注視点、そして音声やその他のソースからのデータを比較することで、ヘッドセットの開始位置からのずれを判定できます。

このドリフト検出により、視線追跡システム全体をリアルタイムで調整することができ、近い将来における将来のコンテンツ検出の精度が向上します。

使用中の視線追跡システムの繰り返し校正を説明するフローチャート

Apple は毎週のように USPTO に多数の特許を申請しているが、そのコンセプトが将来の製品やサービスに採用される保証はないものの、Apple の研究開発活動にとって興味深い分野を示していることは確かだ。

AppleはARやVRデバイスに取り組んでいると広く信じられており、何年もそうしており、ARベースのスマートグラスは2020年中にリリースされる予定だと考えられている。

同社は関連技術に関する特許を多数取得しており、macOSでのVRデモやiOS向けARKitの導入など、AR/VRへの製品利用促進にも力を入れています。また、Appleは2017年に視線追跡技術を専門とするドイツ企業SensoMotoric Instrumentsを買収しました。

2018年、Appleは「ホットミラー」を用いて赤外線をユーザーの目に反射させる視線追跡システムの特許を出願しました。このシステムは最終的にはユーザーの顔に極めて近い位置に装着できるため、ヘッドセットを可能な限り快適に使用できます。2015年には、視線ベースの視線追跡に関する特許が取得されました。この特許は、画面を見ることでiOSまたはmacOSデバイスを操作できるだけでなく、視覚に基づくインタラクションに影響を与える可能性があるトロクスラー効果の問題も軽減します。

2019 年 5 月の特許出願では、ユーザーのどちらの目が優位であるかを判断する方法が詳述されており、これは、優位な目の結果から得た位置データを弱い目よりも重視することで、視線追跡システムをさらに支援できるデータポイントです。