Apple の複数の研究分野は、噂の「Apple Glass」のようなウェアラブル AR デバイスがユーザーが見ているものを感知し、着用者に必要な情報を状況に応じて表示するように再構成する機能に焦点を当てています。
Appleの「Apple Glass」とARに関する幅広い計画が、複数の特許出願によって明らかにされました。これらの特許は個別に出願されたものですが、組み合わせることで、Appleが人々が現実世界や仮想世界のデバイスとどのようにインタラクトできるかという点に取り組んでいる全体像が見えてきます。
現実世界の環境を検出する
4件の特許出願は、ユーザーを取り囲む現実世界と仮想環境の検出と操作に広く関係しています。「環境ベースのアプリケーションプレゼンテーション」は、カメラが捉えた現実世界の映像を、ある種の地図の基礎として解釈する方法を提案しています。
「[これを用いて]物理環境の幾何学的レイアウトが決定されます」とアプリケーションは述べています。「物理環境の種類に基づいて、物理環境の表現に対応する1つまたは複数の仮想現実オブジェクトが表示されます。」
したがって、環境の物理的なレイアウトが確立されると、システムは仮想オブジェクトを正確に配置できるようになります。
スタートレックのホロデッキの実現にはまだ程遠いため、このシステムをはじめとするすべてのシステムは、ユーザーが装着するヘッドセットに関する問題に関わっています。「仮想像距離調整機能と矯正レンズを備えたディスプレイシステム」では、視力に問題のある人々にとってヘッドセットがどのように機能するかについて考察しています。
この申請書には、「ヘッドマウントデバイスのユーザーの中には、近視、遠視、乱視、老眼などの視覚障害を持つ人がいます」と記載されています。「ヘッドマウントデバイスの光学系がコンピュータ生成コンテンツを満足のいくように表示し、視覚障害を持つユーザーにとって許容できる視聴体験を提供することを保証することは、困難な場合があります。」
「注意を払わないと、視覚障害のあるユーザーが表示されているコンテンツに適切に焦点を合わせることが困難または不可能になる可能性があり、コンテンツが期待どおりに表示されない可能性があります」と続けます。
調整可能なヘッドセットの設計を示す特許の詳細
Appleの提案は、「レンズ付きの光学システムを含む可能性のあるヘッドマウントデバイス」に関する具体的な内容を中心に展開されています。申請書には、「これらのレンズにより、デバイスのディスプレイはユーザーに視覚コンテンツを提示できるようになります」と記載されています。
「Apple Glass」における中心窩イメージング
ヘッドセットのより具体的な側面については、「アクティブ光学中心窩を備えたヘッドマウントデバイス」アプリケーションで検証されています。このアプリケーションでは、画像を受信するレンズではなく、ユーザーにとって最適な方法で画像を表示することに焦点を当てています。
仮想世界だけでなく「現実世界の物体を観察できる透明なディスプレイ」を備えたヘッドセットでは、カメラを使ってその物理環境の現実を伝えることができます。この種の「パススルーカメラ」は、見ているものに合わせて設定をインテリジェントに調整することができます。
このアプリケーションには、「パススルーカメラは、ディスプレイに表示するために高解像度の画像データを撮影する場合があります」と記載されています。「ただし、ユーザーの視野の周辺にある低解像度の画像をディスプレイに表示するには、低解像度の画像データのみが必要になる場合があります。」
そのため、ヘッドセットは装着者が見ているものに応じて、表示する解像度を変えることができます。これにより、処理するデータ量が減り、パフォーマンスが向上し、結果としてバッテリー寿命も延びるというメリットがあります。
中心窩イメージング（foveated image）と呼ばれるこの解像度の変更は、ユーザーがどこを見ているかを認識する能力に依存します。その一部は頭の物理的な動きから判断できますが、それだけではシステムがディスプレイのどの部分が見られているのかを認識することはできません。
ARと「Apple Glass」による視線追跡
Apple は、「ヘッドマウント デバイスの視線追跡システムを使用すると、デバイスはディスプレイのどの部分をユーザーが直接見ているかを判断できる可能性があります」と示唆しています。
4件の関連特許出願のうち最後の1件は、視線追跡の問題に焦点を当てていますが、デバイス自体の操作に関するものです。「視線ベースのユーザーインタラクション」は、「ユーザーが視線を使って、電子機器に表示されるユーザーインターフェースオブジェクトと対話する」方法について説明しています。
特許出願の詳細。仮想オブジェクトの配置を可能にするために現実世界の環境がマッピングされている様子を示している。
そのため、デバイスは「より自然で効率的なインターフェース」を提供できるようになります。ユーザーがオブジェクトやアイテムを目で見て選択できるだけでなく、これらの方法では、一瞥からパディントンのような鋭い視線まで、あらゆるものを解釈できるようになると提案されています。
この申請書では、「ユーザーの視線の位置の不確実性と不安定性」によって引き起こされる困難に関する問題について説明しています。
これら4つの出願は、Appleが長年にわたり、数多くの特許を保有しながら追求してきた分野における開発と改良を象徴しています。これらの出願は、Appleが注力している分野への洞察であるだけでなく、ハードウェアとソフトウェアの両分野にまたがることで、Appleがいかに大きな利益を得ているかを示す一例でもあります。
