噂されている「Apple Glass」のような、将来のAppleの複合現実ヘッドセットは、高精度センサーを活用して非常に没入感のある体験を提供し、ユーザーが近くの電子機器を制御できるようにする可能性がある。
火曜日にAppleに付与された2つの特許は、仮想現実（VR）または複合現実（MR）ヘッドセットまたはゴーグルの異なる側面をカバーしています。AppleはARKitなどのプラットフォームにおける既存の取り組みに加え、MRまたはVR体験を提供できるヘッドマウントデバイスを少なくとも1つ開発中であると考えられています。
最初の特許「インサイドアウトの位置、ユーザーの身体、環境の追跡機能を備えた仮想および複合現実用のヘッドマウントディスプレイ」は、仮想または複合現実の設定時に高度な没入感を提供できる一連のセンサーを説明する基礎特許です。
ヘッドマウントデバイスに搭載されるセンサー群。クレジット：Apple
Appleが特許で指摘しているように、「仮想世界への没入感の目的は、ユーザーの心に非物理的な世界をあたかも現実であるかのように認識させることです。ここでの現実の概念は、現実世界の表現というよりも、知覚の妥当性という概念を指します。」
この特許では、そのレベルの没入感を提供するためには、頭の位置、体の位置、ユーザーの周囲の環境の追跡など、さまざまな要素の追跡が重要であると主張している。
浸水を提供するセンサースイートには、赤外線カットオフフィルターを備えた RGB カメラのペア、近赤外線フィルターを備えたモノカメラセンサーの別のペア、慣性測定ユニット、飛行時間センサー、スペックルパターンプロジェクター、およびその他の関連コンポーネントが含まれる可能性があります。
この特許によれば、これらのコンポーネントはそれぞれ異なる方法で連携する。例えば、カメラはMR用のパススルービューを提供するだけでなく、環境を分析・理解するために処理される画像データも提供できる。
環境分析は、拡張現実（MR）におけるリアルなオブジェクト配置に不可欠ですが、この特許では、ヘッドマウントデバイスがユーザーをより深く理解するための方法も示されています。これには、ユーザーの体、頭部、そして環境における位置をリアルタイムで追跡することが含まれます。
こうしたデータ収集と分析はすべて処理能力を必要とし、接続を介すると高遅延につながる可能性があります。特許では、没入感を高めるために、一部の処理はヘッドマウントデバイス自体で実行し、必要に応じて外部のコンピューティングデバイスから追加の処理能力を提供することが示されています。
特許の発明者として、サイモン・フォーティン＝デシュネス氏、ヴィンセント・シャプデレイン＝クチュール氏、ヤン・コート氏、アンソニー・ガヌーム氏が記載されています。フォーティン＝デシュネス氏とシャプデレイン＝クチュール氏は、過去にクパチーノに本社を置くテクノロジー大手の同社で、画像関連の特許をいくつか手がけてきました。
別の特許では、アップルは同様のヘッドマウントデバイスで近くの電子機器やコンピューターを制御できるシステムについて説明している。
様々なスマートデバイスや電子機器を操作できる空中ジェスチャーを表現した図。クレジット：Apple
ヘッドマウント型などの電子機器には、「ユーザーが外部の電子機器を制御、情報収集、または通信するための直感的な方法を提供する」入出力コンポーネントも含まれる可能性があります。
「入出力デバイスには、ユーザーの環境内にある外部電子機器を識別するためのセンサー、外部電子機器に関する情報を表示する表示システム、およびタッチセンサー、力覚センサー、ユーザーの指からのタッチ入力やジェスチャーを収集するためのその他のセンサーなどのユーザー入力コンポーネントが含まれる場合があります。電子機器には、受信したユーザー入力に基づいて外部電子機器に信号を送信したり、外部電子機器から信号を受信したりするための通信回路が含まれる場合があります」と特許には記載されています。
Appleが指摘しているように、ユーザーは「どのデバイスが接続されていて、どのように接続されているかを特定し、制御する」ことが難しいと感じるかもしれません。「通常、ユーザーは各デバイスの設定メニューに移動し、そのデバイスが接続されている外部デバイスのリストを表示する必要があります。」
Appleは、この問題を軽減するために、デバイスを画像内または別のデバイス上に表示できると主張しています。これにより、ユーザーは環境内の特定の電子機器を表示してタップし、簡単に設定を選択できるようになります。
特許には、「ディスプレイ上または環境内で第1の外部電子デバイスから第2の電子デバイスに指をスワイプすると、制御回路が第1および第2の外部電子デバイスの少なくとも1つに無線信号を送信し、第1および第2の外部電子デバイス間の無線通信リンクを確立する可能性がある」と記載されている。
このシステムは、必ずしもARやMR関連の特許である必要はありません。例えば、ユーザーはiPadを手に持ち、そのカメラ映像を使って様々なデバイスを操作できます。しかし、この特許では、操作デバイスに「ヘッドマウントディスプレイ」を組み込み、空中で操作ジェスチャーを行うことが想定されています。つまり、「Apple Glass」などのHMD向けのHomeKit機能を示唆していると言えるでしょう。
この特許には、コリン・M・エリー氏、エリック・G・デ・ヨング氏、スティーブン・ブライアン・リンチ氏、フレッチャー・R・ロスコフ氏の名前が記載されています。4人は過去に、Apple WatchやOLEDディスプレイに埋め込まれたセンサーなど、Apple関連の様々な特許に携わってきました。
Appleは毎週のように多数の特許を申請し、その多くを取得しています。そのため、特許に記載されている技術が消費者向けデバイスにいつ、あるいはそもそも採用されるのかどうかは、全く分かりません。
