手袋やゲーム コントローラーを介して AR オブジェクトを操作するのではなく、トラックパッドなどの周辺機器を使用すると、ユーザーは目の前にあるものを選択して操作できるようになります。
Apple Glassesのような拡張現実（AR）ヘッドセットに加え、仮想オブジェクトとのインタラクションや操作も求められています。これは通常、ユーザーが手袋のようなものを装着することで実現されますが、Appleはタッチを検知できる物理的な表面の開発を検討しています。ARKitを介してコンピューター生成環境（CGR）を操作するための大型トラックパッドの開発も検討しています。
「CGR 環境とは、ユーザーが閲覧できるように表示されるオブジェクトの一部がコンピューターによって生成される環境です」と Apple は米国特許番号 20200104025「周辺機器によるリモート タッチ検出」で述べています。
「ユーザーは、ハードウェアボタンをアクティブ化したり、タッチ対応ハードウェアに触れたりすることで、これらの仮想オブジェクトとインタラクトすることができます」と論文は続ける。「しかし、仮想オブジェクトとインタラクトするためのこのような手法は、ユーザーにとって煩雑で直感的ではない場合があります。」
Apple が提案するソリューションには、「複数のデバイス システムを使用したリモート タッチ検出の技術」が多数含まれていますが、その主なものは「テーブルの上などの物理的な表面上に配置される周辺デバイス」です。
ヘッドセットは、このトラックパッド型デバイスを含め、ユーザーの周囲の現実世界の合成画像を映し出すと同時に、仮想オブジェクトも表示します。MacBook Proのトラックパッドとスクリーンと同様に、ユーザーは仮想オブジェクトを見ながら、指でトラックパッド上でタッチジェスチャーを行うことができます。
ヘッドセットのカメラはトラックパッドの位置を特定し、そのデバイスのタッチ感度面と組み合わせて、ユーザーが操作しようとしている仮想オブジェクトを計算します。
特許の図面には、ユーザーがパッドの対応する部分をタップして画像を選択する様子が描かれています。また、ユーザーが使い慣れたタッチジェスチャーや動きでオブジェクトを回転したり、サイズを変更したりする様子も示されています。
特許の大部分は、タッチの登録方法と、ARと実像の合成画像を表示する方法について記述されています。実像の一部は、表面に投影されたホログラムの使用を示唆しています。
しかし、この特許出願の鍵となるのは、表示されるAR画像や、ユーザーに対するデバイスの位置に応じて、トラックパッドのようなデバイスの使い方がどのように変化するかという点です。トラックパッドとヘッドセットが連携することで、ユーザーは周辺のタッチデバイスの位置を変えるよう指示されることになります。
「最適な動作のために、周辺機器はカメラセンサーが遮蔽物（例えば障害物）に邪魔されないよう、周辺機器の周囲または近傍に追加のスペースを要求する場合があります」と記載されています。ヘッドセットにエラーメッセージが表示され、ユーザーがトラックパッドを適切な位置に動かすことで消去されます。
一番上のメッセージはユーザーのARヘッドセットに表示されるエラーであり、ユーザーがトラックパッドのようなデバイスを適切な位置に動かすことでクリアされます。
これは主に、ヘッドセットのカメラの視界内にあり、他のアイテムによって遮られていないことを意味しますが、デバイスを特定の方向に向ける必要があるなど、具体的な場合もあります。
「いくつかの実施形態では、動作条件のセットには、周辺機器が適切な向きになっているという要件（例えば、周辺機器の表面が地面に対してほぼ平行である、水平である、垂直であるなど）が含まれる」と結論付けている。
この特許は、サミュエル・L・イグレシアス、デヴィン・W・チャーマーズ、ライト・セティ、そしてレジン・ワンの4人の発明者によって発明されています。後者は最近、現実世界と仮想世界のオブジェクトの正確な処理に関する同様の特許で発明者として認められており、チャーマーズはARとVRを通じてユーザーをガイドするデジタルアシスタントに関する特許で発明者として認められています。
