Apple の新しい特許には、ユーザーが仮想空間内の実際のオブジェクトに触れているかどうかを記録するシステムが記載されており、指先からの深度測定とカメラの角度からの計算によってこれが行われる。
Appleの将来の拡張現実（AR）・仮想現実（VR）システムやARKitのアップデートでは、仮想オブジェクトを現実のオブジェクトと並べて表示し、両方を操作できるようになる可能性があります。これまでのところ、ユーザーが実際にそのようなオブジェクトに触れているのか、それとも触れそうに非常に近いのかを判断することが困難でした。
Apple の新しい特許出願「深度ベースのタッチ検出」(米国特許番号 10,572,072) では、タッチが発生したかどうかを計算するために仮想カメラの位置のみを使用することに伴う問題点が詳しく説明されています。
「タッチ検出にカメラを使用することは、表面に埋め込まれたセンサーに依存する方法に比べて多くの利点があります」と特許には記されています。特許では、「視覚センサー（または）深度カメラ」がレンズとタッチ面の間の距離を測定するFace IDのようなシステムについて説明されています。
「しかし、あるアプローチは固定深度カメラのセットアップを必要とし、動的なシーンには適用できません」と論文は続けている。別のアプローチは、ユーザーの指を識別し、周囲のピクセルをマークすることで、指が表面に触れているように見えるまで記録を続ける。「しかしながら、このアプローチはエラーが発生しやすい可能性があります。」
これらの既存システムは、Appleが「事前定義されたしきい値」と呼ぶ、タッチとみなされるかそうでないかを計算するポイントに依存しています。「また、これらのシステムはホバー距離が長いという問題も抱えています（つまり、指が表面から10ミリメートル以下しか離れていない状態でもタッチと判断される可能性があり、その結果、誤検知が多数発生します）」とAppleは続けています。
Appleの特許出願では、これらのシステムを置き換えるものではないものの、深度検出の使用についても説明されています。「物体の『距離』の測定は、カメラではなく表面を基準とするため、カメラの姿勢に対する不変性がある程度確保されます」と特許には記されています。
特許の詳細。マルチカメラシステムの図面と（右）指先が検出されている写真
Appleのシステムはまず、「指、スタイラス、あるいは光学的に不透明な物体」といった物体を識別します。次に、「平面か非平面か」という表面を識別します。
この検出はユーザーが動いても継続され、時間の経過とともに一連の読み取り値、つまり Apple が「出力の時間的シーケンス」と呼ぶものをシステムに提供します。
このシステムの目的は、接触に反応する物質が表面上に存在しない場合でも、接触を検出することです。特許には、「従来のキーボードやポインターデバイス（マウスやスタイラスなど）の代わりに、任意の表面（例えば、テーブルトップやその他の表面）から入力できるようにすることで、コンピュータの機能を向上させることができます」と記載されています。
「従来の入力デバイスの必要性をなくし、ユーザーが任意の環境でコンピュータシステムを自由に使用できるようになることで、コンピュータシステムの機能をさらに向上させることができます」と続きます。
この特許は、2人の発明者、レジン・ワン氏とダニエル・クルツ氏によるものです。2人は合わせて約60件の特許を保有しており、「カメラのポーズを決定する方法およびシステム」や「拡張仮想ディスプレイ」といった関連特許も多数含まれています。
この特許は、Apple の多くの AR および VR 特許に続くもので、最近では、タッチとインタラクションにも役立つ指先と顔のマッピング ツールを利用する特許も含まれています。
