Apple の拡張現実計画には、仮想タッチスクリーンを操作するためのユーザーの指の 3D モデルの作成が含まれる可能性がある一方、赤外線光学マーカーを使用すると、AR システムが iPhone や iPad の画面に表示されるものを調整しやすくなる可能性がある。
Appleは、何らかの仮想現実（VR）または拡張現実（AR）ハードウェアの開発に取り組んでいると考えられており、Apple Glass ARスマートグラスの開発にも取り組んでいると考えられています。製品はまだ発売されていませんが、Appleはこの分野で広範な研究開発を行い、その基盤を築いています。
しかし、AR は登場してからしばらく経ちますが、主流のテクノロジーになる前に解決しなければならない問題や課題がまだ数多くあります。
米特許商標庁が火曜日にアップルに付与した2つの特許では、アップルは2つの分野でARの改良を目指している。
デバイスマーカー
ARがもたらすメリットの一つは、ユーザーの視界内のほぼどこにでも仮想ディスプレイを表示できることです。このような仮想ディスプレイは、壁や物理的な物体に簡単に重ね合わせたり、空中に浮かせたりすることも可能です。
AR ヘッドセットを使用すると、ヘッドセット内からディスプレイが実際に表示される保証がないため、スマートフォンとタブレットを同時に使用できることを期待しているユーザーには問題が発生する可能性があります。
ARヘッドセットは、モバイルデバイスの存在をユーザーとのインタラクション手段として活用し、デバイスのディスプレイに表示されているものを別のグラフィックや、より見やすいバージョンに置き換えることも可能です。デバイスの画面を完全にオフにした状態でも、ARヘッドセット内のディスプレイを完全に表示し、タッチ機能などの他の機能はそのままにしておくことも可能です。
「光学マーカーを備えた電子機器」と題された特許において、AppleはARシステムがスマートフォンが近くにあることをより容易に検出できるようにすることで、スマートフォンとARヘッドセット間の相互運用性を向上させることができると考えている。特許では、これはヘッドセットが使用できる視覚マーカーを追加するだけで実現できるとされている。
人間の目には見えないマーカーによって、AR システムはそれがどのようなデバイスであるか、またそれがどのように向いているかを知ることができます。
デバイスの外側にマーカーを取り付け、ARヘッドセットのカメラやその他のセンサーで読み取るというアイデアです。このマーカーを見ることで、ARシステムはデバイスの種類、向き、ディスプレイの位置など、さまざまな要素を認識できるようになります。
これらのマーカーは、QRコードなどの二次元バーコードを介して提供される固有識別子などの情報とともに、位置情報を提供することができます。この固有識別子は、「スペクトル反射率コード」を備えたマーカーを使用することで得られる場合もあります。
マーカーはユーザーに見える可能性もあるが、Appleは実際には完全に見えないようにすることも提案している。ポリマー層に蓄光粒子を含ませたり、透明な球体を用いた再帰反射層を設けたりすることで、赤外線でのみ見えるようにすることが可能になる。
この特許には、発明者としてChristopher D. Prest、Marta M. Giachino、Matthew S. Rogers、Que Anh S. Nguyenが記載されています。この特許は2018年9月27日に出願されました。
3D指モデリング
ARシステムがあらゆる表面に画面を表示できる機能は、多くの場合有用ですが、インタラクションが期待される場合は必ずしもそうではありません。ARシステムは、壁に適用された仮想ディスプレイをタッチスクリーンとして動作させることを想定しているかもしれませんが、壁にはタッチを検出するセンサーがないため、タッチを検出できません。
手袋やその他の入力メカニズムを使用して壁の仮想ディスプレイへのタッチを検出することは可能かもしれませんが、手袋なしでそれを実行するのは難しい問題です。
2 番目の特許「視覚的なタッチ検出のための指先の 3D モデルの生成」は、この問題を解決しようとしています。
特許名称の通り、この特許は、ユーザーの指先、指、または手の3Dモデルを作成するシステムに関するものです。モデルが生成されると、システムは画像センサーデータを分析することで、仮想ディスプレイへの意図的なタッチを検出します。
タッチに反応しない表面でのタッチを検出するプロセスの一部を示すフローチャート。
このモデルは、実際のタッチセンサー面に触れているユーザーの手をモニタリングすることで生成できると考えられています。複数のカメラやイメージングセンサーを用いることで、物体に触れている瞬間の指や手を複数の角度から撮影することができます。
この視覚データは、タッチイベント発生時の指の3Dモデルを作成するために使用できます。その後、タッチセンサー面をタッチすることで、より多くの画像が生成され、3Dモデルをさらに精緻化することができます。
モデルが生成されると、システムはそのデータを使用して、タッチに反応しないが AR の目的で使用されている物理的な表面と対話する場合も含めて、ユーザーの指や手を検出できるようになります。
この特許はRohit Sethi氏とLejing Wang氏によって発明され、2019年9月24日に出願されました。
Apple がタッチ検出問題の解決を試みたのは今回が初めてではない。
2020年7月、熱画像技術を用いてユーザーがデバイス上で触れた場所を検出することを提案する特許出願が浮上しました。ユーザーの指から発せられる微量の熱をセンサーが感知し、ユーザーが表面のどこに触れたかを正確に検出することが可能になります。
その他のアイデアは主に手袋とコントローラーに関するもので、2016 年 3 月の 1 つでは、手持ち式コントローラーに指の上に伸びる要素があり、指の動きやユーザーが表面に触れたかどうかも検出するというものでした。
