Apple の拡張現実ヘッドセットや将来の iPhone は、ディスプレイからの光を使用してほぼあらゆる表面の動きを追跡できる可能性がある一方、指で操作するデバイスは、ユーザーがどのような物体に触れているかの詳細をシステムに提供できる可能性があります。
AppleがVRまたはARヘッドセットの開発に取り組んでいるという噂は以前からあったが、様々な報道や特許出願から、その開発は様々な方向性を持つ可能性が示唆されている。米国特許商標庁が火曜日に認可した2つの特許では、このシステムの新たな2つの動作方法が明らかにされた。
光ベースのARオブジェクトトラッキング
ARヘッドセットの利点の一つは、セットアップにカメラが搭載されていることです。通常はシーンの撮影と物体認識に使用されますが、同じハードウェアで物体追跡を実行し、ヘッドセットの位置に応じて物体の位置がリアルタイムでどのように変化するかを確認できます。
ARにおけるオブジェクトトラッキングのメリットは、一般的に、オブジェクト周辺のビデオフィードにデジタルグラフィックオーバーレイを適用できることに集約されます。例えば、現実世界では見えないコントローラー上のアプリ固有のステータスインジケーターなどです。
しかし、物体認識と追跡、そして向きの決定に必要なリソースは、システムにかなりの負担をかける可能性があります。最適な体験を提供するために膨大な処理が必要となる分野においては、リソース使用量を削減するあらゆる方法が歓迎されます。
「イベントカメラ付きAV/VRコントローラ」と題された特許では、カメラシステムは必ずしも追跡対象物に関連するすべてのピクセルを常に追跡する必要はなく、簡単なチェックのみが必要な場合にはその数を大幅に最小限にまで削減できるという考えをAppleは示している。
この特許画像は、HMD がユーザーが保持する二次デバイスを追跡する必要がある可能性があることを示しています。
Appleは、システムが画像内の追跡対象オブジェクトに関連する特定のピクセルを選択し、光強度などの属性を読み取ることを提案しています。カメラまたはオブジェクトが移動したり位置を変えたりすると、これらの少数のピクセルの光強度が設定された限度を超えて変化し、システム全体がより多くのリソースを使用してオブジェクトの変化を探索し始めます。
システムが光を利用することを考慮すると、物体自体を検出する代わりに、同じ光点を単純に探索することも考えられます。物体上に複数の光点があり、システムがそれらの光点のみを追跡する場合、位置と方向の変化を判定するために必要なリソースは非常に少なくなります。
これらの光点は、物体の筐体に反射した環境光である可能性も十分にありますが、AppleはLEDインジケータやディスプレイに表示されたパターンなど、物体が生成する他の光源の利用も検討しているようです。後者の場合、画面が見える限り、システムは十分な位置情報と方向データを取得できます。
このような光ベースの参照点は、必ずしも可視光である必要はありません。Appleは、照明パターンに非可視波長を含める可能性を示唆しています。これにより、ユーザーには見えない控えめなシステムが実現し、複数のユーザーや物体に対応するために、目に見えない形で異なる光波長を使用するシステムも実現する可能性があります。
人間の目に見えない光を利用できることを考えると、Appleが既に使い慣れている別の技術を採用することも現実的でしょう。TrueDepthカメラやiPhone 12 Proシリーズの背面に使用されているLiDARは、赤外線の小さな点を放射し、それが画像センサーに反射して物体の奥行きを計測する技術です。
物体自体が独自の光を発しているわけではないが、光点の反射は実質的に同じタスクを処理し、ユーザーの手など、非電子的または生物学的なアイテムの追跡を可能にするという利点も加わる。
この特許には発明者がピーター・マイヤーと記載されており、2019年1月31日に出願された。
オブジェクトプロパティのサンプリング
2 番目の特許はデータ収集に関するもので、具体的には、ユーザーが何に触れているかに関する情報をシステムが取得する方法をカバーしています。
ARとVRは、典型的には視覚と聴覚を媒体としますが、他の要素を導入することで、デジタルオブジェクトが現実のものであるという錯覚をユーザーに与えることができます。このようなシステムは、ユーザーが現実世界のオブジェクトに触れたときに感じる感覚を、触覚フィードバックツールで再現できるようにする必要があります。
「物体の属性をサンプリングするための指装着型デバイスを備えたコンピュータシステム」と題された特許において、Appleは指装着型デバイスの使用を提案しており、このデバイスは2通りの使い方が可能である。ユーザーに触覚フィードバックを提供することもできるが、この特許においてより重要な要素は、ユーザーが接触する可能性のある現実世界の物体の特性を検出できる能力である。
各フィンガーデバイスに搭載されたセンサーは、ユーザーが触れている現実世界の物体の表面形状、質感、物体の色や模様、音響特性、重さといった影響を読み取ることができます。ヘッドマウントディスプレイに搭載されたカメラなどの他の要素と組み合わせることで、システムは物体に関する多くのデータを収集し、ユーザーに提供できるようになります。
指先に装着するセンサーデバイスがデータを収集する方法の例
これらのセンサーには、ひずみゲージ、超音波センサー、直接接触センサー、温度計、光検出器、測距センサー、加速度計、ジャイロスコープ、コンパス、静電容量センサーなどが含まれます。
特許によれば、指先に装着しても指腹が遮られることなく、ユーザーは物体に触れた感覚を体験できるという。センサーは、指先から突き出た突起部に接触することで、あるいは物体に触れた際にユーザーの指が受ける影響の変化を検知することで、物体に触れたことを検知する可能性がある。
収集されたオブジェクトに関するデータは、システムで後日利用できるようまとめられ、保管されるだけでなく、より広範なデータライブラリの一部として共有される可能性もあります。この情報は、触覚フィードバック要素と組み合わせて、ユーザーや他のユーザーがオブジェクトに触れたような感覚を再現するために活用できます。
この特許には発明者がポール・X・ワン氏と記載されており、2019年4月22日に出願された。
これまでの展開
Apple は毎週多数の特許を申請していますが、特許申請の存在は Apple の研究開発活動の関心領域を示すものではあっても、そのアイデアが将来の製品やサービスに採用されることを保証するものではありません。
物体認識と追跡機能は、アプリにARコンテンツを追加したい開発者向けのツールキットであるAppleのARKitにおいて重要な役割を担ってきました。ARKitはすでに建物などの固定された静止物体の追跡にも拡張されており、デジタルアイテムをカメラの視野内に浮かんでいるように、あるいは設置されているように見せることができます。
ARKit は、一定レベルのオブジェクト追跡を伴うモーション キャプチャや、ワールド ビュー内の他のものが仮想オブジェクトを遮蔽する機能も実行できます。
指に装着するデバイスは、2019年の「指による押下入力イベント中の指の感覚を変化させるシステム」など、以前にも特許出願に登場しています。このアイデアでは、デバイスは指先に装着されますが、指の腹は風雨にさらされるようになっています。
このデバイスは、ディスプレイ付きキーボードでのタイピングに触覚的な感覚を与えることを目的としており、指のパッドがディスプレイに接触する直前に指の側面を軽く圧迫します。この圧迫により、指のパッドがより突き出た位置に押し上げられ、指が表面をタップする際のクッション性が向上します。
