Appleは、「Apple Glass」のユーザーが固定された物理的なジェスチャーやタッチコントロールに制限されず、任意のオブジェクトを操作してヘッドセットに表示されるものを変更できるようにする技術を研究している。
Appleの「See in AR」アプリを使えば、Mac ProやiPad Proを購入する前に、自分のデスクに置いてある様子を実際に確認することができます。同じように、ランボルギーニ・ウラカンEVOスパイダーの周りを歩き回ることも可能です。ただ、これらの仮想オブジェクトで何かを行うことはできません。
見ることはできても触ることはできない。それはそれで良い、いや、むしろ素晴らしい。しかし、Apple ARが私たちの日常生活の一部となり、Appleが他のあらゆるサービスと統合していくにつれて、問題が生まれてくる。
AR、特にAppleがMixed Reality（MR）と呼ぶ技術では、iPad Proを目の前に見ることができるのは素晴らしいことですが、実際に操作できなければなりません。仮想オブジェクトを手に取って操作できなければ、ARは3D映画と何ら変わりません。
Appleが提案する解決策は、2020年1月に出願され、今週になって初めて公開された特許出願「追跡された物理オブジェクトを用いた仮想オブジェクトの操作」に記載されている。この特許出願は、仮想オブジェクトを現実世界の実際のオブジェクトにマッピングできるという点で、真の意味で現実を融合することを示唆している。
「ヘッドマウンドデバイス（ヘッドセットやHMDとも呼ばれる）などのさまざまな電子デバイスが存在し、それらのディスプレイは、ユーザーが周囲の物理環境に完全に没入したり、仮想オブジェクトで構成される仮想現実環境に完全に没入したり、またはその間の任意の場所に没入したりできるコンピューター生成現実（CGR）環境をユーザーに提示します」と申請書は始まります。
「周囲の物理環境における物理オブジェクトを直接操作することはユーザーが自然に行えますが、CGR 環境における仮想オブジェクトについては同じことが当てはまりません」と続けます。
CGR環境の一部としてユーザーに表示される仮想オブジェクトと直接対話する手段がないと、仮想オブジェクトをCGR環境に統合する範囲が制限されます。したがって、CGR環境の一部として表示される仮想オブジェクトをユーザーが直接操作できる手段を提供することが望ましい場合があります。
実物大のランボルギーニの形をした木片を保管するのは現実的ではないかもしれません。Mac Proの形をしたグラスファイバー製のブロックもあまり役に立たないかもしれません。しかし、iPadの形と大きさのオブジェクトがあれば、もっと便利に活用できるはずです。
物理的な物体をコントロールすることで仮想物体を操作し、とても満足感を得る
Apple は現実世界のオブジェクトを「プロキシデバイス」と呼んでおり、ユーザーの周囲に仮想 AR を配置するために使用されるのと同じカメラシステムでそれを正確に追跡できると述べています。
特許出願には、「コンテンツ用に定義された3次元（「3D」）座標空間内で仮想オブジェクトと仮想表現との間に固定された位置合わせを作成する要求を表すプロキシデバイスの入力デバイスを使用して、プロキシデバイスから入力が受信される」と記載されている。
「3D 座標空間における仮想オブジェクトの位置と方向は、物理環境におけるプロキシ デバイスの動きを定義する位置データを使用して動的に更新されます」と続きます。
例えば長方形のデバイスを持っている場合、AR/MRシステムはそのデバイスの位置、向き、表裏などを認識できます。デバイスを動かしたり回転させたりすることで、AR画像をどこに重ね合わせればよいかが正確に分かります。
「この方法は、電子デバイスのディスプレイ上に、仮想オブジェクトと、電子デバイスと物理的に関連付けられていないプロキシデバイスの仮想表現を含むコンテンツを提示することを含む」と続く。
つまり、隣に立っている人にとっては、あなたは白紙を振り回しているように見えるかもしれません。しかし、あなたにとっては、それはすべてのコントロールとディスプレイを備えたiPad Proなのです。この点で、このアイデアは最近のプライバシースクリーンのアイデアに似ています。
この発明は、Austin C. Germer 氏と Ryan S. Burgoyne 氏によるもので、後者は最近、視線ベースのユーザーインタラクションに関する特許出願に記載されました。
