将来のAppleデバイスは3D AR画像を共有・編集できるようになる

「Apple Glass」は、仮想のApple ARオブジェクトを受動的に表示するのではなく、ユーザーが3Dデータを共有し、編集アプリで操作できるようにする可能性があります。

AppleがApple ARに関して保有する数多くの特許および特許出願には、既に他のデバイスからの3Dデータを表示するものが含まれています。しかし、新たに2つの特許が提出されたことで、Appleはユーザーがオブジェクトを選択的に共有または取得し、さらに編集できるようにしたいと考えていることが分かります。

「他のデバイスから共有された 3D コンテンツを表示する」は、ヘッドマウントディスプレイ (HMD) が「別のデバイスからの 3 次元 (3D) コンテンツ」を使用できることを提案する新しく公開された特許です。

Appleの特許は、これを実現しようとする現在のシステムについて、異例なほど率直に述べている。「既存のコンピューティングシステムとアプリケーションは、電子機器上でCGR環境を提供・利用するための3Dコンテンツの共有と利用を適切に促進していない」と特許は述べている。

Appleが目指すのは、CGR環境で受信したデータオブジェクトに対応する3Dコンテンツを表示できるHMDです。そのデータオブジェクトがどこから来たかは関係ありません。すべてのユーザーが自分のハードウェアで生成されたオブジェクトのARまたはVRバージョンを見るのではなく、他の人が作ったものを見ることができるはずです。

「例えば、自宅で第1のデバイスを使用している第1のユーザーは、小売店でソファを見ている第2のユーザーから、ソファに対応するデータオブジェクトを受信することができます」とAppleは述べています。

「この例では、2 番目のユーザーは 2 番目のデバイスを使用して、ソファに対応するデータオブジェクトを作成または識別します」と続きます。「たとえば、2 番目のデバイスのカメラを使用して、ソファの 3D モデルを含むファイルを作成したり、ソファの 3D モデルを含むファイルのファイルまたはデータストレージアドレスを識別したりします。」

特許の詳細。（上）現実世界の環境、（下）共有の 3D オブジェクトがある同じ空間を示しています。

すでにイケアのデータベースから同社の AR アプリに家具を配置できるのと同じように、ここでは地元の店にいる友人がソファの 3D バージョンを送信することができます。

この特許は主に、オブジェクトをキャプチャおよび送信する様々な方法に関係しています。これには、電子メールメッセージなどのテキストをオブジェクトに添付して、そのソースを識別する方法の詳細が含まれています。

「（その後）最初のユーザーは、撮影した画像内の現実世界のテーブルを基準にソファの位置を変更し、部屋の中でデバイスを物理的に動かして、部屋の中でさまざまな視点からソファを見ることができます」とアップルは述べています。

「ビデオまたは画像テクスチャの共有を用いたソフトウェアプログラムモジュール間の360度ヘッドマウントディスプレイモニタリングの方法およびシステム」は、関連する2つ目の新規特許です。これは、ユーザーがファイル内の3D情報を受け取り、それを正しく操作する方法に関するものです。

Appleは、「従来の180度または360度のビデオや画像は、球面空間を表現するために正距円筒図法または立方体投影法を用いた平面的なストレージ形式で保存されています」と説明しています。「これらのビデオや画像を従来の編集アプリケーションやグラフィックアプリケーションで編集した場合、VRヘッドマウントディスプレイ内でドーム投影、立方体投影、または球状にマッピングされた形で配信・提示されたビデオや画像が、最終的な体験をユーザーが解釈することは困難です。」

「このような平面投影画像を編集・操作するには、特別なスキルと多くの試行錯誤が必要です」と特許は続ける。「さらに、球面レンズで合成・編集した画像や動画を操作した後に、後続のショットの位置がずれていたり、立体視差が自然に一致していなかったりすることに気づくことは珍しくありません。」

共有された3Dオブジェクトを正しく編集するための処理の一部を示す特許の詳細

Apple の提案は、HMD から「方向と位置のデータを継続的に取得」し、「同時に、その方向の代表的な平面図または立体図をヘッドマウントディスプレイにリアルタイムでレンダリングする」というものです。

ユーザーが3D画像（おそらく他のユーザーから共有されたもの）を取得すると、HMDは装着者の位置に合わせて表示を調整します。また、「メディア操作アプリケーションによって画像データが変更された場合」には、表示する画像を動的に変更します。

最初の特許は、ノーマン・N・ワン氏を含む5人の発明者によって取得されました。彼が以前に取得した関連特許には、「洗練された高忠実度の」2Dおよび3Dテクスチャの生成に関するものが含まれています。

2 番目の特許を発明した Timothy Dashwood 氏は、仮想 3D オブジェクトの立体的レンダリングに関する以前の特許でも功績が認められています。

HomePodでAppleの最新ニュースをいつでもチェック。「Hey Siri、AppleInsiderを再生して」と話しかけると、最新のAppleInsider Podcastが聴けます。または、HomePod miniに「AppleInsider Daily」と話しかけると、ニュースチームからの速報がすぐに聞こえてきます。Apple関連のホームオートメーションに興味があるなら、「Hey Siri、HomeKit Insiderを再生して」と話しかければ、最新の専門ポッドキャストがすぐに聴けます。