光の進む方向を捉える将来の iPhone カメラは、より詳細な 3D 情報を提供し、Apple AR ウォークスルー体験を向上させる可能性があります。
現在のiPhoneカメラは、シーン内の光の強度を捉えますが、将来のカメラはより多くのことができるようになるかもしれません。ライトフィールド撮影技術を用いることで、カメラシステムは光の進行方向を捉え、視界内の様々な物体の位置を記録できるようになります。
これが、新たに付与された特許「パノラマ ライト フィールドのキャプチャ、処理、および表示」の中心となるアイデアです。
これは、ユーザーが自由に歩き回っているときに、iPhone などのデバイスを使用して画像をキャプチャし、AR エクスペリエンス用のデータを構築する方法に関するものです。
「（この特許は）ライトフィールドパノラマシステムの詳細を説明しています。このシステムでは、モバイルデバイスを手に持ったユーザーがジェスチャーを行うことで、様々な位置からシーンの画像を撮影します」と特許には記されています。「位置情報や方向情報といった追加情報も取得可能です。」
「画像と情報は、画像の相対位置や深度情報などのメタデータを決定するために処理される可能性があります」と論文は続ける。「ライトフィールドパノラマはレンダリングエンジンによって処理され、シーンの様々な3Dビューをレンダリングすることで、視聴者が6自由度で様々な位置や角度からシーンを探索できるようにします。」
3D画像を見ると、自分の位置は固定されていて、振り向いたり、上下に見たりすることはできても、前に進んだり、物体の周りを回ったりすることはできない、というのを目にしたことがあるでしょう。ARをより没入感のあるものにするためには、Appleはより多くの情報を記録し、そしてそれを表示できる能力が必要です。
Apple 社は、「モバイル デバイスやヘッドマウント ディスプレイなどのレンダリングおよび表示システムを使用すると、視聴者はシーン内のオブジェクトの背後や上を見たり、シーンを拡大または縮小したり、シーンのさまざまな部分を表示したりすることができます」と述べています。
特許から編集された詳細。ジェスチャーで情報をキャプチャし、それをARとして表示するために中継する方法を示している。
意図された結果は、「広角で撮影されたシーンのコンテンツ」が「視差を認識する」ことです。つまり、「画像が仮想現実でレンダリングされると、シーン内のオブジェクトは、世界における位置と視聴者の相対的な位置に応じて適切に動きます。」
「さらに、」とアップルは続ける。「画像コンテンツは、仮想現実システムで通常表示されるコンピュータ生成コンテンツのレンダリングと比較すると、写真のようにリアルに見える。」
この特許は、Ricardo J. Motta 氏と Gary L. Vondran, Jr. 氏を含む 6 人の発明者によるものです。彼らの以前の研究には、AR のライト フィールド キャプチャに関する特許が含まれています。
特許ではよくあることですが、今回の特許は主要技術に焦点が当てられており、ユースケースや潜在的な問題点については特に焦点が当てられていません。この場合、重要な問題点は、3Dディテールをキャプチャするデバイスが高性能である必要があることです。おそらくスマートフォンよりも高性能でしょう。
ベースステーションへの画像のキャプチャ
その結果、まさにこれに関する新たな特許が新たに取得されました。「ビデオパイプライン」は、iPhoneやHMDなどのデバイスが画像データをキャプチャし、それをワイヤレスでベースステーションなどの別のデバイスに送信して処理する方法を扱っています。
「ベースステーションは、従来のスタンドアロンシステムよりも高いコンピューティング能力を提供できる可能性がある」とAppleは述べ、「また、ワイヤレス接続では、従来のテザリングシステムのようにデバイスがベースステーションに縛られることはない」としている。
携帯性と処理能力の間で妥協することです。
「スタンドアロン システムは、ユーザーに自由な移動を提供します」と Apple は続けます。「ただし、サイズ、重量、バッテリー、熱などの制約により、スタンドアロン デバイスは一般に計算能力の点で制限があり、レンダリングできるコンテンツの品質も制限されます。」
「テザリングシステムのベースステーションは、スタンドアロンデバイスよりも高い計算能力と高品質のレンダリングを提供できる可能性があります」とAppleは述べています。「しかし、物理ケーブルがデバイスをベースステーションに繋ぎ止めるため、ユーザーの動きが制限されます。」
Appleの提案はワイヤレスシステムに関するものですが、この特許はキャプチャデバイスからデータを受信するシステムを提示するだけでなく、データを表示することにも焦点を当てています。
「[キャプチャ]デバイスには、ユーザーの環境やユーザーに関する情報を収集するセンサーが搭載されている場合があります」とAppleは述べています。「センサーによって収集された情報は、無線接続を介してベースステーションに送信される可能性があります。」
より強力な基地局にワイヤレスで接続されたモバイルデバイスを示す特許の詳細
「（その後）ベースステーションは、デバイスから受信したセンサー情報に基づいてフレームまたはスライスをレンダリングし、フレームまたはスライスをエンコードし、圧縮されたフレームまたはスライスをデバイスに送信してデコードおよび表示を行います」とAppleは続ける。「システムは、無線リンクを介して目標フレームレートを維持し、フレームのレンダリング、送信、および表示における遅延を最小限に抑えるための方法と装置を実装することができる。」
この特許は13人の発明者によって発明されました。その中には、空間オーディオナビゲーションに携わったAvi Bar-Zeev氏や、AR/VR分野で以前から研究を行ってきたGeoffrey Stahl氏が含まれています。
毎週配信のAppleInsider PodcastでAppleの最新情報をチェックしましょう。AppleInsider Dailyからも最新ニュースをいち早くお届けします。HomePod miniに「Hey Siri」と話しかけ、これらのポッドキャストや最新のHomeKit Insiderエピソードをリクエストしてください。
広告なしのメインの AppleInsider Podcast を体験したい場合は、Apple の Podcast アプリから月額 5 ドルで購読するか、他の Podcast プレーヤーをご希望の場合は Patreon 経由で購読することで、AppleInsider Podcast をサポートできます。
AppleInsiderでは、Amazonプライムデー2021のApple関連のお買い得情報もお届けします。6月21日と22日のプライムデー前、最中、そしてその後もお買い得品が盛りだくさん。イベント期間中はいつでもお買い得。
