Apple は、平面のビデオコンテンツから複合現実または仮想現実環境を生成し、ユーザーが通常は 2 次元でしかないクリップ内を歩き回って探索できるようにするシステムを開発しています。
Appleによるこのテーマに関する研究は、米国特許商標庁によって木曜日に公開されました。「平面のビデオコンテンツの合成現実再構成を生成する方法および装置」に関するものです。この特許は、合成現実（SR）をデジタルで生成された物体および環境と定義することから始まります。SRは基本的に、Appleによると仮想現実、拡張現実、複合現実を含む広範なカテゴリです。
ユーザーは、iPhoneやiPadのような携帯型デバイスでも、噂されている「Apple Glass」のようなヘッドマウント型デバイスでも、デバイス上でSR体験に参加できます。視覚、味覚、嗅覚、触覚など、1つまたは複数の感覚を通してSR設定を操作できます。
しかし、特許の大部分は、平面的なビデオコンテンツからVRキャラクター、オブジェクト、環境を生成できるシステムに焦点を当てています。言い換えれば、テレビ番組を、ユーザーが前述のデバイスを使って探索できるVR環境に変換できるということです。
「ユーザーは、ビデオコンテンツ（例えば、テレビ番組や映画）を、まるで登場人物と同じシーンにいるかのように体験したいと考えるかもしれません。言い換えれば、ユーザーはビデオコンテンツを単にテレビやその他の表示装置で視聴するのではなく、SR体験として視聴したいと考えているのです」と特許には記されています。
クレジット: Apple
Appleが指摘するように、ほとんどのSRコンテンツは事前に「苦労して作成」され、ユーザーが選択できるライブラリに追加されます。しかし、この特許では、「デジタル資産を活用」することで、フラットコンテンツをSR体験に「シームレスかつ迅速に」移植し、ビデオコンテンツのオンデマンドSR再構成を生成する方法が説明されています。
このシステムは、シーン内の「プロットエフェクチュエーター」を識別し、シーンの説明を合成し、「シーンのシーン説明に従って、最初のプロットエフェクチュエーターに関連付けられた最初のデジタルアセットを駆動する」ことによってシーンの再構築を生成することによって機能します。
Apple が指摘するように、デジタル資産は、ビデオ コンテンツの登場人物や俳優として定義される「プロット効果者」のビデオ ゲーム モデルに相当する可能性があります。
このシステムは、ビデオコンテンツに基づいてSR再構成を生成するだけでなく、関連するテキストコンテンツや外部データからも情報を取得できます。これには、ビデオクリップに出演する俳優の写真、俳優の身長や体型、シーンの様々な角度からの視点、その他のデータが含まれます。
「いくつかの実装では、デジタルアセットは、少なくとも部分的にビデオコンテンツと、ビデオコンテンツに関連付けられた外部データに基づいて、オンザフライで生成される。いくつかの実装では、ビデオコンテンツに関連付けられた外部データは、俳優の写真、俳優の身長やその他の測定値、セットやオブジェクトの様々なビュー（平面図、側面図、透視図など）などに対応する」と特許には記されている。
興味深いことに、Apple は同様の SR 生成システムによって、オーディオブック、ラジオドラマ、その他のオーディオのみのコンテンツを含むオーディオと関連コンテンツに基づいてインタラクティブなシーンを作成できるとも指摘しています。
特許のいくつかの箇所では、アクションオブジェクト（キャラクターがインタラクトするオブジェクト）とアクション不可能なオブジェクトの区別についても詳述されています。この区別により、SRシステムはシーン内のどの種類のオブジェクトがインタラクトする必要があるかを事前に把握できる可能性があります。
この特許には、イアン・M・リヒター、ダニエル・ウルブリヒト、ジャン＝ダニエル・E・ナミアス、オマー・エラフィフィ、そしてピーター・マイヤーが発明者として記載されています。このうち、マイヤーはリアルタイムで移動する物体をカバーするAR特許に携わっており、リヒターは頭部の動きを認識できるヘッドマウントシステムの発明者として名を連ねています。
Appleは毎週のように多数の特許を申請していますが、そこに記載されている技術が実際に市場に投入されるという保証はありません。同様に、特許申請からは、Appleがその技術を搭載した新製品をいつリリースするかについては一切分かりません。
