Apple は、拡張現実 (AR) や仮想現実 (VR) の体験を生み出すツールを作成する作業と並行して、そうした作品をどのように記録し、再表示し、他の人に転送できるかについても検討している。
Appleは長年にわたり、拡張現実（AR）と仮想現実（VR）の両方を実現する方法に取り組んできましたが、新たな特許では録画技術にも着目していることが示されています。Appleによると、AR/VR体験を完全に録画し、後で再生することが可能になるとのこと。
たとえばゲームプレイのライブストリームを録画することはすでに可能だが、Apple の目標は、コンピューターで生成された体験要素と現実世界の体験要素の両方を記録することだ。
特に拡張現実（AR）は、現実世界の環境とデジタル要素を融合させます。Appleは、ARと仮想現実、そして音声などの現実世界のインタラクションを組み合わせたものを「コンピュータ生成現実コンテンツ（CGR）」または「複合現実（MR）」と呼んでいます。
「既存のコンピューティング システムとアプリケーションでは、CGR コンテンツの記録やストリーミングが適切に行われません」と Apple は「Media Compositor For Computer-Generated Reality」の中で述べています。
「VR 環境は完全にコンピューター生成の感覚入力に基づいて設計されているのに対し、複合現実 (MR) 環境は、物理環境からの感覚入力を組み込むように設計されたシミュレートされた環境を指します... [複合現実] 環境は、一方の端に完全に物理的な環境があり、もう一方の端に仮想現実環境がある中間の任意の場所にありますが、その両方は含まれません。」と続きます。
これにより、元のユーザーが見たり行ったりしたことを受動的に Twitch のようにストリーミングするのではなく、より没入感のある録画が可能になります。
「一部の実装では、従来のビデオ録画技術の画面や音声のキャプチャ情報よりも豊富なCGR体験情報を含む合成ストリームが提供されます」とアプリケーションは続けます。「合成ストリームには、CGR体験における現実または仮想オブジェクトの3Dジオメトリに関する情報を含めることができます。」
「合成ストリームに現実または仮想オブジェクトの 3D モデルを含めると、録画やライブストリーミングの視聴者の体験が向上します。たとえば、視聴者は作成者の視点とは異なる視点からシーンを体験したり、オブジェクトを移動したり回転したりできるようになります」と記載されています。
Apple のシステムでは、このような録音の視聴者は頭を動かしてさまざまな視点を見ることができるだけでなく、「自分の頭の向き、音源に対する相対的な位置などに基づいて音を体験」することもできます。
特許出願の中核は、デバイス（基本的には十分な処理能力とストレージを備えたあらゆるコンピュータ）が、要素を個別に、かつ同時にキャプチャする方法を説明した一連の記述です。キャプチャされた要素は再結合され、「体験全体を包含する合成ストリームを形成」します。
「デバイスは、レンダリングされたフレームを含む最初のデータストリームと、追加データを含む1つ以上の追加データストリームを取得します」と記載されています。「レンダリングされたフレームコンテンツ（例：2D画像または3Dモデル）は、CGRエクスペリエンスでレンダリングされた実際のコンテンツまたは仮想コンテンツを表します…」
AR/VR体験を記録する方法を説明した特許の詳細
Apple は、これらのストリームを記録するコンピューターを「メディア コンポジター」と呼んでいます。メディア コンポジターは、複数のデータ ストリームを記録し、それらを同期させることができます。
「メディアコンポジターは、レンダリングされたフレームの第1データストリームと、追加データの第2データストリームを取得します」と説明されています。「メディアコンポジターは、レンダリングされたフレームのコンテンツと[タイムスタンプなどの追加データ]を揃えた合成ストリームを形成します。」
この特許出願は、Ranjit Desai、Venu M. Duggineni、Perry A. Caro、Aleksandr M. Movshovich、および Gurjeet S. Saund の 5 人の発明者によるものです。
Movshovich の以前の関連特許には、「入力データ ストリームから独立したクロッキング スキームを備えた A/V デコーダ」の特許が含まれています。
