Appleは、動画から多方向の画像データをつなぎ合わせて、現在のつなぎ合わせアプリやエンコーダーが生成できるものよりも歪みの少ない映像にする方法を考案することで、VRヘッドセット向けの360度動画コンテンツを改善する方法を検討している。
米国特許商標庁が木曜日に公開し、2017年2月15日に最初に提出された「球面投影による歪みを補正するための正距円筒オブジェクトデータの処理」と題されたこの特許出願は、ビデオを組み合わせる際のエラーや問題を修正することを目的としている。
申請書には、動画は被写体やシーンを複数の視点から撮影できる方法で制作されると記されている。例えば、複数のカメラを同じ場所に向ける、あるいは近年の開発として、シーンのあらゆる側面を映し出す球面動画を撮影するカメラなどが挙げられる。手持ち撮影や、カメラの位置や視点を変えるショットの場合、これらの画像はシーンに組み込むことができる多くの追加データを提供する可能性がある。
「多くの現代のコーディングアプリケーションは、このような全方向または多方向の画像コンテンツを処理するように設計されていません」と出願書類には記載されており、これらのアプリケーションは画像データが「平坦」であるか、単一の視点から撮影されているという前提で設計されていることを示唆しています。つまり、これらのアプリケーションは、この種のビデオを処理する際に発生する可能性のある歪みを考慮しておらず、画像コンテンツの冗長性を認識できず、結果として非効率になる可能性があります。
簡単に言うと、エンコーダはビデオをピクセルブロックに分割し、各ブロックを、参照画像内のシーンに関する他のデータと比較します。検索ブロックと参照データに対する予測検索を使用することで、エンコーダはピクセルブロックに対して様々なアクションを実行し、使用されるフォーマットにおいて視聴者にとってより適切な外観にすることができます。
例えば、VRヘッドセットを装着したユーザーが視聴できるように、そのフォーマットを念頭に特別に制作された球面動画を作成できます。同時に、ユーザーが見ている映像と同一の映像を2台目のモニターにライブ映像として表示できますが、球面ビューで正しく表示されるために必要な歪みを一切排除し、通常の「平面」の単眼視点から見ているかのように見せるように調整されています。
また、複数の平面ビューから球面画像を作成するために使用することもできます。同じシステムを使用して、球面ビデオで使用できるように修正することもできます。
Appleは毎週大量の特許を出願していますが、そのアイデアのうち、実際に同社の製品やサービスに採用されるのは比較的少数です。USPTOへの出願は、そのアイデアが将来の消費者向けデバイスに採用されることを保証するものではありません。
申請中のコンセプトは、既にいくつかの優れた応用例があるかもしれません。まず、360度カメラで撮影した動画を適切につなぎ合わせ、選択した領域からクリップを作成し、あたかも「平面」カメラで撮影したかのように変換できるようになるかもしれません。
2つ目はVR向けです。全天球動画の制作だけでなく、ヘッドセットを装着したユーザーが見ているものを観客が視聴できるようにするためのものです。360度カメラで制作された動画は、将来VRユーザーにとって主要なコンテンツソースとなる可能性が高いですが、動画撮影時に生じる歪みやアーティファクトを補正できれば、コンテンツの視聴体験ははるかに向上するでしょう。
Appleが独自のVRヘッドセットを開発中であるという噂は以前からあり、関連特許の出願もその噂を裏付けています。ARとVRに関するソフトウェア開発の動きはあるものの、Appleは独自のヘッドセットを開発するとは明言していません。
