Apple は、事前にレンダリングされた 3D ビデオを立体的に表示する方法を検討しています。このシステムは、各目に特定のビューを作成することで、仮想オブジェクトのよりリアルな表示を提供する AR グラスや VR ヘッドセットに役立ちます。
仮想現実（VR）と拡張現実（AR）の分野では、ヘッドセットを通してユーザーに完璧な映像を提供するという課題に取り組んできました。ヘッドマウントディスプレイは、左右の目にわずかに異なる2つの映像を提供することで、仮想アイテムに奥行きと実体感を与え、現実世界での視覚を模倣します。
ゲームエンジンやVRシステムは通常、ユーザーの目の位置に配置された2台の仮想カメラを用いてシーンをレンダリングし、2台のカメラはユーザーから離れた距離で収束します。しかし、360度立体視のCGIシーンを事前にレンダリングするのはより困難です。Appleは、リアルタイムで作成されるライブVRシーンとは異なり、360度球面動画では、効果を発揮するために必要な目の位置をすべて考慮することはできないと主張しています。
また、球面ビデオ ファイルでは、ユーザーが頭を傾けて目の高さが変わると目の垂直方向の視差が生じるため、立体視差効果を実現できません。
特許出願「仮想 3D オブジェクトの立体レンダリング」において、Apple は、システムがまずシーン内のオブジェクトをテッセレーションして頂点を識別し、次に軸間パラメータと収束パラメータ、つまり両眼間の距離と遠方における収束点とともに球面座標にマッピングすることを提案している。
球面上の位置は、正距円筒図法にマッピングできます。3Dオブジェクトの頂点の位置は、3Dオブジェクトの表面のポリゴンを定義し、ユーザーの向きとカメラの位置に基づいて、投影面の一部を占めるように変形できます。
それぞれの目に立体画像を作成する方法の例。
3D位置の移動には、両眼の眼軸間距離と輻輳に基づいて頂点と位置を回転させる処理が含まれます。最終的に、作成された投影は、各カメラの球面ベース投影に基づいて、立体的な360度レンダリングに変換されます。
結果は、左の視点と右の視点それぞれに 1 つずつ、2 つの正距円筒表現になります。
Apple は毎週のように米国特許商標庁に多数の特許を申請しているが、申請があってもそのアイデアが将来の Apple 製品やサービスに採用されることは保証されないものの、iPhone メーカーの研究開発活動の関心領域を示していることは確かだ。
コンテンツをレンダリングするための新しい、より優れた方法を開発する必要が生じているのは、Appleが開発中と噂されているARグラスのせいだと考えられます。同社はiOSデバイスベースのARKitシステムの開発を進めていますが、この取り組みは将来的に何らかのヘッドセットの開発につながる可能性があり、早ければ2020年にも発表される可能性があります。
Appleは、ヘッドセットの設計と使用に関する分野でも多数の特許を保有しており、iPhoneを収納できるメガネから視線追跡システム、温度調節、ヘッドセットをユーザーの頭部にぴったりとフィットさせる方法など、多岐にわたります。ソフトウェア面では、配車サービスへのARの活用や、世界中の興味のある場所をユーザーに表示する方法について検討を進めています。
最新の特許出願にさらに直接関連して、2018 年 8 月に出願された「球面投影による歪みを補正するための正距円筒オブジェクト データの処理」では、マルチカメラ ビデオ録画装置などを使用して複数のビデオを組み合わせるときに問題を防ぐ方法が詳しく説明されています。
