将来の「Apple Glass」や、その他同様のApple製ヘッドセットでは、背景を装着者が選択した任意の画像に置き換えることができるようになるかもしれない。
Appleは、「Apple Glass」のようなヘッドセットでクロマキー処理、つまり単色の背景をApple AR画像に置き換える処理を実現する方法を検討してきました。多くの場合、この処理はヘッドセット側で実行され、遅延によって乗り物酔いが悪化しない程度に高速化されることが目標となっています。
「複合現実（MR）用ヘッドマウントディスプレイに組み込まれた低遅延クロマキーイング」は、2020年2月に出願された米国特許出願ですが、今週になってようやく公開されました。この出願以来、私たちは皆、新型コロナウイルスによるロックダウンと、それに伴うビデオ会議の爆発的な増加を経験してきました。
その結果、オフィスや自宅の背景をロゴやビーチの風景など他の画像に置き換えるというアイデアは、今では誰もが慣れ親しんでいます。しかし同時に、特に話し手が動き回る場合、こうした方法がうまく機能することは稀であることも知っています。
その理由の一つは、たとえ非常に効果的に行われていなくても、背景の置き換えには相当な処理能力が必要になるからです。2020年7月のアップデートまで、MicrosoftのSkype for iOSはMacやPCのように背景をぼかすことさえできませんでした。
このようなぼかしは複雑なプロセスですが、その一部には、人物の頭と背景の境界を決定することが含まれます。クロマキー処理では、人物が単色の背景の前に配置されるため、この処理が大幅に容易になります。これは、映画で使用されているグリーンスクリーンやブルースクリーンと同じプロセスです。
ビデオ会議のフレームのどの部分が話している人で、背景は何なのかが非常に明確な場合、ZoomやSkypeのようなシステムでは背景の置き換えがより簡単に行えます。ただし、これらは2Dシステムであり、「Apple Glass」はこれを3Dで実現することを目指しています。これにより、装着者が単に平面のスクリーンを見るだけでなく、歩き回っているときにも背景を置き換えることができます。
左：人物が単色の壁の前に立っている。右：ヘッドセットが背景を置き換えている
したがって、Appleの特許申請は、Apple AR向けの背景置き換えの3D立体視バージョンの開発と、それを十分な速度で動作させることを同時に目指している。その一部はヘッドセットの処理能力に関係しているが、ユーザーの視界にデータを返す速度にも関係している。
「（必要なのは）内蔵ステレオRGBカメラを使って環境をキャプチャし、リアルタイムでカラーキーイングを行うウェアラブル没入型ヘッドマウントディスプレイ（HMD）と、仮想コンテンツで拡張された現実世界の画像を表示するディスプレイシステムだ」とアプリケーションは述べている。
「このシステムは高フレームレート（通常 75 fps 以上）で動作し、画像をキャプチャして HMD 自体に表示できるようにフォーマットすることで、1 フレーム未満の遅延を実現します」と続けます。
Appleの提案では、ヘッドマウントディスプレイに「複合現実（MR）環境でクロマキー合成を行うためのカメラセンサー」を搭載し、装着者にとっての遅延、つまりレイテンシーを最小限に抑えるという。「低レイテンシーは、カメラ画像のフォーマット、選択された色域の検出、そして仮想コンテンツとの合成といった処理をHMD自体に組み込むことで実現される」としている。
アプリケーションは、「低遅延は、優れた没入感（多くの場合、「プレゼンス」と呼ばれる）を実現するために必要な重要な要素です」と続けます。
画像が置き換えられる前のヘッドセットビューの例を示す詳細
さらに複雑なのは、このようなシステムでは実際には2枚の画像を作成する必要があることです。「このシステムは、ユーザーに広角レンズ（視野角は通常110度以上）を通してディスプレイを見ることで複合現実を実現します」と説明されています。「HMDディスプレイの背後に設置された2台のカメラが、それぞれの目の数センチ前方の視点から周囲の環境を捉えます。」
このアプリケーションでは、代替画像がどこから取得されるかという問題には対処されていません。ZoomやSkypeの会議では、異なる背景でプレゼンテーションを行うことを選択した講演者が選択することになります。
このアプリケーションの場合、「Apple Glass」装着者の前に立つスピーカーが、ブルースクリーンやグリーンスクリーンに代わる画像をどのように示すのかという詳細は不明です。しかし、特許には、実用的な用途としてゲーム、ビデオ、仮想オブジェクトの使用が含まれると記載されています。
この出願は7人の発明者によって発明されています。その中には、過去の関連研究で「オムニステレオイメージング」に関する特許を保有しているヴィンセント・シャプデレーヌ＝クチュール氏と、ビデオ信号のデジタル処理に関する特許の唯一の発明者であるベルトラン・ネプヴ氏が含まれています。
画像が置き換えられたときのヘッドセットビューの例を示す詳細
これとは別に、アップルはこれまでにも、ビデオ会議で背景や前景の画像を自動的にぼかす機能を含む特許を申請している。
