Apple の拡張現実ヘッドセットは、ユーザーの視点と取り付けられたカメラの視点の違いを自動的に考慮することができ、また周辺照明により、ユーザーの目が AR または VR ヘッドセットの装着に慣れやすくなる可能性がある。
Appleは独自のARヘッドセットとスマートグラスを開発中との噂があり、現在「Apple Glass」と呼ばれると推測されています。このスマートグラスもAR技術を用いてユーザーに情報を表示する可能性があります。市場に出回っている他の複合現実ヘッドセットと同様に、ユーザー体験を最適化するためにAppleが克服しなければならない課題は常に存在します。
火曜日に米国特許商標庁が認可した2件の特許出願の中で、AppleはARやVRヘッドセットの使用時に発生する可能性のある2つの異なる問題に対する解決策を考案したようだ。
アダプティブ照明システム
最初の特許「適応型照明システムを備えた電子デバイス」は、VR または AR ヘッドセットを装着または外す際のユーザーの視覚という、あまり考慮されていない問題を扱っています。
Appleは、ヘッドセットを初めて装着した際に、内蔵ディスプレイが暗すぎる、あるいは色褪せていると感じるユーザーがいると予測しています。特に明るい環境でヘッドセットを使用する場合、ユーザーの目は周囲の環境から効果的に保護されるため、この傾向が顕著になる可能性があります。
同様の問題は、使用終了時、ユーザーがヘッドセットを外す際にも発生します。ヘッドセットを装着した比較的暗い視聴環境から、はるかに明るい視聴環境に移ると、ユーザーの目が慣れるまで、眩しさを感じたり、不快感を覚えたりする可能性があります。
LED リングにより、VR ヘッドセットの装着や取り外しが目にとって楽になります。
Appleはこの問題に対し、ヘッドセット内部に照明システムを搭載し、ユーザーの視界の周辺部を照らし出すという解決策を考案しました。このシステムは環境光センサーを活用し、周囲の光量に合わせて明るさを調整し、場合によっては光自体の温かさや色までも調整することが可能です。
これはエッジの周りに一連の LED を配置することになるかもしれないが、この特許では光ガイドを使用して光をループ内に誘導することも示唆されており、これによりシステムに必要な LED の数を減らすことができるかもしれない。
ヘッドセットに搭載されたセンサーから得られるモーションデータは、例えばユーザーがヘッドセットを装着したり外したりする動作を検知し、ヘッドセットの明るさを調整するために活用できます。こうした動作を検知すると、システムは点灯と消灯のプロセスを開始できます。
例えば、ヘッドセットがユーザーがヘッドセットを装着していることを検知すると、ライトループが点灯し、ヘッドセット内の光と外界の光を一致させます。時間の経過とともにライトループは徐々に暗くなり、装着者の目が徐々に慣れていくようにします。
同様に、ヘッドセットが取り外されていると判断すると、ループを徐々に点灯させることができるため、ユーザーの目は、明るい環境に対処する前に、慣れる機会が得られます。
この特許は、2019 年 9 月 4 日に出願され、Cheng Chen、Nicolas P. Bonnier、Graham B. Myhre、および Jiaying Wu によって発明されました。
シーンカメラのリターゲティング
2つ目の特許「シーンカメラリターゲティング」は、コンピュータビジョンとユーザーのビジョンの関係性に関する問題を扱っています。一般的に、拡張現実（AR）は、環境の映像を基準にデジタルアセットをレンダリングし、それをカメラからの映像に重ねてユーザーに提示するか、ユーザーが透けて見える透明パネルに重ねて現実世界を見るという手法を採用しています。
使用されている技術は理にかなっているものの、プラットフォーム開発者が克服しなければならない課題が依然として存在します。この特許の場合、Appleは、シーンを撮影するカメラが捉える映像とユーザーが観察する映像の間に不一致が生じる可能性があると考えています。
これは、外部カメラがユーザーの目よりも前方かつ高い位置に配置されているために発生します。これは全く異なる視点であり、この異なる視点に基づいてレンダリング出力を行っても、その配置により、仮想オブジェクトが現実世界の視界内にあるという錯覚をユーザーに与えることは必ずしもできません。
この特許は、ヘッドセットのカメラの視点がユーザーの目と一致しない可能性がある問題を扱っています。
つまり、Apple の特許は、ヘッドセットが環境のカメラ画像を取得し、それをユーザーの目からの景色とより一致するように調整し、調整された画像を使用してデジタル オブジェクトを現実世界のシーンにより適切にレンダリングできることを示唆している。
これを行うための計算には、変換マトリックスを使用して視点の違いを表すことや、カメラビューの分析を使用して現実世界のオブジェクトの深度を決定し、変換された画像を作成することが含まれます。
このシステムは、より正確な深度データを得るためのLiDARセンサーなど、他のデータポイントを活用して、変換画像を生成することができます。また、加速度計のデータも活用できます。
ユーザーの頭は動くため、ヘッドセットがシーンのオブジェクトをレンダリングするのに時間がかかるため、レンダリング用の視点画像を作成するための変換プロセスに若干の遅延が生じる可能性があります。ユーザーの頭が動くと、視点自体が動くため、レンダリングされたオブジェクトがシーンと一致しない可能性があります。
加速度計を用いることで、ユーザーの視点が近い将来どこに位置するかを予測し、変換行列をさらに調整することが可能になります。この予測は、移動中のユーザーの最終的な視点とレンダリングを一致させるのに役立ちます。
この特許は当初2020年9月24日に出願され、発明者はTobias Eble氏とThomas Post氏と記載されている。
HomePodでAppleの最新ニュースをいつでもチェック。「Hey Siri、AppleInsiderを再生して」と話しかけると、最新のAppleInsider Podcastが聴けます。または、HomePod miniに「AppleInsider Daily」と話しかけると、ニュースチームからの速報がすぐに聞こえてきます。Apple関連のホームオートメーションに興味があるなら、「Hey Siri、HomeKit Insiderを再生して」と話しかければ、最新の専門ポッドキャストがすぐに聴けます。
