ヘッドトラッキングとして知られるこの技術は、以前から知られ、実用化されてきました。しかし、Appleが今週提出した新たな特許出願は、MacメーカーであるAppleがこの高度な技術を採用することで、ユーザーとコンピュータとのインタラクション性を向上させる可能性を示唆しています。
カメラを用いることで、このシステムはユーザーの位置を検知し、それに応じて画面上の映像を調整することができます。さらに、カメラはユーザーの映像を画面上のオブジェクトに重ね合わせることで、「反射」のような印象を与え、より没入感のある体験を実現します。
Appleは、マウスとキーボードを使って画面上の3Dオブジェクトを操作する従来の方法は、ほとんどのユーザーにとって直感的ではないと指摘しました。さらに、画面上のオブジェクトは現実の環境と相互作用しないため、リアリティに欠けることが多いとしています。
Apple が新たに発表した技術は、カメラや適切な「感知機構」の使用を通じてこの問題に対処することになる。
「検出されたユーザーの位置を用いて、電子機器は、ディスプレイに表示される3次元オブジェクトの視点を変換するために、任意の適切な手法を使用することができる」と申請書には記載されている。「例えば、電子機器は、画面に表示される3次元オブジェクトを変形する視差変換を使用することで、ユーザーにオブジェクトを異なる視点から見ているような印象を与えることができる。」
この技術は、様々な表面の視覚特性を定義し、光の反射率を判定することが可能です。これにより、ユーザーとその周囲の画像を、エフェクトを加えて画面上に再現することが可能になります。
「このアプローチを用いると、反射率の低い表面（例：プラスチック）は環境を反射しないものの、光を反射する可能性があります。一方、反射率の高い表面（例：磨かれた金属やクロム）は、環境（例：カメラで検出されたユーザーの顔）と光の両方を反射する可能性があります」と申請書には記載されています。「ユーザーエクスペリエンスをさらに向上させるために、検出された環境は、表示されたオブジェクトの曲面に沿って異なる形で反射される場合があります（例えば、ユーザーが実際に表示されたオブジェクトの周りを移動し、自分の位置とオブジェクトの画像が反射されている部分に基づいて自分の反射を見ているかのように）。」
これは仮想現実の新たなレベルであり、現実世界と非現実世界を融合させながら、物体がまるで現実であるかのような視覚的知覚を与える。この技術を研究しているのはAppleだけではない。Microsoftの「Project Natal」は未発表のビデオゲームアクセサリで、カメラを用いたフルボディトラッキング技術を用いて、ユーザーの身体動作をXbox 360ゲームに反映させることを目指している。
プログラマーのジョニー・チャン・リー氏も、2007年に任天堂Wiiの赤外線リモコンを使った自作のヘッドトラッキングデバイスを開発し、注目を集めました。カーネギーメロン大学の学生である彼は、ユーザーの相対的な位置に基づいて画像を調整するシンプルなインタラクティブディスプレイを開発しました。彼の技術はYouTubeで760万回以上再生されています。
今週の特許申請は、Appleが様々な3D技術を研究した初めてのことではありません。2008年には、ヘッドギアやメガネなしで視聴できる、裸眼立体視技術を用いた3Dディスプレイハードウェアの特許を申請しました。また、2008年には、Mac OS X向けの3Dユーザーインターフェースの可能性に関する詳細を明らかにしました。さらに、Apple TV用の3Dゲームコントローラーにも関心を示しています。
拡張現実（AR）と呼ばれる別の種類の仮想現実は、iPhone向けの様々なアプリケーションで人気を博しています。iPhone OS 3.1のリリースにより、iPhone 3GSのオートフォーカスカメラと内蔵コンパスを利用することで、iPhoneのカメラで撮影したライブ画像にマーカーやコンテンツを表示することが可能になりました。これにより、iPhoneはiPhoneの向きを認識し、被写体を詳細に撮影して情報をタグ付けすることができます。
メディアプレーヤーのバッテリー寿命の予測
Appleは別の特許出願において、ビデオなどのコンテンツの再生に必要な電力量を計算し、タスクを完了するのに十分なバッテリー残量があるかどうかを判断するシステムについて説明している。システムは、ビデオ全体を再生するために必要な電力量を削減するために、自動またはユーザー入力によって再生設定を調整する。
Appleによると、現在の技術では、ユーザーはバッテリー残量が不足していることに気づかずにビデオの再生を開始する可能性があるという。しかし、こうした問題は、画像の解像度、ビデオのビットレート、バックライトの強さ、音量などを調整することで、通常、最初から解決できるという。
「インテリジェントな電源管理方式」は、これらすべてを考慮してバッテリー寿命を最大限に延ばし、動画が最後まで再生されるようにします。ソフトウェアは、ユーザーがカスタマイズできる動画設定の「優先順位」を採用します。
