Apple のコンセプトは、今週AppleInsiderが発見した「モーションの特性を利用したディスプレイ上の 3 次元ユーザー インターフェース効果」と題された新しい特許出願で明らかにされ、前方カメラによる視線追跡を含む多数のセンサーに依存して、周囲の世界に自動的に反応するユーザー インターフェースを表示するシステムについて説明している。
このアプリケーションは、iPhoneのようなデバイスは、コンパス、加速度計、ジャイロメーター、GPS、カメラなど、多数のセンサーを搭載しているため、多くのユニークな機能を実現できると説明しています。さらに、顔検出機能も搭載されており、ユーザーがデバイスの前にいると顔認識機能が表示されます。
「しかし、現在のシステムでは、仮想 3D 環境がレンダリングされるデバイスの位置と姿勢、さらにはデバイスのユーザーの位置と姿勢、さらにユーザーの環境の物理的特性と照明特性が考慮されておらず、デバイスのディスプレイ上により興味深く視覚的に魅力的なインタラクティブな仮想 3D 環境をレンダリングすることができません」と出願書類には記されている。
Appleが提案した発明は、iPhoneのような携帯機器の動き、照明条件、ユーザーの目の位置を継続的に追跡するユーザーインターフェースです。これらの要素を活用することで、Appleは画面上の物体をよりリアルに3次元的に表現できるようになります。
出願書類に示されたよりシンプルな例の一つとして、Appleのコンセプトでは、iPhoneの外側にある光源の位置に応じて動く動的な影を実現できるという。太陽の位置と、太陽に対するiPhoneの角度によって、iPhoneの画面上の影の位置が決まる。
このシステムはユーザーの視線をトラッキングすることで、iPhoneを動かしてレンダリングされた3Dオブジェクトの仮想的な「側面」を見ることを可能にします。また、iPhoneを回転させ、視点を変えることで画面上の物体の「背後を見る」ことも可能です。
別の例として、3Dオペレーティングシステムには窪みのある「弁当箱」が採用され、モジュール式インターフェースに有利になる可能性があります。ユーザーはiPhoneを回転させ、仮想弁当箱に埋め込まれた複数の「小さな穴」の中を覗き込むことができます。
「また、前面カメラを使用することで、視覚的な『スポットライト』効果をユーザーの視線に追従させることも可能になる。つまり、ユーザーが現在見ているディスプレイ上の場所にスポットライト効果が『輝く』ようになる」と出願書類には記されている。
この申請では、このオペレーティングシステムがiOSベースのポータブルデバイスのバッテリー寿命に及ぼす影響も考慮されています。iPhoneのグラフィック処理装置（GPU）の過度の使用を防ぐため、簡単なジェスチャーでシステムを素早くオン／オフにできるようになっています。
iPhoneを素早く回転させるなど、「手を振る」ようなジェスチャーをすることで、3Dユーザーインターフェースが「フリーズ解除」され、有効になります。これをもう一度行うと、ディスプレイは「ゆっくりと通常の表示に戻ります」。
申請書には、3Dユーザーインターフェースはデスクトップマシンでも実現可能であると記載されているが、デスクトップマシンはポータブルではない。これらの要素は、ユーザーの頭部と眼球の動きを追跡する前方カメラを搭載することで実現できる。
今週、米国特許商標庁によって公開されたこの出願は、もともと2010年8月に出願されたもので、発明者はマーク・ジマー、ジェフ・スタール、デビッド・ヘイワード、フランク・ドプケとされている。
