モーショントラッキングユーザーインターフェース
今週公開された20ページの申請書の中で、Appleは、コンピュータシステムの入力デバイスには一般的にマウス、キーボード、スタイラス、トラックボールなどが含まれるが、これらの入力デバイスを操作するにはユーザーの片手が必要となると指摘している。しかし、場合によっては両手を自由に使えるようにしてタイピングした方が効率的であり、他の入力デバイスの操作が妨げられるという不都合が生じる場合がある。
Macメーカーが提案するこの問題の解決策は、概念的には非常に単純ですが、精密に実装するのは非常に困難になる可能性があります。具体的には、Macに内蔵されたiSightカメラでユーザーの体の動きを継続的に監視し、その動きをウィンドウやユーザーインターフェース要素の選択、3Dオブジェクトの操作、コンピュータ画面上のオブジェクト間のフォーカス移動などのコマンドに変換するというものです。
ターゲットゾーンの選択
iSightのモーショントラッキング精度を高めるため、Appleは、ユーザーが常に監視する身体部位または物体の「ターゲットゾーン」を選択することで、この技術を調整できると説明しています。例えば、身体部位がユーザーの頭部であれば、焦点はユーザーの目の周りの顔の部分になります。ペンなどの物体であれば、焦点はペンのキャップ部分になります。
しかし、「一部の実装では、物理的なクリックによる追跡対象ゾーンの選択は不要です」とAppleは指摘しています。「例えば、オプティカルフロー情報を使用すれば、ユーザーが追跡対象ゾーンを選択する手間をかけずに、移動する物体を自動的に検出できます。」
ディスプレイのフォーカス遷移
下の図は、iSight がユーザーの顔を追跡し、ユーザーが注目しているウィンドウに対応するポインタがコンピューター画面に表示される例を示しています。
「[iSight]は人間の頭やその他の物体の動きを検知し、ユーザーがフォーカスを当てたいウィンドウにポインタを配置します」とAppleは述べています。「例えば、[ある]ウィンドウ内の一点から始めて、人間の頭が左上から右下へ動くと、ポインタもそれに応じて左上から右下へ移動し、新しいウィンドウにフォーカスを当てます。[新しい]ウィンドウにフォーカスが当たると、[前の]ウィンドウが自動的にすべてのウィンドウの最前面に表示され、ユーザーはディスプレイの現在のフォーカスを明確に確認できます。」
ユーザーは、ディスプレイに表示された複数のウィンドウの 1 つを選択した後、比較的短い距離にわたってゆっくりと頭を動かすことで、選択したウィンドウ内でポインターをホバーさせることができます。
コンピュータ画面に表示されるウィンドウにエディタやブラウザが含まれている場合、ユーザは頭やその他の物体を動かすだけで、エディタやブラウザによって提示されたデジタルファイルを上下左右などのさまざまな方向にスクロールすることもできます。
「例えば、ワードプロセッサでディスプレイに5ページのファイルが表示されていて、ワードプロセッサのワークスペースには最初のページしか表示されていないとします。ユーザーがファイルの最後のページを見たい場合、頭を下に動かすだけでデジタルファイルを最後のページまでスクロールできます」とAppleは述べています。「必要に応じて、比較的短い距離で頭を少し下に動かすことで、デジタルファイルをページごとにめくることもできます。」
グラフィカルアイコンの操作
次の例は、3Dアイコンオブジェクトがユーザーの頭の動きによって操作される様子を示しています。例えば、ユーザーが頭を右に回すとティーポットが右に回転し、左に回すとティーポットが左に回転します。このように、3次元表示環境では、iSightカメラによって追跡される頭やオブジェクトの動きによって、グラフィカルオブジェクトを上下左右、前後、回転など、6つの自由度で動かすことができます。
Appleは、「一部の実装では、グラフィカルアイコンはユーザーを表すアバターとして機能します。ユーザーは頭の動きによってアバターの目の位置を制御できます」と述べています。「例えば、ユーザーが右を向くと、頭の動きに連動してアバターも右を向きます。ユーザーが左を向くと、頭の動きに連動してアバターも左を向きます。他の実装では、アバターは回転や直線移動以外のユーザーの動きをシミュレートできます。」
グラフィカルアイコンの操作とディスプレイのフォーカス遷移
以下の例に示すように、ユーザーは頭を右から左へ直線的に動かすことでティーポットを動かしています。同時に、ティーポットを反時計回りに回転させるなど、任意の操作も行っています。これにより、ユーザーは2つのウィンドウ間でディスプレイのフォーカスを切り替えると同時に、ティーポットを操作することができます。
追加の概念
Appleは出願書類の中で、前述の原理に基づいてオブジェクトやウィンドウを操作するためのいくつかの追加コンセプトについても言及しています。例えば、このコンセプトは複数のディスプレイを備えたコンピュータ環境にも適用できると述べています。また、ユーザーの視点に基づいて、オブジェクトを異なる角度から表示することも可能です。さらに、場合によっては、3次元空間の各側面が、コンピュータ画面に表示される各側面に対するユーザーの距離に応じて、近く見えたり遠く見えたりすることもあります。
この申し立ては、Apple の従業員 Kevin Quennesson 氏によって行われたものとされている。
