Appleの特許は、Apple TV、Macなどに向けた空中3DジェスチャーUIを示唆している

イスラエルに拠点を置く3Dマッピング研究開発会社PrimeSenseから特許の再譲渡を受け取ってから1か月後、Appleは火曜日、以前に概要を示したモーションセンサーハードウェアと連動するソフトウェア実装の可能性を詳述した別の特許を取得した。

米国特許商標庁は、Apple に「3 次元ユーザー インターフェイス セッション制御」、より簡単に言えば、PrimeSense のモーション センシング ハードウェアで使用するソフトウェア UI に関する米国特許番号 8,933,876 を割り当てました。

実際には、この特許取得済みシステムは、以前に再譲渡された特許で概説されている動きと奥行きを感知する光学センサーと、ユーザーのジェスチャーを認識してコンピューター コマンドに変換できる 3 次元の非触覚ユーザー インターフェイスを作成するための独自のソフトウェアを組み込んでいます。

具体的には、本発明は、カメラ／センサーから取得したトラッキング、モーション、および深度入力データを3Dユーザーインターフェースに適用します。ユーザーは、X、Y、Z軸に沿った3D座標平面上で認識される複数の点に沿って手を動かすことでジェスチャーを作成し、ホストコンピュータによってアプリまたはシステムコマンドとして処理されます。例えば、ユーザーは垂直軸に沿って手を上げるジェスチャーでシステムUIのロックを解除できます。

特許によると、デバイス自体は3つの異なる動作状態の間を遷移し、ロック/ロック解除、追跡/非追跡、アクティブ/非アクティブの任意の組み合わせを含む。例えば、センサーデバイスがロックされている場合、誤ってロック解除コマンドを実行するのを避けるため、ユーザー入力を無視し、追跡も行わない可能性がある。この場合、UIも非アクティブ状態のままとなる。

ユーザーは「フォーカスジェスチャー」を実行することで、デバイスにロック解除コマンドの受信を通知できます。これらの特殊な動作はデバイスをロック解除し、トラッキングされていない非アクティブ状態からロックされているアクティブ状態へと切り替えます。例えば、フォーカスジェスチャーでは、手を「押す」または「振る」動作が含まれ、センサーが正しく認識されると、モーショントラッキングが有効になり、UIが起動します。

フォーカスジェスチャの規定に加えて、「セッションのドロップ」という手法があります。これは、ユーザー入力をキャンセルするためのグラフィカルかつ操作的なソリューションです。例えば、ソフトバー（上図ではシステムドックとして表示）を呼び出すシナリオでは、ユーザーは手を挙げてロックを解除し、モーショントラッキングを有効化します。ユーザーがセンサーハードウェアの視野から手を離すと、同様にセッションがドロップされ、例のソフトバーは画面外に落ちてUIが非アクティブ状態であることを反映します。

この点を踏まえ、Appleの特許では、ユーザーのジェスチャーがセンサーの視野内に収まっている必要があるとされています。これは一見当然の要件ですが、実装が不適切だとユーザーエクスペリエンスを損なう可能性があります。特許では、ユーザーが視野内にいるとオンボードのライトアレイが点灯するように設定することで、システムが入力待ち状態であることを視覚的に知らせることが示唆されています。

本日の特許開示は、PrimeSense社が12月に3Dマッピングおよびモーショントラッキングデバイスに関する別の特許を再譲渡したことに続くものです。同社は、Microsoftが初代Xbox Kinectセンサーの開発を支援した際に、非常に類似した赤外線モーショントラッキング技術を採用していました。

Appleは2013年、PrimeSenseとその特許を3億4500万ドルから3億6000万ドルの取引の一環として買収しました。買収後、業界ではAppleが改良版Apple TVにモーションセンサーのハードウェアとソフトウェアを搭載する可能性が高いとの噂が流れましたが、このデバイスはまだ発表されていません。

最近の報道によれば、Appleの次世代セットトップストリーマーのリリースは、コンテンツを煩雑なライセンス条件の下に閉じ込めておくことに熱心なケーブルプロバイダーとの交渉が行き詰まっているため、宙に浮いた状態になっているという。

Apple の 3D ユーザーインターフェース特許は 2011 年 12 月に初めて申請され、発明者は Micha Galor、Jonathan Pokrass、Amir Hoffnung とされている。