Appleはジェスチャーコントロールや状況に応じた反応に深度マッピングを使用するデバイスを提案している

Appleのコンセプトでは、HomePodのようなホームエンターテインメント機器は、周囲の環境やユーザーの行動を分析することで機能強化できる可能性があると示唆しており、部屋を監視することでジェスチャーベースのオーディオ制御や、部屋に人がいない場合は音量を下げるといった状況に応じた対応を改善できる可能性があるという。

米国特許商標庁が木曜日に付与した「ユーザーの存在と活動に反応するマルチメディアコンピューティングまたはエンターテインメントシステム」の特許は、HomePodや他のコンピューティングデバイスがリアルタイムの3次元センサーデータをさまざまな方法で活用する方法について説明している。

この地図データを用いて部屋の深度マップを作成し、家具の移動や新しい家具の設置などの変化に合わせて時間とともに更新することで、デバイスに部屋のレイアウトと、将来の部屋のスキャンデータと比較するための背景情報を提供します。理論的には、これによりシステムは白紙の状態からライブデータと比較し、ユーザーの位置を把握できるようになります。

深度マップデータを検出すると、それを用いてユーザーの手を検出し、マッピング領域全体をセグメント化して、必要な部分のみに絞り込むことができます。このマップは、以前の結果を改善することで、手だけでなく、腕やユーザーの他の部分もより正確に検出できるようになります。

Appleによると、現在のジェスチャー認識システムは、指やその向きなど、手の個々の部分を検出できないことがあり、多くの場合認識が困難です。提案されているシステムは理論的には指の位置を検出できるため、ジェスチャー認識により適したものになります。

注目すべきは、この特許では、提案システムが状況のコンテキストに基づいて、ユーザーの希望に完全には沿わないものも含め、取るべき行動を決定する可能性も示唆されている点です。例えば、高齢のユーザーが音量を上げるよう要求した場合、システムはこれを音声出力を強調する要求と解釈し、平均音量を上げるのではなく、メディアからの音声を増幅する可能性があります。

特許には、いくつかの実施形態では、システムがユーザーの意図や要望（それがシステムに対して明示的に向けられている場合もそうでない場合も）に応答できるとも記されている。例としては、ユーザーが部屋を離れたことが確認された場合に音楽の再生を一時停止したり、音響反射率の低い環境に戻ってきた場合に音量を調整して補正したりすることが挙げられている。

Apple は USPTO に定期的に大量の特許を申請しているが、申請が発見されたからといって、そこに記載されているコンセプトを Apple が将来の消費者向けデバイスに使用することが保証されるわけではない。

Apple製品の一つであるHomePodは、部屋の状況を分析し、マイクアレイからのフィードバックに基づいて出力を自動調整することで、部屋全体に広がるサウンドを作り出します。これは適応型であり、HomePodを別の場所に移動させた場合でも新しい環境に適応できますが、これは音のみで行われるため、手振りは全く認識できません。

一つの可能性として、HomePodのようなデバイスにiPhone XのTrueDepthカメラに搭載されている技術を搭載することが挙げられます。この技術は、Face ID認証のためにユーザーの顔の深度マップを生成することができます。また、アニ文字やマスクベースのカメラフィルターなどの機能のために、ユーザーの顔の各部をトラッキングすることも可能です。