Apple Vision ProのジェスチャーはiPhone、iPad、Macにも広がる可能性がある

Apple Vision Pro ではジェスチャーでアプリを制御する新しい方法が導入されましたが、Apple はそれを自社が製造するあらゆるデバイスの制御に拡張したいと考えているようです。

Apple Vision Proが登場する前は、コンピューターに向かってジェスチャーをするのは失礼な行為とされていました。しかしApple Vision Proでは、ウィンドウの移動やドキュメントのサイズ変更など、様々なジェスチャー機能が導入されました。

これらはApple Vision ProのvisionOSの中でも特に優れた要素であり、その完成度の高さは驚くべきものです。これらのジェスチャーは、一度使いこなせばどれも非常に自然に感じられるため、他に代替手段を想像することも、これほど新しいものだと感じさせることも不可能です。

新たに取得された特許によると、Appleもこれらのジェスチャーにかなり満足しているようだ。より多くのデバイスでこれらのジェスチャーを利用できるようにすることが、「カーソルを使って3次元環境と対話するためのデバイス、方法、およびグラフィカルユーザーインターフェース」の目的である。

これは決して新しいものではありません。Appleは2009年にも同様の特許を申請していましたが、今回の新たな申請はApple Vision Proのジェスチャー操作の成功によってさらに強化されたものです。

特許出願は、Apple Vision Proに関する36点を含む、説明図や図表で始まります。ヘッドセットの部品の内訳まで掲載されており、Apple Vision Proがユーザーのジェスチャーを認識し、Macやその他のデバイスに伝える方法についてAppleが検討している兆候がはっきりと見て取れます。

しかし、中には普通のiPadを手に持ったユーザーや、モニター付きの古風なタワー型コンピュータの前に立っているユーザーを描いた棒人間のイラストもあります。どちらの場合も、ユーザーはヘッドセットを装着していません。

Apple社によれば、この特許は「ディスプレイを介して仮想現実や複合現実の体験を提供する電子デバイスを含むがこれに限定されない、コンピューター生成の体験を提供する」デバイスに関するものだという。

ユーザーがそれを持たなくてもいいというのは理にかなっています。現在、iPadとiPhoneには顔全体をスキャンするFace IDセンサーが搭載されているので、顔の前で手を振るだけで認識されるのは当然のことです。

AppleはすでにFace IDセンサーを生体認証やデバイスのロック解除以外にも活用しています。iOS 18では、これらのセンサーを通して、ユーザーはiPhoneを見つめるだけで操作できるようになります。

この新しい特許が焦点を当てているのは、ジェスチャーを正しく認識し、また誰かが鼻をかいているなどの誤検知を排除するために必要な手順です。

「それぞれの手の動きが第一の基準を満たしていると判断される」場合、例えば、ジェスチャーはデバイスに「それぞれの手の動きに基づいてカーソルの位置を変更する」という動作をさせる可能性があります。同じシステムがジェスチャーが第一の基準を満たしていないと判断した場合、システムはそれを無視します。

これは特許なので、目的の説明はここまでです。特許にはユースケースがほとんどないためです。ただし、この特許は他の特許よりも繰り返しが多く、ジェスチャーの決定方法や、カーソル移動からウィンドウ移動までの様々な結果について、個別に説明していくことになります。

しかし、特許はこの点についてほとんど示唆していないものの、Appleがこれを実装した場合、明らかな結果が一つあります。同社は常に、ユーザーが画面に手を伸ばすのは人間工学的に良くないため、Macにタッチスクリーンを搭載しないと明言してきました。

このアイデアにより、ユーザーは画面に触れる必要がなくなり、手を振るだけで文書の保存先を指示できるようになります。

この特許は3人の発明者によって発明されています。その中には、Appleで以前にユーザーの注意力を利用して3D環境内の要素を制御する特許を取得したエフゲニー・クリヴォルチコ氏も含まれています。