Appleは、一見するとそれほど魅力的ではない技術の特許を多数出願している。しかし、それらを組み合わせることで、Apple Vision Proと拡張現実体験がどこでも利用できる世界を描き出している。
映画『フリー・ガイ』で、ライアン・レイノルズはビデオゲームの世界でノンプレイヤーキャラクター（NPC）のガイを演じています。彼は、何の変哲もない銀行の窓口係として、サングラスをかけた犯罪者たちに何度も襲われるという、同じ日を何度も繰り返す運命にあります。
映画の冒頭シーンで、ガイはサングラスをかけている人たちは何でもできる、万能のヒーローだと説明する。しかし、ガイは知らない。これらの強力な人物たちは、彼が生きているゲーム機の現実世界のプレイヤーのアバターなのだ。
毎日行われる銀行強盗の最中、サングラスをかけた強盗の命令に素直に従う代わりに、ガイは反撃し、サングラスを奪い取ります。銀行を出る際にサングラスをかけると、ガイはプレイヤーと同じように周囲の世界が見えるようになります。
メガネ（またはヘッドセット）で世界は変わる？ 20世紀スタジオ提供
フォートナイト風のマッシュアップで、プレイヤーの体力バーが見えるようになっています。宙に浮いた救急キットでガイの体力を回復し、彼が見ている場所では服や武器のアップグレードが販売されています。
特許を読んでも、普段は映画を思い出すようなことはありません。しかし、最近Appleの毎週の特許更新を見直していたところ、関連する出願がいくつか見つかりました。それらを総合すると、少なくともある程度、Appleがこの映画を実現しようとしていることがうかがえます。
AppleのARを変える特許
興味深い特許 2 件は、「屋内と屋外の両方で位置を決定するシステム」と、2 番目は「電子デバイス上の拡張現実コンテンツの通知」です。
最も重要なのは「屋内外における位置特定システム」です。この特許は、Appleの超広帯域チップに加え、幅広いデバイスを用いてユーザーの位置を正確に特定するシステムについて説明しています。実際には、Wi-Fiルーターなどのデバイスは既に人の位置を特定できますが、これは通常、大まかな位置情報の取得に使用されます。
三角測量により、人の大まかな位置を把握できます。Appleの特許では、様々な種類の無線デバイスを活用することで、位置特定をより正確に行うための工夫が加えられています。
GPS が検出する衛星の数が増えるほど精度が高くなるのと同様に、利用できる信号が増えるほど、トレーニングの精度が高まります。
この特許は、典型的な無線デバイスをすべて同時に測定・評価し、特定の空間における人物の位置をより正確に把握する方法を説明しています。Wi-FiとBluetoothの送信デバイスはすでに連携して使用できますが、この特許にはさらに興味深い機能が追加されています。
Apple の特許出願からのこのイラストは、位置検出に使用される複数のカメラを示しています。
Appleは、ユーザーを追跡し、位置情報を送信するカメラの導入を計画しています。実際には、この技術はAmazonのAmazon Goストアで使用されているものと似ています。Amazonの場合、複数のカメラが複数の角度から顧客を追跡し、店舗のコンピュータが認識した商品に対してユーザーに課金する自動チェックアウトシステムを構築しています。
Appleのこのシステムは、物理的な空間内でユーザーの位置を特定し、複合現実（MR）コンテンツを表示するというものです。現在、Apple Vision Proは、パススルーカメラと物理センサーを用いて、ディスプレイや「吊り下げられた」アート作品などの配置場所も含め、ユーザーの位置を特定しています。
Apple の技術により、物体を追跡するために画像認識に頼ることなく、MR オブジェクトをあらゆる環境に配置できるようになります。
複数の小型デバイスを使用することで、「現実世界」でのインタラクティブな体験が可能になり、ユーザーの位置を極めて正確に把握できるようになります。フィードバックにデバイスが追加されるたびに、体験は向上していきます。この技術には、非常に興味深いユースケースが考えられます。
映画『フリー・ガイ』と同様に、Apple Vision Proと将来のデバイスによって、没入型のインタラクティブ体験が実現可能になるだろう。『フリー・ガイ』とは異なり、この技術は、ウィリアム・ギブスンの小説のように、ユーザーと世界とのインタラクションを強化する可能性がある。できればディストピア要素は排除してほしい。
屋内精度でAR体験を向上
小売環境でも明らかな活用方法はありますが、これは最もありふれたユースケースです。例えば、Appleストアに足を踏み入れると、iMacのスペックが画面上に浮かび上がったり、iPhoneケースを手に取ると、その画像がスマートフォンに重ねて表示され、見た目を確認したりといったことが考えられます。
MR コンテンツを物理世界に重ね合わせる機能は新しいものではなく、ゲームから手術まであらゆる場面ですでに使用されています。
Apple Vision Pro（左）を持つ手術チーム（出典：ロンドン独立病院、デイリーメール紙）
ホームチームアドバンテージ
没入型のスポーツイベントというアイデアはもっと興味深いものです。コートサイドではなくテレビで試合を観戦する主なメリットは、放送でリアルタイムの統計、選手や試合に関する情報、専門家の解説が聞けることです。
試合観戦中に統計情報を重ね合わせることは目新しいことではありませんが、この位置認識技術はMRコンテンツの超高精度な位置特定を可能にする可能性があります。一般的なMR要素ではなく、観客を正確に特定できれば、興味深い可能性が生まれるでしょう。
この特許の鍵は、このアイデアを屋外環境に拡張することです。一般的な屋外空間には複数のWi-Fiポイントがないため、三角測量の可能性は限られています。低電力のBluetoothデバイスを追加することで、位置検出能力を大幅に向上させることができます。
角度データを送信するカメラを搭載すれば、複数のデバイスを設置して位置情報を認識する環境を構築できます。もしかしたら、AppleのiSpyがもうすぐ登場するかもしれません。
今日のスポーツで使用されているMR技術の中でも最も優れたものの一つは、フットボールの試合中継で使われるバーチャル・ファーストダウン・ラインです。ダウンマーカーは実際に目で確認するのは簡単ですが、テレビ画面では攻撃側がファーストダウンを獲得するためにどこまで到達する必要があるかを視覚的に把握するのは困難です。
Apple Vision ProやMetaのQuest 3を使えば、現実世界にデータを重ね合わせることができますが、その情報は場所を特定することはできません。つまり、試合に関する一般的な統計情報を重ね合わせることはできますが、それをユーザーの座席位置に合わせて表示することはできません。
この例では、ファーストダウンマーカーは誰がどこに座っていても見えるようになります。エンドゾーンの後ろでも、スタンドの50ヤードライン上でも、ダウンラインはユーザーの視点に応じて正確に表示されます。
リアルタイムデータは、個々の選手に簡単に重ねて表示でき、観客がどこに座っていてもフィールドを横切る様子を追跡できます。例えば、野球選手の打率の統計情報を知りたい場合、観客がどこに座っていても、そのデータを選手の上に重ねて表示できます。
会場が WiFi デバイスやカメラなどの送信ポイントを追加できると、会場や小売店はシンプルなデバイスを追加して、没入型の体験を強化できるようになります。
これらの例は、テレビ番組や映画の AR コンテンツの通知を示していますが、より興味深い AR の用途に拡張できます。
お近くのARを探す
これは、2 番目の興味深い特許、「電子デバイス上の拡張現実コンテンツの通知」に関連しています。これだけでは、MR 体験が近くにあるときに携帯電話でアラートをトリガーする方法のように見えます。
名前が示すように、この特許と最初の特許を組み合わせることで、没入型環境に入ったかどうかをユーザーに知らせることができます。おそらく通知はApple WatchかiPhoneに表示されるでしょう。iPhoneはすでに複合現実に対応しているため、現在ほとんどの人はiPhoneでこの体験をしているでしょう。
これらの特許は、より没入感のある AR の世界を示した初めての特許ではありませんが、この体験を世界に広げることを説明した初めての特許です。
Apple は MR ヘッドセットの精度向上を目指しており、興味深い新しい特許出願では、屋外環境または適切な条件下の屋内でユーザーの位置を追跡できる他の方法が示されている。
この特許は、「天体」を用いて3D環境の方向を決定します。方向を決定するシステムの多くは、電子コンパスと、家具や壁といった観測対象物の認識機能を備えています。この特許では、太陽と月の位置をユーザーの位置と関連付けることで、高精度な方向決定を実現します。
この特許では、室内の窓越しに太陽を検出する様子が示されていますが、屋外での使用についても説明されています。スタジアムでのMRの例では、頭上の太陽の位置が、ユーザーがどこを見ているかに関する強力な文脈的手がかりとなるでしょう。
もちろん、そのためには、デバイスが季節だけでなくユーザーの高度に対する太陽の位置に関する超正確な情報にアクセスできる必要もあります。
太陽や月の位置を利用して、アップルはARユーザーの位置精度を向上させる計画だ
AR でのユーザー エクスペリエンスを向上させ、世界や仮想要素と対話するためのより優れた方法を提供するために、Apple はピンチ ジェスチャを補足する追加のジェスチャを説明する特許を申請しました。
Appleの他の特許とは異なり、この特許は複数のARユーザーが物理オブジェクトと生成された3Dオブジェクトの両方とインタラクションできる方法を説明しています。例えば、この技術により、複数のApple Vision Proユーザー、さらにはiPadやiPhoneのユーザーが、環境内の仮想アイテムを操作できるようになります。各ユーザーは異なる視点からオブジェクトを見て、正しい向きで表示されます。
コントローラーを装着する
Apple はおそらくこれらの技術を、「ワイヤーアクチュエータ付きアイテム」、「ファブリック制御装置」、そして噂の Apple リングなど、いくつかの追加特許と組み合わせると思われます。
Apple リングはほぼ確実に Apple Vision Pro と連携し、より正確な追跡機能と追加のコントロール サーフェスを提供すると思われます。
アップルは少なくとも2019年のこの特許出願以来、スマートリングの開発に取り組んでいる。
2020年に出願された際に当社が取り上げた最初の特許は、手袋やその他のデバイスにセンサーを統合することを可能にするものでした。この特許は、Apple Vision Proの設計初期の試みだったのかもしれません。しかし、わずか4年前から、Appleがデバイスを制御するための非伝統的な方法の道を歩んでいたことを示しています。
2つ目の特許は、布地で電子ボタンを覆う技術について説明しています。この特許の明らかな用途としては、布地で覆われた表面にボタンを備えたホームボディのようなデバイスが考えられます。これを手袋の特許と組み合わせることで、より触覚的なユーザーエクスペリエンスを実現し、AppleのAR/MRツールを使用する際に触覚フィードバックを提供できる可能性があります。
AppleのVision Proが牽引する、没入型AR/MRの世界は、まだ始まったばかりです。XR体験の普及とそれを実現するポータブルハードウェアの普及にはまだ遠い道のりですが、AppleがXRを私たちの日常生活の一部にするためにどのような道を歩んでいるのかは明らかです。
