Apple の VR または AR ヘッドセットは、ユーザーの体の動きを監視してユーザーのアバターを動かすことができる一方、巧妙なデータ転送技術によってバッテリー寿命を延ばすこともできる。
Appleは、仮想現実（VR）または拡張現実（AR）ヘッドセット、そして「Apple Glass」として知られるARスマートグラスを開発中であると考えられています。ゆっくりと成長を続けるヒューマン・コンピュータ・インタラクションの分野に参入する中で、Appleは様々な問題に対する解決策を考案し、自社製品を他のヘッドマウントシステムと差別化しようとしています。
米特許商標庁が火曜日に認可した2つの特許において、アップルは、ヘッドセットがユーザーと対話する方法やホストデバイスと通信する方法に関して、ヘッドセットが提供できる機能を改善できると考えている。
身体モニタリング
最初の特許「体の姿勢情報の生成」は、システムがユーザーの動きを追跡し、そのデータを使用して他の関連するアクションを実行する能力をカバーしています。
Appleは、没入型のコンピューター生成現実（CGR）体験には、ユーザーの姿勢の把握が不可欠だと考えています。一部の体験では、VR/ARアプリケーションがユーザーの姿勢や動きに基づいて表示内容を変更することがあります。例えば、ゲーム内の警備員がユーザーの姿勢に応じて異なる反応を示すなどです。
より具体的には、Appleはユーザーの体のポーズを知ることでアバターを制御できる可能性を示唆しています。これは、他のハードウェアの動きを利用してユーザーのアバターの動きを変化させることができる、人気のオンラインソーシャル体験「VR Chat」のような状況で役立つ可能性があります。
複数のニューラル ネットワークがユーザーの個々の関節を監視し、連携して全身モデルを作成します。
特許によると、Appleは、複数のカメラとニューラルネットワークを用いてポーズを学習し、複数のニューラルネットワークが連携して個々の体の関節をモデル化することを示唆している。各ニューラルネットワークは個別に機能するが、その結果をまとめて全身モデルを作成する。
訓練は複数の方法で行われ、カメラから得られるデータの理解だけでなく、ネットワークが互いにどのように相互作用するかについての訓練も行われます。これには、「分岐した複数のニューラルネットワークシステムのそれぞれのトポロジーを決定すること」が含まれます。
ネットワークが人物の姿勢についてどれだけの情報を収集できるかという点では、監視対象となる関節は「襟関節、肩関節、肘関節、手首関節、骨盤関節、膝関節、足首関節、指関節」をカバーしているという主張があります。関節間の接続要素であるエッジもシステムによって決定されます。
このリストには、ユーザーの身体モデルを作成するために必要な基本的な要素がすべて含まれていますが、それほど詳細なレベルではありません。例えば、「指の関節」はジェスチャーの重要な要素として挙げられていますが、つま先や足の動きについては、それほど網羅されていないようです。
この特許には、発明者としてAndreas N. Bigontina、Behrooz Mahasseni、Gutemberg B. Guerra Filho、Saumil B. Patel、およびStefan Auerが記載されています。この特許は2019年9月23日に出願されました。
無線通信
2番目のVR関連特許「適応型ワイヤレス伝送方式」は、ヘッドセットとホストコンピュータ間の通信の処理を目的としています。
Oculus Questのようなオールインワンシステムは存在しますが、セットアップの重量が増加する可能性があります。また、ケーブル接続式のセットアップは重量を軽減できますが、ケーブル自体が問題となる場合があります。この問題の解決策として、重量を軽減しケーブルを不要にするワイヤレス通信システムを採用することが挙げられます。
しかし、ワイヤレスシステムであっても問題が発生する場合があります。例えば、データ送信には電力を消費しますし、一般的にワイヤレスシステムはケーブル接続システムよりも利用可能な帯域幅が少ないです。また、干渉やその他の中断といった問題も避けられません。
Appleの特許では、ワイヤレスシステムの活用が示唆されているものの、一度に送信するデータ量を削減するためには、システムから送信するビデオデータの量を減らす必要がある。Appleは、左右の目に1つずつ、計2つのストリームでデータを送信するのではなく、使用する帯域幅を半分に減らしたいと考えている。
同社は、左目データと右目データをインターリーブフレーム伝送することでこれを実現する予定です。両目のフレームデータを受信すると、システムはそれらをユーザーに表示します。
それぞれの目にビデオフレームを交互に送信すると、一度に送信されるデータの量を半分に減らすことができます。
送信されるデータ量を削減することでシステムをさらに改善するため、各フレームは必ずしも完全である必要はありません。Appleは、部分的なフレーム送信を行うことを提案しています。これにより、緊急に更新が必要な要素をカバーし、更新されていないセクションをカバーする以前のフレームの要素を再利用できるようになります。
視線追跡についても言及されており、これもシステムに影響を与える可能性があります。ユーザーがどこを見ているかを把握することで、その領域を優先的に更新できます。また、中心窩ディスプレイ技術を用いることで、ユーザーが見ていない画面部分に必要な詳細情報を削減し、データ使用量を削減できます。
このようなシステムは、「ローリングシャッターを使用して少なくとも毎秒100フレーム」という非常に高いフレームレートを実現できる可能性がありますが、これはあなたが考えるほど高くないかもしれません。ある主張では、フレームの受信速度は「毎秒60フレーム未満」とされていますが、両眼のフレームを交互に表示するため、毎秒100フレームを超える速度で表示できます。
その他の要素には、ワイヤレス リンクの監視、複数の接続を使用した高レベルの帯域幅の維持、およびデータ転送のタイミングが含まれます。
この特許は、2019 年 5 月 14 日に最初に申請され、Aleksandr M. Movshovich、Arthur Y. Zhang、Hao Pan、Holly E. Gerhard、Jim C. Chou、Moinul H. Khan、Paul V. Johnson、Sorin C. Cismas、Sreeraman Anantharaman、および William W. Sprague によって発明されました。
Apple は毎週多数の特許を申請しているが、特許の存在は同社の研究開発チームの関心領域を示すものではあっても、将来の製品やサービスにそれが反映されることは保証されていない。
過去の特許出願
AppleはVRとARの分野で多数の特許を出願しており、最新の2つの特許と一部重複している部分がある。
例えば、同社は過去にも中心窩ディスプレイの研究を行っており、2019年にはヘッドセットの高いリフレッシュレートを実現するシステムに関する特許を取得した。2020年には、視線検出を用いて画面のどの部分にリソースを投入するかを決定する、視線追跡技術を用いた同様のシステムを検討した。
ジェスチャー認識はこれまでにも何度か提案されており、2018年には、ヘッドセットの下部に設置されたカメラでユーザーの手をモニタリングし、3Dドキュメントを管理する特許が提出されました。2015年には、マシンビジョンで遠くから人間の手のジェスチャーを認識できると考えられていました。
毎週配信のAppleInsider PodcastでAppleの最新情報をチェックしましょう。AppleInsider Dailyからも最新ニュースをいち早くお届けします。HomePod miniに「Hey Siri」と話しかけ、これらのポッドキャストや最新のHomeKit Insiderエピソードをリクエストしてください。
広告なしのメインの AppleInsider Podcast を体験したい場合は、Apple の Podcast アプリから月額 5 ドルで購読するか、他の Podcast プレーヤーをご希望の場合は Patreon 経由で購読することで、AppleInsider Podcast をサポートできます。
