Apple ARは、HomePod、HomePod mini、AirPods Proですでに使用されている空間オーディオを搭載する可能性がありますが、コンパクトなデバイスでも記録されます。
ARは視覚的なメディアとして捉えられているのが現状ですが、Appleは再びAR体験全体の音響面を研究しています。オーディオを3D化するという過去の研究に続き、Appleはより簡便な方法でARを実現するための研究に取り組んでいます。
「オーディオおよび測距コンポーネントを備えたオーディオ システム」は、最小限の機器で正確な 3D サウンドを模倣する方法に関する新しく付与された特許です。
「仮想空間にいる観察者に音像を再現する既存の方法では、検出された音に基づいて音源の位置を特定するために、実際の空間に分散されたマイクを互いに離して配置する必要がある」とアップルは述べている。
「したがって、このような方法では、音源の位置特定に単一のコンパクトなマイクロフォンアレイを使用することができず、このような方法の設備および設置コストがかなり高くなる可能性がある」と続けている。
また、録音のために複数のマイクを間隔を空けて配置すると、移動に時間がかかるという問題もあります。Appleが目指しているのは、ポータブルな録音・再生にも適した、よりシンプルなシステムです。
Apple ARにとって、オーディオは体験をリアルに感じさせる上で非常に重要であり、特に重要です。「仮想現実（VR）と拡張現実（AR）の環境には、仮想空間内でコンピューター生成の音源である仮想音源が含まれる場合があります」とAppleは述べています。
コンパクトな記録装置の配置を示す特許の詳細
「仮想空間を現実空間にマッピングできます」と続けます。「例えば、ユーザーが部屋でヘッドホンを装着すると、実際には別の部屋にいる同僚の声を、目の前にいる同僚の声のようにヘッドホンから再生することができます。」
「ユーザーが部屋の中を移動すると、例えば5歩前進すると、再生される音が変化する可能性がある」と特許には記されている。
仮想オブジェクトの移動や位置の変化を視覚的に表示するには、録音によって音源の位置を正確に特定できる必要があります。「位置が特定されると、まるでユーザーが使用している部屋の同じ位置から音が来ているかのように、録音された音をユーザーに向けて再生することができます」とAppleの特許には記載されています。
マイクアレイの必要性は避けられないかもしれませんが、この特許では、Appleが「深度キャプチャデバイス」と呼ぶデバイスを補完することを提案しています。この2つが「ポイントクラウドと局所的な音場を検出」し、プロセッサがそれらのデータから「グローバルな音場を再構築」できれば、「ユーザーに仮想現実環境をレンダリング」できるようになります。
言い換えれば、仮想同僚が自分の左 5 フィートにいることを判別するのにどのようなシステムが使用されているかに関係なく、Apple AR オーディオは、同僚がその近くにいて、その方向にいるかのように会話を再生できるのです。
鍵となるのは、この深度測定装置です。特許では、そのような装置を全て詳細に説明していますが、焦点はカメラに集中しています。
「例えば、カメラアレイは2台以上のカメラを備えた立体視システムである可能性がある」と特許には記されている。「複数のカメラは互いに隣接して配置することも、互いに離して配置して配置することもでき、同じ空間を撮影することもできる。」
「各カメラは異なる視点から同じ空間を検知できるため、各カメラからの画像データを分析することで、画像内の106の異なるポイントやオブジェクトからカメラアレイまでの距離を判定できます」と続きます。
この特許では、この音声をユーザーに向けて再生する方法についても触れているが、主にはまず音声を正確に録音（または中継）することに関するものだ。
オーディオを再生して本物の3D空間サウンドを作り出す
「例えば、音を出す物体が視野内で後方に移動する場合、つまりキャプチャデバイスの位置から離れる場合、オーディオ信号の遅延とゲインを調整して、生成された音に対応する仮想サウンドを仮想環境内でユーザーから遠ざかるようにレンダリングすることができます」とAppleは述べています。
「同様に、ユーザーは仮想現実環境内を移動して、仮想音源に対する視点を変えることができます」と続き、「ユーザーが移動すると、オーディオ信号の遅延とゲインが調整され、仮想音が正しい場所から来ているようにレンダリングされます...」
この発明は、マーティン・E・ジョンソンとジョナサン・D・シェーファーという二人の発明者によるものです。二人は以前、通常よりも少ないマイクで空間音声を録音する別の特許でも発明者として認められていました。
HomePodでAppleの最新ニュースをいつでもチェック。「Hey Siri、AppleInsiderを再生して」と話しかけると、最新のAppleInsider Podcastが聴けます。または、HomePod miniに「AppleInsider Daily」と話しかけると、ニュースチームからの速報がすぐに聞こえてきます。Apple関連のホームオートメーションに興味があるなら、「Hey Siri、HomeKit Insiderを再生して」と話しかければ、最新の専門ポッドキャストがすぐに聴けます。
