Apple ARハードウェアに高品質のオーディオを搭載するというAppleの取り組みは、開発者が多数のマイクで録音しなくても完全な空間サウンドを作成する方法の研究につながりました。
Appleは、「Apple Glass」などのデバイスにおいて、Apple ARには優れた音声と映像が必要だという考えを一貫して追求してきました。その推進力として、以前は新たな音声フォーマットの開発も含まれていましたが、現在Appleは、そのような音声の録音方法をさらに検討しています。
「空間オーディオのためのオーディオ信号の処理」は、必ずしも大量の機器を必要とせずに 3D 空間で機能する高品質のオーディオ録音を行うことに関する、新たに付与された特許です。
「3Dオーディオレンダリングは、オーディオ信号（マイク信号やその他の録音されたオーディオコンテンツなど）を処理し、ステレオスピーカー、サラウンドサウンドスピーカー、スピーカーアレイ、またはヘッドフォンによって生成されたサウンドを、リスナーが3次元空間で特定の方向またはリスナーの周囲全体から聞こえているように認識できるようにすることと説明できます。」とAppleは述べています。
「例えば」と特許は続ける。「サウンド プログラムで、リスナーの背後、上、または下に位置するようにリスナーに知覚される 1 つ以上の仮想音源を生成したり、リスナーの一方から他方へパンしたりすることができる。」
3Dオーディオの利点は、Apple ARをより包み込むようなリアルな体験にすることです。しかし、Appleによると、このオーディオのキャプチャ方法は2種類あり、それぞれリニアとパラメトリックと呼ばれています。
リニア方式とは、本質的には、3Dの物理空間に実際に配置された複数のマイクで録音することを意味します。パラメトリック方式とは、そのような環境で録音されたかのように聞こえるように、音声を再生する方法を計算することを意味します。
「[線形システムでは]高品質な空間分解能を実現するために多数のマイクが必要になる場合があります」と特許には記されている。「しかし、デバイスに搭載できるマイクの数は、物理的要因（例えば、設置スペースや消費電力）と経済的要因（例えば、コストやデバイスの複雑さ）の両方によって制限される可能性があります。」
リニアには、すべてのマイクに関連してオーディオが録音された場所から空間要素が取得されるため、「プロセッサにかかる計算負荷が軽い」という利点があります。
「対照的に、パラメトリック空間サウンド処理は、録音される音場に関していくつかの基本的な仮定を行うことで、比較的少ないマイク数で大幅に改善された空間解像度を提供できます」と Apple は主張しています。
録音した音声を3D空間で再生するための処理ワークフローを示す特許の詳細
「例えば、そのような仮定の 1 つは、各時点および各周波数 (つまり、処理される各サブバンド) でアクティブな音源が 1 つだけ存在するというものです」と特許は続けます。
しかし、これは必ずしも真実ではなく、「この仮定が破られ、中程度の残響、強い残響、または拡散した状況では、結果として得られる出力オーディオに不要な処理アーティファクトが混入する可能性があります。」
したがって、この特許は、「処理アーティファクトの可能性を減らし、処理コストや複雑さを軽減しながら、マイクの数が少ないマイクアレイから達成可能な空間解像度を高める」オーディオ処理方法に関するものです。
Appleの特許では、ARに限らず、あらゆるシステムで再生できるように3Dオーディオを処理する方法について詳細に説明されている。「このシステム（デバイスまたは製造物の形態をとることができる）は、例えば、ノートパソコン、デスクトップパソコン、携帯電話、スマートフォン、タブレット、スマートスピーカー、あるいは自動車やその他の車両用のインフォテインメントシステムなどである」と特許には記されている。
16インチMacBook Proは既に発売されており、スタジオ品質のスピーカーを搭載し、筐体には従来モデルよりも改良されたスピーカーが搭載されていると言われています。Appleの新しい特許を申請すれば、将来のモデルでは外部マイクを必要とせずに3Dオーディオを録音できるようになるかもしれません。
この特許は、Juha O. Merimaa、Martin E. Johnson、Joshua D. Atkinsを含む8人の発明者によって発明されています。この3人は、AR向けの高精度3Dオーディオの開発に関する関連出願にも既に記載されています。
