Appleは、ARKitの3Dモデルの場合と同様に、Pixarとの協力に基づいて、ユーザーが動いているときや「Apple Glass」やその他のARデバイスを装着しているときでも、ユーザーの周囲に音を配置しやすくする新しいオーディオ形式を開発している。
Appleは以前、Apple AR向けに高解像度の動画画像の作成に取り組んでいることが明らかになっていますが、今回、それに合わせて高品質なオーディオの開発も目指しています。同社は2つの新たな特許出願において、空間オーディオに関する選択肢を検討しています。
具体的には、Appleは.MP3や.AACのようなオーディオフォーマットを標準化し、ARに必要な空間情報を組み込むことを目指しています。このフォーマットには、実際のオーディオ情報だけでなく、ステレオ画像の左側と右側のどちらで再生するかという情報も含める必要があります。Appleは以前、Pixarと共同でUSDZと呼ばれるフォーマットを開発しており、これはユーザーの周囲の3D空間にオーディオを配置するためのものでした。
「空間オーディオ用ファイルフォーマット」は新たな特許出願であり、ピクサーの作品の少なくとも一部を記録している可能性があります。しかし、Appleは以前、USDZの目的はメッセージ、ニュース、メールなどのアプリ間での共有を支援することだと述べています。
「拡張現実（AR）、仮想現実（VR）、複合現実（MR）アプリケーションで3次元（3D）サウンド効果を生み出すことは、既存のオーディオ形式がもともと、映画館など、スピーカーの位置が固定され、リスナーも動かない物理環境で3Dサウンドを生み出すために設計されたため、困難です」とAppleは新しいアプリケーションで述べている。
AppleはAR、VR、MRを総称してシミュレーテッド・リアリティ（SR）と呼んでおり、3Dオーディオ向けに既存の多くのフォーマットを基盤として構築したいと考えていると述べています。「例えば、3Dサウンドを生成するために設計された空間オーディオフォーマットには、MPEG-H（Moving Picture Experts Group）3Dオーディオ規格、HOA（Higher-order Ambisonics）空間オーディオ技術、DOLBY ATMOSサラウンドサウンド技術などがあります」とAppleは続けています。
問題は、観客が音をどこに感じるかということと、クリエイターが効果音や音楽を配置できる場所の両方に関係しています。「SR環境で3Dサウンド効果を生み出すための一つの方法は、3D環境内の仮想的などこにでも配置できるオーディオオブジェクトに含まれる個々の音を操作することです」とAppleは述べています。
「しかし、既存の空間オーディオ形式とオブジェクトを使用して SR アプリケーション用のオーディオを作成するのは、さまざまな音源にアクセスしてそれらを動的な SR 環境に組み込む統一された方法がないため困難です」と続けます。
Appleが提案する解決策は、.m4vや.mp4が様々な要素をグループ化する「コンテナ」形式であるのと同様に、新たな形式を作成することです。Appleの新しい空間オーディオ要件に関しては、同社は「シミュレーテッドリアリティ（SR）アプリケーション開発者がSRアプリケーションで使用するサウンドを作成できるようにするアセットメタデータを含むオーディオアセットライブラリ」の作成を提案しています。
「オーディオ アセットは、サウンドがどのようにエンコードされたかだけでなく、SR 環境のリスナーがサウンドをどのように体験するかを説明するアセット メタデータとともに、SR アプリケーションに組み込めるサウンドをエンコードしたオーディオ データが含まれるようにフォーマットされています」と Apple は述べています。
この特許出願は4人の発明者によって発明されており、そのうち2人は関連する特許を既に取得しています。例えば、Stephen E. Pinto氏は「Apple Glass」の空間音声ナビゲーションに関する特許に名を連ねており、Christopher T. Eubank氏はAppleのARデバイスで高解像度画像を作成するための計画に携わっています。
両発明者は、「空間オーディオアップミキシング」に関する新たに公開された別の関連特許の発明者にも名を連ねている。
オーディオを3Dフォーマットに組み合わせる方法を示す特許の詳細
従来のオーディオでは、プレゼンターが話している時に静かに流れる音楽は、一般的に「ベッド」と呼ばれます。Appleの提案では、この用語を、より複雑な空間オーディオシステムに用いています。
「空間ベッドとは、完全な音場記述を表現するマルチチャンネルオーディオコンテンツであり、例えば、シミュレートされた現実環境におけるシミュレートされた現実のリスナーを取り囲む仮想的な音場などです」と説明されている。「新しい空間ベッドは、少なくとも2つの空間ベッドのセクションを組み合わせることで生成されます。」
現在のオーディオ専門家は楽器や要素の左右の位置を意識しますが、Apple は代わりに球体について考えるというアイデアに基づいています。
「新しい空間オーディオ オブジェクトは、新しい空間オーディオ オブジェクトのリスニング位置 (カスタム ミックス球の中心など) を囲む音場を定義する仮想音源の球状配列 (仮想球) で構成される場合があります」と Apple は述べています。
一般的なサウンド エディター アプリでは、オーディオが波形としてフラットなグラフィック表示されますが、Apple は、オーディオを地球儀で表示する新しいシステムを提案しています。
「このプロセスでは、新しい空間オーディオ オブジェクト (新しい空間ベッド) を、たとえば SR 環境で、新しい地球儀の内部 (たとえば中心) または外部にいるサウンド デザイナーの視点から新しい地球儀の表面を表示するなど、別の新しい地球儀として視覚化することもできます」とアプリケーションには記載されています。
「これは、SR 環境では、サウンド デザイナーが手を伸ばして手持ちのブラシやスプレー デバイスで新しい地球儀の壁の内側 (または外側) にペイントする仮想の手として表現される可能性があります」と説明は続き、「そこで、(入力空間オーディオ オブジェクトの) 選択されたサウンドがレンダリングされます」。
Appleはこのアプリケーションでは、Logic Proの将来の3Dバージョンを具体的に言及していません。また、最初のアプリケーションでは、ファイル形式に具体的な名前を提案していません。
しかし、Appleが技術的な優位性を認めて特定のオーディオフォーマットを推奨するのは今回が初めてではありません。独自のロスレスALACフォーマットを開発し、iTunes StoreではMP3ではなくAACを選択しました。
