AppleのAR研究はエンターテイメントだけにとどまらない

一連の特許出願を見ると、Apple はユーザーが拡張現実や仮想環境でどのように作業できるかということに注力しており、その空間をよりリアルに感じさせる実践的な側面に取り組んでいることがわかる。

もしかしたら、最初にゴーグルが登場するかもしれませんし、「Apple Glass」が期待通りスリムでスタイリッシュなものになるかもしれません。しかし、Appleは最終的に、Apple ARとVRを、ゴーグルで見るゲームやグラスで見る通知以上の用途に活用すると考えています。

むしろ、部分的または完全にコンピューターで生成された環境内で、ユーザーがどのように作業を行うかに焦点を当てています。これには、ARの世界にのみ存在するアプリケーションをどのように使用するか、サウンドがどのように包括的な体験を実現するかなどが含まれます。さらに、視界の半分が仮想で半分が現実である場合、私たちがどのように周囲を見回し、どのように道を見つけるかにも着目しています。

ARにおけるオーディオ

新たに公開された特許出願の一つ、「ボリューメトリックオーディオレンダリングとスクリプトオーディオレベルオブディテールを用いた3Dオーディオレンダリング」は、ユーザーがより自然な環境を体験できるようにすることを目指しています。これは、AR世界の音の聞こえ方を通して実現されます。Appleは、プログラマーがオーディオをより良く、より簡単に活用できるようにすることも検討しています。

「コンピュータプログラマーは、2Dおよび3Dグラフィックスのレンダリングとアニメーションのインフラストラクチャを、迅速なソフトウェアアプリケーション開発のための便利な手段として利用しています…」とAppleは述べています。「こうしたグラフィカルフレームワークの課題の一つは、ゲームなどのグラフィカルプログラムでは、シーン内の様々なオブジェクトの非決定的またはランダムな動作に基づいてリアルタイムで決定しなければならないオーディオ機能が必要になることが多いことです。」

川は単一の音の点として表現できない

例えば、ゲームで爆発シーンがあったとしても、プレイヤーが目をそらしている場合には、爆発音はプレイヤーの背後から聞こえてくるはずです。特許出願書には、「グラフィックフレームワークにオーディオ機能を組み込むには、シーン内のオブジェクトが変化したときにオーディオ機能をどのように変化させるかを決定するために、かなりの時間とリソースが必要になることが多い」と記されています。

Appleによると、現状ではサウンドは環境内の特定のポイント、例えば爆発シーンが正しいグラフィックの位置に配置されているといった特定のポイントに紐付けられているとのこと。しかし、これはARではよくあることではあるものの、必ずしも理想的とは言えず、複雑な部分も抱えています。

「これは通常、仮想オーディオ環境内に存在する様々なサウンドそれぞれに対して、アプリケーションがポイントを生成する必要があることを意味します」とAppleは述べています。「このプロセスは複雑で、現在のアプローチは典型的には場当たり的です。」

特許出願の図面は、ARの川に面したユーザーを例として示しています。水の音の発生源は一つではなく、連続した領域、つまりAR環境内の領域です。

Appleの解決策は、「3D仮想オーディオ環境における音源を、点ではなく幾何学的なボリュームとして表現する」ことです。特許出願では、点を領域全体に置き換えることに関する多くの手法と問題点が議論されていますが、その目的は常に、より自然なサウンド環境を作り出すことにあります。

また、これは、すべての開発者が作成する必要はなく、一種の AR オペレーティングシステムとして Apple AR 自体が提供するものになる可能性もあります。

「これにより、アプリケーションプログラムではなく、オーディオレンダリングエンジンがオブジェクトの幾何学的ボリュームを使用して、よりリアルなオーディオ環境をレンダリングすることが可能になります」とAppleは述べている。

注意を向ける

ゲームで爆発が起きたら、おそらく爆発の方向を見るでしょうが、それは完全にあなた次第です。しかし、特定の動きや音がある場合を除けば、ARは比較的安定した視界を提供します。

Appleによると、ARシステムを通して見ることができるものは「完全に合成された体験から、現実世界の刺激に重ねられた、ほとんど知覚できないコンピューター生成メディアコンテンツまで」多岐にわたるとのことだ。VRの中に世界全体を見ることができるかもしれないし、実際の道路を歩いているときに「ここを曲がってください」という小さな標識を見ることができるかもしれない。

Appleのシステムにより、ARアプリケーションで視線の周囲に光を当てることができるようになるかもしれない

Appleが別の特許出願で解決しようとしている課題の一つは、ユーザーがどこを見ればよいかをどのように判断するかという点です。VRに囲まれているとき、あるいはARオブジェクトが1つだけ近くにあるとき、必要に応じてユーザーの注意を向ける方法が必要です。

「光学パススルーディスプレイ上の注目方向」は、現実世界とこの重ね合わせたメディアコンテンツの組み合わせであるコンピューター生成現実 (CGR) である AR に重点を置きます。

「CGR環境において、ユーザーの注意をCGR環境内のオブジェクトや領域に向けることが望ましい場合があります」とAppleは述べています。「例えば、CGR環境を表示するHMD（ヘッドマウントディスプレイ）で実行されるゲームでは、ユーザーの注意をゲームの目的に向けることが望ましい場合があります。」

「別の例として、HMD によって実行されるマップアプリケーションは、ユーザーの注意をマップの目的地に向けることを望む場合があります」と続きます。

興味深いことに、Appleはユーザーの注意を何かに引き付けないようにする最適なタイミングについても検討しています。「広告や不適切なコンテキストなど、CGR環境内のオブジェクトや領域からユーザーの注意をそらすことが望ましい場合があります。」

注意を引く、あるいは注意を避ける動機が何であれ、Appleの提案は大きく分けて2つの選択肢に絞られます。例えば、「CGR環境において、ユーザーの注意を向けるべきではない領域にノイズを表示する」といったことが可能です。

あるいは、Appleが「マスキング」と呼ぶ技術を使うこともできます。アプリケーションがユーザーにテーブルの上のAR鉢植えを見せる必要がある場合、その植物は現実世界に重ね合わせたグラフィック画像です。例えば、アテンションシステムはオブジェクトの「背後」にマスキング要素を追加し、さらに輝きを加えるといったことが考えられます。

ARの作業ツール

AR環境に存在し、ユーザーの注意を必要とする可能性が非常に高いアイテムの一つは、アプリケーションやツールです。ARは、例えばあらゆる表面を電卓やスクリーンに変えることができます。

新たに発見された3つ目の特許出願は、「アプリケーションの表示」というシンプルな名称で、ARツールをユーザーの周囲の環境にフィットさせる技術に関するものです。「この技術には、物理的な表面上の物理的なオブジェクトの位置を特定すること、そして、シミュレートされた現実世界にアプリケーションの表現を表示することが含まれます」とAppleは述べています。

現実の物体をARツールにする方法