米特許商標庁は木曜日、高度なハードウェアと複雑なアルゴリズムを使用して、仮想オブジェクトを現実の環境に挿入したり、現実のオブジェクトを同じ場所から移動したり削除したりする方法について詳述したアップルの特許出願を公開した。
Apple の「現実の環境で仮想オブジェクトを表現する方法およびデバイス」に記載されている発明は、全体的な AR システムというよりは、前述のソリューションの基礎となるパズルのピースです。
本日の申請は、2015年にAppleがドイツのAR専門企業Metaioを買収する直前に同社に与えられた特許の延長であり、ドイツで最初に2007年に申請された。Metaioは2010年にこの発明で米国特許を取得し、昨年11月にAppleに譲渡された。
特に、この特許出願は、現実環境においてデジタルオブジェクトを忠実に再現する技術を例示しています。この特許は、コンピュータで生成された仮想オブジェクトと現実世界の画像を融合することに焦点を当てており、これは現実味のあるAR体験を実現する上で依然として大きな障害となっている技術的なハードルです。
例えば、仮想の椅子を特定の環境のライブビデオフィードに重ね合わせるには、高精度な位置データ、境界線の作成、画像のスケーリングなど、様々な技術的な考慮が必要です。複雑なソフトウェアアルゴリズムを実行する適切なハードウェアがなければ、椅子の画像は衝突、遠近法、幾何学的な問題、あるいは場違いな印象を与える可能性があります。
Appleのソリューションは、高解像度カメラ、強力なオンボード画像プロセッサ、高度な測位・位置情報ハードウェアといった資産を活用しています。必要なツールのほとんどは、iPhoneのおかげでつい最近消費者市場に登場しました。
具体的には、本発明は、カメラまたはデバイスを用いて実環境の2次元画像を撮影し、少なくとも1つの物体または画像内の構成要素に対するその位置を特定することを必要とする。そして、デバイスはそこから、深度マッピング、レーダー、ステレオカメラ、またはその他の技術を用いて、床面と壁面の相対的な位置を含む周囲の3次元画像情報または空間情報を収集する。
次に、システムは二次元環境の特定の領域をセグメント化（指定）します。このセグメンテーションデータを用いて、仮想オブジェクトを表示画像に合成すると同時に、実環境の選択された部分を削除します。この手法により、ユーザーはオブジェクトを選択でき、仮想画像と実画像アセット間の衝突をリアルに表現できます。
アプリケーションによると、この技術は販売、サービス・メンテナンス、製造、その他関連業界に最適とのことです。例えば、ARの明確な特徴を活用すれば、ユーザーは物理的にオブジェクトに触れることなく、室内の家具の位置や移動を制御できます。あるいは、ソファやテーブルなどの仮想オブジェクトを環境内に配置しつつ、現実のオブジェクトをシーンから完全に隠すことも可能になります。
2次元表現からオブジェクトを消去することは非常に困難な作業です。このような操作に必要なセグメンテーションデータには、シーンの深度、形状、周囲のテクスチャなどの要素に基づいた高精度なセグメンテーションが必要です。
ポケモンGOやスナップフィルターといった既存のARアプリと同様に、画像をスマートフォン画面に表示できます。また、半透明ディスプレイにも対応しているとのことです。MicrosoftのHoloLensのようなゴーグル型デバイスも、同様の技術を活用して複合現実（MR）アプリケーションを実現しています。
資料によると、ソファやテーブルは氷山の一角に過ぎない。特にMetaioは、ヘッドアップディスプレイパッケージなど、ARカーナビゲーションへの技術応用を構想している。
この発明ではこの主題について詳しく説明されていないものの、この技術は車内環境、あるいはその一部を完全に見えなくし、運転者に道路の明瞭な視界を提供する手段を提示している。あるいは、シナリオによっては、ほとんどの最新車両に搭載されている大型インフォテインメントディスプレイを、車内画像に仮想オブジェクトとして重ね合わせることも可能になるだろう。
おそらく偶然ではないが、Apple は自動運転車のソフトウェアおよびハードウェア システムを作成する取り組みの一環として、AR ベースのナビゲーション システムを開発していると報じられている。
昨年の報道によると、AppleはBlackBerryのQNXプロジェクトから複数のエンジニアを引き抜き、モバイルアプリ、Siri、その他のハンズオフ技術に対応可能なARヘッドアップディスプレイの開発に取り組んでいるとのことです。Appleは、このソリューションをVRリグ（おそらくOculus RiftやHTC Viveのようなヘッドマウントゴーグル）で非公開でテストしているようです。
この文書では、提案された AR アプリケーションを処理できるさまざまな画像処理アルゴリズムについて詳しく説明します。
Appleがこの発明を市販の消費者向け製品に搭載する計画があるかどうかは不明ですが、噂によると、同社は近い将来、何らかのARシステムのリリースに取り組んでいるようです。iPhone 7 Plusのデュアルセンサーカメラは、AppleのARへの取り組みの鍵となるでしょう。現状では、デュアルレンズアレイはAppleのカメラアプリのポートレートモードのような深度検知機能の基盤となっています。
AppleのAR特許申請は2015年10月に初めて提出され、発明者はPeter Meier氏とStefan Holzer氏とされている。
