将来の iPhone では、通常の視覚カメラを補うために熱画像や赤外線画像が使用される可能性があり、暗い環境や混雑した環境でも Apple AR を使いやすくなる。
Appleは、巨大なゴーグルで頭を覆い、ゲームが動き回る中、その場に立ち尽くすというARという概念から脱却することを強く望んでいます。代わりに、Apple Glassのような目立たないヘッドセットを検討しており、現在では動きによって生じる追加の問題の解決方法も検討しています。
「実環境の少なくとも一部に関連する少なくとも1つの特性を決定する方法およびシステム」は、新たに公開された特許出願であり、22,000語とタイトルよりわずかに長いだけです。目的を達成するための複数の方法について詳細かつ具体的に説明されていますが、すべて同じ問題に焦点を当てています。
「画像の分析を伴うコンピュータービジョンの方法は、例えばナビゲーション、物体認識、3D再構成、カメラ姿勢推定、拡張現実アプリケーションなどでよく使用されます」と特許出願では概説している。
「しかし、カメラの姿勢推定、物体認識、物体追跡、同時位置推定および追跡（SLAM）、または構造からモーション（SfM）アルゴリズムを、少なくとも1つの実際の物体が動いている動的環境で使用すると、アルゴリズムの精度が大幅に低下することがよくあります」と論文は述べ、「実際のアルゴリズムで堅牢な最適化技術が採用されているにもかかわらず、追跡が頻繁に失敗します」。
熱画像を使用してARを支援する方法を示した特許の詳細
結果として生じる明らかな問題は、ARが仮想オブジェクトを現実の環境内に配置する際に、誤った位置を特定する可能性があることです。Appleによると、問題は実際にはそれよりも少し深いところにあるため、解決策も同様に必要になるとのこと。
「これは、様々なコンピュータービジョンアルゴリズムが静的な環境を想定しており、シーン内で動く物体はカメラ自身のみであり、その姿勢を追跡できると仮定しているためです」と論文は続ける。「多くのシナリオでは、カメラの視野錐台内に様々な移動物体が存在する可能性があるため、この仮定はしばしば破綻します。」
つまり、どんなARシステムでも、ヘッドセットやヘッドセットに搭載されたカメラなど、あらゆる位置情報を把握できるものの、それ以外の情報を追跡するのは困難です。しかも、データ処理など、複数の問題が重なり、追跡は困難を極めています。
「現在の最先端技術には、シーン内の動的な（つまり動く）物体を検出し、セグメンテーションするアルゴリズムが数多く存在します」とAppleは述べています。「しかし、こうしたアプローチは通常、計算コストが高く、モーションセグメンテーションやオプティカルフロー技術に依存しています。」
これらの技術は、「信頼性の高い移動物体検出を行うには、多数のフレームが必要」と報告されています。Appleは他にもいくつかの代替案を紹介していますが、いずれも「複雑さと計算コストが増大する」と述べています。
Appleの解決策は、ARビジュアルカメラを熱画像や赤外線を利用するカメラで強化することです。「シーン内の実際の物体の[熱]特性を利用することで、コンピュータービジョンアルゴリズム（例えば、視覚ベースの物体追跡や認識）の堅牢性と精度を向上させることができます」とAppleは述べています。
システムが認識できない物体、あるいはアップルが「信頼できない物体」と呼ぶ物体の「熱特性」を知ることができれば、「物体の検出に熱画像装置を活用できる」ことになる。
特許出願では、これらの手法を用いて混雑した動きのある環境における精度を向上させることがほぼ網羅されていますが、もう一つの要素があります。熱画像技術を用いることで、ARは必ずしも完璧な照明環境下での使用に依存しなくなります。
この出願は、Darko Stanimirovic氏とDaniel Kurz氏によるものです。後者は、ARを用いてあらゆる表面をタッチ操作可能なディスプレイに変える方法に関する特許を既に取得しています。
