アップルのインタラクティブな拡張現実システムは現実世界のオブジェクトを識別し、画面共有を可能にする

アップルは火曜日、ライブビデオストリーム内の物体を識別し、その物体に対応する情報を現実世界の画像の上に重ねたコンピューター生成情報レイヤーを通じて提示できる拡張現実（AR）システムの特許を取得した。

米国特許商標庁が公開した Apple の米国特許番号 8,400,548「多機能デバイス用の同期されたインタラクティブな拡張現実ディスプレイ」は、マルチタッチスクリーン、カメラ、インターネット接続などのさまざまな iOS デバイス機能を使用して高度な AR 機能を実現する高度な AR システムについて説明しています。

他のARシステムと同様に、'548特許は現実世界の画像を使用し、コンピュータ生成の情報レイヤーの下に表示します。本発明の例では、ユーザーが携帯機器を回路基板の上にかざしています。ライブビデオには、プロセッサ、メモリカード、コンデンサなどの様々なコンポーネントが表示されます。このビューには、バーコードとマーカーも含まれています。

一実施形態では、ライブビデオに、破線や色付きの線、注釈、その他の視覚的な手がかりといった複合情報レイヤーが重ね合わされます。これらの情報は、デバイスのオンボードCPUによって処理・生成されます。注釈はテキスト、画像、またはWebリンク形式で提供され、対応するオブジェクトに関する情報をリアルタイムで提供します。Appleの発明では、オブジェクトを識別するために、エッジ検出、スケール不変特徴変換（SIFT）、テンプレートマッチング、明示的および暗黙的な3Dオブジェクトモデル、3D手がかり、インターネットデータの活用など、既存の認識技術を活用しています。認識はデバイス上でもWeb経由でも実行できます。

拡張現実

Appleのシステムの特徴は、生成された情報とユーザーがインタラクションできる点です。例えば、検出システムが物体を正しく識別できなかった場合、ユーザーは画面上のコントロールを使って必要な注釈を入力できます。一部の実施形態では、ユーザーはライブビューデータをワイヤレスネットワーク経由で別のデバイスに送信できます。画像に円やテキストなどの注釈を追加したり、2人の共同作業者が音声通信でやり取りしたりすることも可能です。

'548特許で最も興味深いのは、ライブ画像とコンピュータ生成画像を2つの別々のウィンドウに分割して表示する分割画面表示でしょう。コンピュータ生成ウィンドウは、前述のように通常の認識タスクを実行でき、手動入力も可能です。また、全く新しいデータセットを構築することも可能です。

この例では、ユーザーがライブビューウィンドウでサンフランシスコのダウンタウンを眺めている間に、コンピューター生成画像アセットがそのシーンのリアルタイム3D合成画像を描画しています。この場合、生成されたアセットを使用して、手動で入力したマーカーを含む移動ルートを計算し、別のユーザーに送信できます。受信者は、生成されたオーバーレイを自分のカメラビューに表示し、マーカーと呼ばれる興味のあるポイントをタップしてコミュニケーションアプリを起動できます。

このアイデアをさらに一歩進めると、分割画面のARデータを2つのデバイス間で同期させることができます。つまり、1つ目のデバイスのリアルタイム画像とコンピューター生成画像を2つ目のデバイスに表示し、その逆も可能です。これは、2人のユーザーが知らない場所で互いを見つけようとしている場合や、ユーザーが基本的な道順を伝えたい場合などに役立ちます。

拡張現実
分割画面同期の図。