アップルの特許は視覚ベースのARナビゲーションの詳細を記載し、Flyby Mediaの買収を裏付ける

アップルは火曜日、コンピュータービジョンと慣性測定センサーを使ったデバイスの位置特定（マッピング）の方法を詳述した特許を取得した。これは、今年買収した拡張現実（AR）の新興企業フライバイ・メディアから再譲渡される最初の発明の一つだ。

米国特許商標庁が「視覚ベースの慣性航法」として公開したこの特許は、カメラ画像とセンサーデータを使用して消費者向けデバイスが3次元空間に自身を配置することを可能にする。

具体的には、このシステムは、搭載カメラ（複数台）からの画像と、ジャイロスコープや加速度計などのセンサーから取得した対応するデータを統合し、特定の時点におけるデバイスの位置に関する情報を取得します。その後、画像と測定値を比較・対比することで、デバイスの位置と向きをリアルタイムで特定します。

特許に記載されているように、視覚ベースの慣性航法システムは、数センチメートル単位の精度を達成するためにGPS信号や携帯電話基地局を必要としません。しかし、過去の変数を追跡するには、画像やセンサー測定値を後で処理するために保存する必要があることが多く、この方法はモバイルハードウェアには適さない計算オーバーヘッドを必要とします。

このような障害を克服するため、Appleの発明は、計算負荷を最小限に抑えるように設計されたスライディングウィンドウ逆フィルタ（SWF）モジュールを実装しています。この技術は、まずデバイスのカメラで撮影された画像の重なり合うウィンドウからの情報を処理し、次に画像内の特徴を対応するセンサーデータで追跡することで、デバイスの状態を推定します。

次に、SWFはデバイス近傍の物体の位置と向きを推定します。一連の画像（ウィンドウ）内の各画像について、デバイスの状態と近傍の物体の推定値が計算されます。最後に、SWFは各画像ウィンドウを要約し、推定値をある時点におけるデバイスに関する情報に変換します。1つのウィンドウに関する要約情報は、重複する2つ目のウィンドウの処理ステップに適用できます。

現実世界では、SWFモジュールは拡張現実（AR）ナビゲーションソリューションの基盤として活用される可能性があります。例えば、SWFの位置と方向の推定値は、デジタルマップ上の地点にラベルを付けたり、小売店で商品を見つける際の視覚的な補助として活用したりできます。このモジュールは物体の最後の位置を保持できるため、置き忘れた鍵やその他の重要なアイテムをユーザーが見つけられるようになります。

1 つの潜在的な実装では、深度センサーを組み込んで特定の環境の 3D マップを作成し、もう 1 つの実装ではデバイスの無線通信を統合して、ユーザーが建物内を歩いているときに信号強度をマークします。

Apple が今後の製品に SWF 技術を統合する計画があるかどうかは不明だが、同社は拡張現実および仮想現実のソリューションに熱心に取り組んでいると言われている。

Appleの視覚ベース慣性航法特許は2013年に初めて申請され、Flyby Mediaの元従業員であるアレックス・フリント氏、オレグ・ナロディツキー氏、クリストファー・P・ブロードダス氏、アンドリー・グリゴレンコ氏、オリエル・ベルギグ氏、およびミネソタ大学のステルギオス・ルメリオティス教授が発明者として名を連ねている。

今年初め、AppleがGoogleのProject Tangoに関連する拡張現実ソリューションに特化したスタートアップ企業Flyby Mediaを買収したとの報道がありました。本日の特許に記載されている発明者のうち、Naroditsky氏とGrygorenko氏は現在Appleに勤務しています。