Appleは、iPhoneの計測アプリにApple ARテクノロジーを追加して、計測精度を高め、オブジェクトに測定値を自動的に注釈付けすることを検討している。
iPhoneの計測アプリは、LiDARの導入により便利になり、精度も向上しました。現在、AppleはApple AR技術を活用して、計測アプリの速度と精度をさらに向上させる研究を進めています。
将来的には、iPhoneのカメラを物体に向けると、その物体の寸法が自動的に画面に表示されるようになるでしょう。これはAR技術と、様々な物体を対象とした機械学習技術によって実現されます。
「物体分類に基づく自動測定」は、新たに公開された特許出願です。これは、関心のある物体をどのように特定し、それをどのように正確に測定するかという点に焦点が当てられています。
この特許出願は非常に広範囲にわたり、「物理環境の3次元（3D）表現を取得するデバイス、システム、および方法」を含みます。生成される詳細は、「深度データと光強度画像データ」に関連する一連の異なるセンサーと測定に基づいています。
「[これらは] 3D 表現に基づいて物理環境内のオブジェクトに対応する 3D 境界ボックスを生成し、3D 境界ボックスと 3D セマンティック データに基づいてオブジェクトを分類し、オブジェクトの測定値を表示します。オブジェクトの測定値は、オブジェクトの分類に基づいて選択された複数のクラス固有のニューラル ネットワークの 1 つを使用して決定されます」と Apple は述べています。
まず、ARはユーザーが興味を持っているオブジェクトを判断します。特許出願では、その判断方法については詳しく説明されていません。それでも、ポートレートモードがユーザーが前景の人物に焦点を合わせていることを認識するのと似ていると推測できます。
特許出願には、「一部の実装では、物理環境の意味的にラベル付けされた3D表現を用いることで、物体検出と物体測定の生成が容易になります」と記載されています。「一部の実装では、物理環境の3Dポイントクラウドの意味的なセグメンテーションとラベル付けを実行します。」
ただし、測定対象が何であるか、何を測定しないかを決定するため、この将来の Measure アプリでは「複数の異なる手法」が使用される可能性があります。
「いくつかの実装では、まず深度データに基づいてオブジェクトの 3D 境界ボックスを生成することによってオブジェクトが測定されます」と Apple は述べ、「さまざまなニューラル ネットワークと、ここで説明する改良アルゴリズムを使用して境界ボックスを改良します」と続けた。
バウンディングボックスは、まずオブジェクトの基本的な幅、高さ、奥行きを決定することから始めます。その後、計測アプリは、例えば椅子なのかテレビなのかといったオブジェクトの分類を試みます。
「例えば、ある物体は、機械学習技術（ニューラルネットワークなど）を用いて、異なる物体の種類ごとに異なる種類の計測値を用いて測定されます」とAppleは述べています。「異なる種類の計測値には、椅子の座面の高さ、テレビのディスプレイの直径、丸テーブルの直径、長方形のテーブルの長さなどが含まれます。」
機械学習はすでに、平面画像からでも物体を認識し、分類することが可能です。例えば、Pixelmator ProなどのMac用画像エディターは、機械学習を利用してレイヤーに自動的にラベルを付けています。
ユーザーがさまざまな物体を測定している様子を示す特許の詳細
Apple は、機械学習を特定のオブジェクトの測定に適したものに「トレーニング」したいと考えています。
「たとえば、あるモデルをトレーニングして、椅子タイプのオブジェクトの寸法を決定するために使用できます (座面の高さ、腕の長さなどを決定するなど)。また、別のモデルをトレーニングして、テレビタイプのオブジェクトの寸法を決定するために使用できます (対角画面のサイズ、テレビの最大奥行きなどを決定するなど)。」と Apple は述べています。
テーブルを測る場合は、その表面の詳細を知りたいと思うでしょう。一方、テレビを測る場合は、ベゼルを除いた物理的な幅と対角線上の画面サイズの両方が必要になるかもしれません。
この新しい計測アプリの真のポイントは、物体がどのように計測されているかの詳細を気にしたり知ったりする必要がないことです。iPhoneをかざすだけで、この提案された技術のすべてが画面上にラベルとして表示され、物体の幅、奥行き、高さが示されます。
この特許出願は5人の発明者によって認められています。その中には、屋内シーンの撮影に関する特許を過去に取得しているAditya Sankar氏も含まれています。
