AppleはARを録画可能にし、後で閲覧できるようにインテリジェントな注釈を付けたいと考えている

AppleはARを録画可能にし、後で閲覧できるようにインテリジェントな注釈を付けたいと考えている

Appleは、ライブ体験に関するApple ARや「Apple Glass」におけるすべての取り組みと並行して、ユーザーがARを録画、編集し、後で自動生成された追加機能とともに表示できるようにしたいと考えています。

Appleはこれまで、ARの録画方法と、iPadなどの2Dデバイスでの再生方法を研究してきました。また、ARオーディオの録音についても調査し、Final Cut ProにVR編集機能を既に組み込んでいます。そして今回、新たに公開された2つの特許出願において、録画可能で実用的なARを実現する方法を模索し続けています。

「コンピューター生成現実レコーダー」は最初の研究で、360度AR/VR体験の記録における様々な問題を扱っています。ヘッドセットを装着した一人の人物から膨大な量のデータを記録する必要があるだけでなく、複数の人物が関与する可能性があるという問題もあります。

Appleはこの特許出願でこれらすべての問題を解決しているわけではありませんが、AR体験の非常に具体的な部分を記録することに重点を置いているため、確かに役に立ちます。ユーザーが興味を持っている部分を特定し、それをキャプチャするのです。

Appleは、「本技術は、ユーザーの嗜好または検出されたイベントの少なくとも一方に基づいて、コンテンツの録画における関心領域または関心オブジェクトを少なくとも部分的に特定します」と述べています。「本技術は、特定された関心領域または関心オブジェクトに基づいて、コンテンツの録画の修正版を生成します。」

挙げた例は主にスポーツに関するもので、例えばユーザーは特定の選手のプレーを特に追うのに興味があるかもしれません。他の選手が何をしているか、ユーザーがその時点で何を見ようとしていても、システムはその選手のプレーだけを捉えることができます。

そうすれば、録画シーンにさらに多くの情報が自動的に追加されるようになります。

ARシーンをLRし、オブジェクトを識別し、オブジェクトに注釈を付ける

ARシーンをLRし、オブジェクトを識別し、オブジェクトに注釈を付ける

「その結果、電子情報はユーザーが認識する物理環境の一部のように見えるようになります」とAppleは続ける。「さらに、拡張された物理環境に重ねて表示される電子情報と対話するためのユーザーインターフェースも含まれる可能性があります。」

これは、Appleが以前に行った研究に似ています。「Apple Glass」などのデバイスを使って買い物客に比較情報を表示できるというものです。2つの商品をかざすと、Apple ARが両方の商品に関する関連情報を表示します。

重要なのは、仮想オブジェクトや情報を現実世界にうまく融合させ、それを記録して後で再生することです。「(再生機能は)共有と再生のための2次元(2D)ビデオを含むコンピューター生成の現実環境です」とAppleは述べています。

あるいは、特許出願では、「その後、記録は、すべてのセンサーからの情報を統合し、および/または他のユーザーの記録(たとえば、異なる視点(POV)および/または異なる視野(FOV))と組み合わせた3次元(3D)表現を生成する」と続けている。

関心のあるポイントを特定し、現実を解釈して情報をどこに表示するかを判断するには、近接性、位置、距離を意識する必要があります。システムがシーン内の特定のオブジェクトを効果的に特定できるようになれば、そのオブジェクトを変更することも可能です。

AR録画でセンシティブなオブジェクトを隠す

AR録画に関する新たに公開された2つ目の特許出願は、シーン内のオブジェクトが何らかの形でセンシティブな場合、そのオブジェクトを変更することに関するものです。「コンピュータ生成現実録画における制限の設定」は、ライブビデオ会議でロゴやその他の要素を自動的にぼかすことができるという過去の研究と類似しています。

それは 2D 空間内のオブジェクトに関係していましたが、この新しい特許出願は AR または VR 内の現実または仮想の 3D オブジェクトに関するものです。

Appleによれば、この提案には「デバイスの視野内のコンテンツの記録を分析」し、「コンテンツに含まれるオブジェクトのセット」を認識することが含まれるという。

特許出願には、「本技術は、保護されたコンテンツに対応すると示されるオブジェクト群のサブセットを識別する」と記載されている。保護されたコンテンツを構成するものについては議論の余地がない。これは技術的な判断ではなく、編集上の判断だからである。

識別されたオブジェクトは編集またはぼかしが加えられることがあります

識別されたオブジェクトは編集またはぼかしが加えられることがあります

誰が何を「保護されたコンテンツ」と判断するかに関わらず、システムはそのオブジェクトを識別し、何らかの対応を取ることができます。「対象となる技術は、オブジェクトセットのサブセットを難読化またはフィルタリングする、修正された録音バージョンを生成します」とAppleは述べています。

言い換えれば、おそらくユーザーの好みに応じて、オブジェクトをぼかしたり、編集したりします。

これはライブ AR 体験中にも適用されますが、特許出願では、「録画の修正バージョン」が後で「再生用のホスト アプリケーション」に送信されることも指定されています。

これら2つの特許は、ランジット・デサイ氏とマネリ・ヌールカミ氏という同じ発明者によって発明されています。2つ目の特許にはジョエル・N・カー氏も名を連ねています。

デサイ氏は2016年にアップルに入社する前、色のヒストグラムを使って物体や人物を識別できる画像検索システムに関するフィリップス向けの特許を取得した。