AppleのFaceTimeの発明は、顔のモーフィングや画像マッチングを利用してビデオを滑らかに保つ

米特許商標庁は木曜日、低帯域幅の FaceTime 通話中にドロップされたフレームを事前に録画または加工した画像に置き換え、シームレスなフィードのような錯覚を作り出す Apple の発明を公開した。

Apple の特許出願「コンテンツベースのフレーム検索を使用したビデオ送信」は、FaceTime ビデオ通話でのフレーム落ちに対処することを目的としている。これは、低帯域幅の接続で通信する際に一部の iPhone または iPad ユーザーが遭遇する可能性がある問題である。

現在、帯域幅の制限と既存の無線技術のせいで、多くの地域で携帯電話データによるビデオ通信が不安定になっています。AppleのFaceTimeのような機能は、フレーム落ち、画像の解像度が極端に低い、音質が悪いなどの理由で、ほとんど使えない場合もあります。

出願書類には、以前に送信されたビデオ フレームと「ビデオ フレーム コンテンツ情報」を使用して、ビデオ通話中に 2 つのデバイス間で送信されるデータの量を削減する方法が詳しく記載されています。

ある手法では、特定のビデオフレームから一連のパラメータまたは係数を生成し、関連付けることができます。例えば、顔の特徴、向き、スケールといった物体のランドマークポイントは係数と呼ばれ、送信されたビデオと共に追跡・保存することができます。このデータは検索可能なデータベースに処理され、そこから個々のフレームを取得できます。

帯域幅が狭い場合、デバイスはビデオフレームではなく、特定のライブビデオフィードの係数セットを計算して送信できます。一方、帯域幅に余裕がある場合は、関連する係数を含む画像全体を送信・保存できます。

接続状態が悪く、フレームが欠落し始めた場合、システムは係数を用いて、以前に保存されたビデオデータベースから類似の物体を検索することができます。この例では、ライブフィードの係数をビデオフレームデータベースと比較し、最適な一致を見つけます。類似した物体特性を持つフレームが見つかった場合、そのフレームが取得され、受信デバイスに表示されます。

別の実施形態では、生成された係数を用いて、以前に記録されたビデオフレーム内の画像をインテリジェントにモーフィングします。その結果は、ドロップされたフレームの代わりにライブフィードに挿入されます。

最後に、背景コンテンツとみなされるオブジェクトは、被写体コンテンツよりも低い解像度で伝送できます。例えば、システムは人物の顔を、その背後にある壁よりも高い解像度で表示します。

通話品質の向上という明らかなメリットに加え、この技術はデータ消費量の削減にも活用できます。係数を用いることで、既に送信済みの映像からシーンを動的に再現できるためです。仮に、人工的に生成された映像フレームをライブ映像の3フレームごとに1フレーム挿入するだけでも、データ消費量は莫大なものとなるでしょう。

Appleの他の特許出願と同様に、この発明が将来的に消費者向け製品に実装されるかどうかは不明です。しかし、データ通信料の高騰と高解像度カメラモジュールの普及により、この機能はFaceTimeビデオ通話を頻繁に利用する人にとっては便利なものとなるでしょう。

Apple の FaceTime ビデオフレームのモーフィングとマッチングに関する特許出願は 2012 年に初めて申請され、アレックス・トレメイン・ネルソン氏とリチャード・E・クランドール氏が発明者として認められています。