ウィリアム・ギャラガー
· 2分で読めます
将来のレンズは、変更されていないピクセルを処理に渡す前に破棄する可能性がある。
Appleは、ファイルサイズとバッテリー電力の両方を節約することを目指し、高品質のビデオを作成するためにiPhoneやその他のデバイスがイメージセンサー自体で行う必要がある処理の量を減らす方法を検討している。
現在、iPhone、iPad、その他のデバイスに搭載されているカメラには、受光した光をすべて記録するイメージセンサーが搭載されています。このビデオデータはプロセッサに送られ、画像が生成されます。しかし、デバイスのメインCPUでこの処理を実行すると、負荷が大きくなり、バッテリーの消耗が早くなることがあります。
「イベントカメラによる静止画像の生成」は、ビデオ画像のうち前のフレームから変化した部分のみを処理することを提案する、新たに公開された米国特許出願である。
「従来のカメラは、クロック制御されたイメージセンサーを用いてシーンから視覚情報を取得します」とアプリケーションには記載されています。「記録される各データフレームは通常、何らかの方法で後処理され、多くの従来のカメラでは、各データフレームがすべてのピクセルからの情報を伝達します。」
「すべてのピクセルから情報を取得すると冗長性が生じることが多く、シーン内の動的コンテンツの量が増えるにつれて冗長性は通常増大します」と論文は続ける。「画像センサーがより高い空間解像度や時間解像度を利用するようになると、フレームに含まれるデータ量も増加する可能性が高くなります。」
つまり、iPhone カメラの解像度が高くなり、ユーザーがより長いビデオを録画するようになればなるほど、処理されるデータの量が増えることになります。
「データ量の多いフレームは通常、容量の大きい追加ハードウェアを必要とし、複雑さ、コスト、消費電力が増加する傾向があります」とアプリケーションには記載されています。「バッテリー駆動のモバイルデバイスで後処理を実行する場合、データ量が大幅に多いフレームの後処理は、通常、モバイルデバイスのバッテリー消費を大幅に早めます。」
アプリケーションでは、「イベントカメラが個々のピクセルの変化を示す」方法について説明しています。カメラは、すべてをキャプチャするのではなく、「視野の変化を検知すると、それに応じてデータを出力する」というものです。
通常、画像が処理されてJPEGなどの形式に変換される際には、ファイルサイズを小さくするために、変化のないピクセルが破棄されます。Appleの提案では、これらのピクセルはプロセッサにさえ届きません。
ピクセル変化の検出を説明する特許の詳細
「個々のピクセルの変化を検出するピクセルイベントセンサーは、個々のピクセルが自律的に動作することを可能にします」と論文は続ける。「強度の変化を記録しないピクセルはデータを生成しません。その結果、静止した物体（例えば、動いていない物体）に対応するピクセルはピクセルイベントセンサーからの出力をトリガーしませんが、変化する物体（例えば、動いている物体）に対応するピクセルはピクセルイベントセンサーからの出力をトリガーします。」
この特許出願は、アレクサンドル・M・モフショビッチとアーサー・ヤシェン・チャンによるものです。モフショビッチはテレビ画像処理分野で複数の特許を保有しています。
