木曜日に発見された文書は、アップルがiPhoneの画質を新たなレベルに引き上げる技術、具体的には光学式手ぶれ補正を使って複数のサンプルを撮影し、それをつなぎ合わせて驚くほど高密度の写真を形成する「超解像度」画像処理エンジンに熱心に取り組んでいることを示している。
iPhoneはすでに世界で最も人気のある消費者向けデジタルカメラの一つだが、Appleはメガピクセルを増やすことなく写真解像度を大幅に向上させる新技術で、この分野でのリードをさらに強化したい考えだ。
米国特許商標庁が木曜日に公開した「光学式手ぶれ補正に基づく超解像度」に関する特許出願によると、Appleは既存のOIS技術の代替的かつ独自の用途をテストしており、ライバルのスマートフォンメーカーとはまったく異なる道を歩んでいる。
出典: USPTO
非常に簡単に言えば、本発明は光学式手ぶれ補正（OIS）システムを用いて、わずかに角度をずらした複数の写真を高速連続撮影する。撮影されたサンプルは画像処理エンジンに送られ、パッチワーク状の超解像画像が作成される。
従来のOISシステムは、慣性センサーまたは位置センサーを用いて、手ブレなどのカメラの動きを検知します。カメラの撮像モジュール（CCD、CMOS、または同等のセンサー）、あるいは場合によってはレンズ素子に取り付けられたアクチュエータが、その部品を等しく反対方向のベクトルに移動させることで、不要な動きを補正します。
物理的な手ブレ補正は通常、ソフトウェアベースのソリューションに比べて高画質を実現します。デジタル手ブレ補正技術は、画像の境界外のピクセルから手ブレを補正したり、複雑なマッチングアルゴリズムに写真を通したりすることで手ブレを補正しますが、OISはカメラの部品を物理的に動かすことで手ブレを補正します。
Apple の申請では、従来の OIS システムと高度な画像処理技術を組み合わせて、「超解像度」画像と呼ばれるものを作成しています。
一実施形態によれば、システムはカメラ、OIS位置決め用アクチュエータ、測位センサー、慣性センサー、OISプロセッサ、および超解像エンジンで構成される。iPhone 5sのA7システムオンチップなどの中央プロセッサがメカニズムを制御し、異なるコンポーネント間でデータをやり取りする。
実際には、基本的なカメラアプリで超解像度オプションがユーザーに提供される場合があります。物理ボタンまたは画面上のボタンでシャッターが押されると、iPhone 5sでサポートされているiOS 7のバーストモードと同様に、システムがバースト撮影を行います。
連続した画像サンプルを撮影する間、高精度アクチュエータがカメラモジュールを光路に沿って、つまり水平面または画像面を横切ってサブピクセル単位で傾けます。一部の実施形態では、複数のアクチュエータを専用に使用してピッチとヨーを同時にシフトさせることもできます。あるいは、OISシステムは、撮像モジュール上方のレンズ要素を移動させることもできます。
OISプロセッサは、アクチュエータを既知のサブピクセルシフトで制御するようにキャリブレーションされているため、得られたサンプルを補間し、高解像度のグリッドに再マッピングすることができます。このプロセスは、傾斜角度を測定できる位置センサーによってサポートされており、精度がさらに向上します。
低解像度のサンプルとみなされた各ショットは、超解像エンジンに転送され、すべての写真データを統合して高密度にサンプリングされた画像を作成します。一部の実施形態では、低解像度のサンプルを高解像度のグリッドに投影できますが、他の実施形態では、サブピクセルグリッドへの補間が必要です。
最後に、超解像エンジンはガンマ補正、アンチエイリアシング、その他の色処理といった追加技術を適用して最終画像を生成します。さらに、超解像機構が動作している間、OISシステムは実際の手ブレ補正機能も担います。
Appleの申請書類の残りの部分では、システムキャリブレーション、最終的な画像構築の代替手法、そして正確な動作に必要な主要な光学閾値について、より詳細な情報が提供されている。また、フィルター、マイクロレンズなどのセンサー構造、そして光と色の処理に関する仕様についても説明されている。
Appleが近い将来のiPhoneに超解像システムを搭載するかどうかは不明ですが、最近の噂によると、次世代端末では物理的な手ブレ補正を放棄し、デジタルソリューションを採用すると言われています。OISシステムは追加のハードウェアを必要とするため、ソフトウェアベースの手ブレ補正機能を備えた通常のセンサーモジュールと比較して、カメラアレイのサイズが大きくなってしまいます。
Apple の OIS ベースの超解像度の特許申請は 2012 年に初めて提出され、Richard L. Baer 氏と Damien J. Thivent 氏が発明者として認められています。
