木曜日に公開されたAppleの特許出願には、ステレオカメラシステムで撮影したデータから生成された深度マップを用いて、写真に背景ぼかしを施すインテリジェントな手法が詳述されている。この文書は、iPhone 7 Plusのポートレートモードの内部構造を明らかにする可能性があるが、その詳細はほとんど明らかにされていない。
Apple のアプリケーションで説明されている「焦点スタックからのフォトリアリスティックな浅い被写界深度レンダリング」の方法論は、iPhone 7 Plus のハードウェアを利用してデジタル画像で自然に見える背景のぼかしを生成する iOS 機能であるポートレートモードについてほとんど知られていないことと一致しています。
10月にiOS 10.1でリリースされたポートレートモードは、広角レンズと「望遠」レンズ、複雑なコンピュータービジョンアルゴリズム、そして深度マッピング技術を用いて、一連の画像レイヤーを作成します。このシステムは、写真の被写体を含むレイヤーなど、特定のレイヤーに焦点を合わせ、他のレイヤーをぼかすことで、自然なぼかしとボケ効果を実現します。
本日の特許出願では、ほぼ同一の技術が詳述されていますが、提案されたシステムは、ぼかしを導入する代わりに、すでに焦点が合っていないレイヤーまたはフレームを選択します。
いくつかの実施形態では、本発明は、特定のシーンを予め設定された数のフレームで撮影し、各フレームは異なる焦点深度で撮影されます。各フレームは、フォーカススタック内の個別のレイヤー、つまり最終的に最終ショットを生成するために使用される、様々なレベルのシャープネスまたはぼかしを持つ画像のセットを表します。
次に、システムはDepth-from-Focus法またはDepth-from-Defocus法を用いて深度マップを生成します。得られた情報は、どのレイヤーにターゲットオブジェクトが含まれており、どのレイヤーにシーンの背景が含まれているかを判断するために使用されます。
次に、任意の数の人工的な制約に基づいて目標のぼかしレベルが導出されます。いくつかの実施形態では、ぼかしはカメラの絞りに基づいて決定されますが、別の例では、特定の距離にある特定のサイズの物体を鮮明にレンダリングするために必要なフォーカス量に応じてぼかし度が設定されます。また、一眼レフカメラの外観を再現するために、ルックアップテーブルを実装することもできます。
正確なぼかしはAppleのポートレートモード機能の秘訣ですが、Appleは滑らかなボケを実現するためにどのようなモデルやぼかし手法が用いられているかについては詳細を明らかにしていません。特許出願では、任意の焦点距離、被写体距離、絞り値に対するサイズなど、様々なぼかし関数の選択肢が認められており、幅広い一眼レフカメラとレンズの組み合わせを再現できることを意味します。
重要なのは、この手法ではフォーカススタックの位置合わせが必要であり、どのフレームのどのピクセルも、他のフレームの対応するピクセルと正しく一列に並ぶようにする必要があることです。すべてのピクセルが一列に並んでいれば、特殊な画像処理アルゴリズムがエッジ検出、シャープネス測定、あるいは類似の技術を用いて、焦点位置または焦点面を特定できます。逆に、このシステムは異なる深度にある背景ピクセルを検出し、ターゲットのぼかしに一致する場合にそれらを選択します。これが、ポートレートモードが背景から髪の毛などの微細な物体のディテールを解析できる理由です。
最終的な出力画像は、フォーカススタック内の様々なフレームからサンプリングされたピクセルのタペストリーで構成され、様々なフォーカス設定で生成されます。また、フォーカススタック内に目標のぼかしレベルに一致するピクセルがない場合は、2枚以上の画像を合成、ブレンド、またはその他の方法で補間することで、目的の効果を実現できます。
この資料では、今日のアプリケーションがポートレートモードの基盤であるという説を裏付けるように、マルチカメラ構成はシミュレートされた被写界深度のプレビューに最適であると説明されている。Appleは、単一レンズカメラシステムでもフォーカススタックをキャプチャできると述べているが、iPhone 7 Plusに採用されている広角モジュールや望遠モジュールのようなマルチレンズアレイは、より多様なサンプルセットを提供する。例えば、2つのレンズを使用すれば、システムは2枚の画像を同時に撮影し、ぼかしを比較することで深度マップデータを推定することができる。
一例を挙げると、望遠カメラからのライブ画像を使って被写体にピントを合わせ、広角カメラでフォーカススタック用のフレームを収集するというものです。ポートレートモードでも、これと非常によく似た、あるいは全く同じ実装が採用されています。さらに、この特許は、iOSが被写体が対物レンズに近すぎることをどのように判断できるかを説明するのにも役立ちます（ポートレートモードには、被写体の接近を知らせるものなど、様々な警告通知が用意されています）。
興味深いことに、この発明には背景のフォーカスを手動で調整する機能も含まれています。これはiPhoneユーザーにはまだ提供されていない機能です。現状では、ポートレートモードはフォーカスレベルを自動調整し、自然なぼかし具合を実現します。
本日の特許出願がポートレートモードを完全に網羅しているかどうかは不明ですが、多くの詳細が最終製品に採用されたことは明らかです。特許出願で言及されていたものの、まだ実装されていない技術については、Appleが将来のiOSアップデートまで機能を残しておく可能性があります。あるいは、手動でぼかしを調整できる機能などは、将来のiPhoneに搭載される可能性があります。
Appleの被写界深度効果に関する特許出願は2015年9月に初めて提出され、発明者は社内エンジニアであるThomas E. Bishop、Alexander Lindskog、Claus Molgaard、Frank Doepkeとされている。
