AppleのDeep Fusion、iPhone 11とProの計算写真機能の内部

AppleはiOS 13.2ベータ版に「Deep Fusion」と呼ばれるコンピュテーショナルフォトグラフィー機能を搭載しました。この機能は、iPhone 11とiPhone 11 Proのカメラで非常に精細な画像を撮影するのに役立ちます。AppleInsiderがこの画期的な機能の仕組みを解説します。

iPhone 11とiPhone 11 Proの発表時に予告されたDeep Fusionは、iOSカメラアプリに追加された機能で、複数の写真を1枚の画像に合成します。これにより、通常は長時間露光で得られるような高精細な画像が得られます。Appleのシステムは、写真全体の質感、ディテール、ノイズを最適化し、これらすべてをわずか1秒で実行します。

これを実現するために、Apple は写真が撮影される前の時間と、A13 Bionic チップの Neural Engine が提供する処理能力を活用し、タスクに「高度な機械学習」技術を使用します。

ステージ上の説明者

9月の特別イベントのステージ上で説明されたように、Appleのワールドワイドマーケティング担当SVP、フィル・シラー氏は、iPhoneは1枚の写真を撮るために合計9枚の写真を撮影すると述べています。ユーザーがシャッターを押す前に、iPhoneはすでに「4枚の短い写真と4枚の二次的な写真を撮影」しており、実際にシャッターが押された時に「1枚の長時間露光」を撮影します。

ニューラルエンジンは、長時間露光画像と短時間露光画像を組み合わせ、2400万画素をピクセル単位で処理して、最適な組み合わせを選択します。そして、得られた画像を分析し、ディテールとノイズの低減を最適化します。

アップルのフィル・シラー氏がステージ上で、この技術を使って撮影した写真のセーターのディテールを強調している。

その結果、シラー氏が「計算写真のマッドサイエンス」と呼ぶ画像が誕生しました。これは、写真撮影プロセスからの出力を決定するためにニューラルエンジンが使用された初めての例です。

HDRだが、完全には

Appleが複数の写真を素早く連続撮影するという決定には、いくつかの理由から理にかなっています。シラー氏が「4枚の短い画像」と「4枚の二次画像」と表現した内容は、8枚の写真のように聞こえますが、実際にはそれぞれ異なる目的を持っています。

4枚の「ショート」ショットは、通常よりも低い露出値で撮影された写真を指します。露出値を低く設定しているのは、iPhoneが後続の処理で使用できるシャープネス値を持つ画像を取得できるようにするためです。「セカンダリ」画像は標準露出で撮影され、長時間露光はより高い露出値で撮影されています。

実のところ、これはハイダイナミックレンジ写真（HDR写真）といくつかの点で似ています。HDR写真では、複数の画像を同時に、あるいは連続して撮影し、露出不足の画像と露出の高い画像を組み合わせることで、より広い範囲のディテールを捉えます。ただし、HDR写真では通常、長時間露光と短時間露光の組み合わせは使用されません。

すべてをまとめる

短時間露光と長時間露光の最適な組み合わせを選択した後、Deep Fusion は2枚の画像のノイズを除去し、2枚の画像をピクセル単位で処理して、4つの異なるステップを経てショットを洗練させます。各ステップでは、空と風景、布地と肌など、画像の異なる部分を分析し、被写体の種類ごとに異なるレベルの処理が施されます。

この要素の順位付けは、システムが最終画像を作成するために、短時間露光と長時間露光をどのように組み合わせるかを決定します。一方の画像から色調と輝度データを取得し、もう一方の画像からディテールデータを取得する場合もありますが、この順位付けによって、システムが各要素についてディテールやその他のデータにどの程度重点を置くべきかが決まります。

理論的には、この計算写真法では、肌や髪の毛などユーザーが評価する部分のディテールが向上し、標準的な写真では通常得られないほど被写体のエッジが鮮明になるはずです。