いわゆる「ビューティーゲート」という、あまりに不適切な名前の話題を耳にしたことがあるかもしれません。Appleの新型iPhone XSとXS Maxが、セルフィーカメラで撮影した写真に過度に強力な肌補正アルゴリズムを適用し、偽物のような、あるいは加工されたような画像を作り出しているという、ユーザーからのクレームです。では、実際に舞台裏で何が起こっているのか、お話ししましょう。
Appleは新型iPhone XSとXS Maxで、スマートHDRと呼ばれる全く新しい機能を導入しました。この新しいカメラモードは、カメラが捉えられる最も暗いトーンと最も明るいトーンの差、つまりダイナミックレンジを拡大するように設計されています。
iPhone XとXS Maxの写真比較では、スマートHDRがXS Maxのダイナミックレンジをどれだけ大幅に向上させるかがわかります。
iPhone XとiPhone XS Maxで撮影した同様の写真を比較すると、Xの画像では被写体の顔と体は適切に露出されていますが、背景のハイライトが飛んでおり、明るすぎるため色などの詳細が失われています。
XS Maxでは、細部や質感まで鮮明に映し出され、色彩も正確に再現されています。さらに、影の部分を見てみると、より明るく、より精細に表現されていることがわかります。
各画像のパンツに目を向けると、XS Max にスムージング効果が適用されているように見えます。
暗い場所で撮影した自撮り写真を見ると、その効果はさらに顕著です。この現象が起こる主な理由は2つあり、どちらもAppleの新しいスマートHDR機能に関連しています。
スマートHDRの仕組み
昨年発売されたiPhone Xで通常のHDR写真を撮る場合、カメラは顔、ハイライト、シャドウの3つの露出で3枚の写真を撮影します。そして、それらの写真から最適な部分を抽出して1枚の写真に合成します。
プロの写真家は、この手法を再現し、Adobe Lightroom などのプログラムで画像を手動でブレンドして、信じられないほどのディテールとダイナミック レンジを備えた写真を作り出すことがあります。
Appleの新しいスマートHDRは、Appleが「ゼロシャッターラグ」と呼ぶ機能から始まります。基本的に、カメラアプリが開いている間、A12 Bionicプロセッサは常に4フレームのバッファを撮影し続けます。これは実質的に、非常に高速に写真を何度も繰り返し撮影し、最後に撮影した4フレームをシステムメモリに保持しますが、カメラロールには保存しません。
実際にシャッターボタンを押すと、バッファからフレームを1枚取得するので、瞬時に写真が撮影されます。それだけでなく、A12 Bionicは、通常のHDRと同様に、異なる露出で複数のフレームを同時に撮影します。
次に、最良のフレームを分析して 1 枚の写真に結合します。これにより、非常に優れたダイナミック レンジが実現します。
これらすべてを非常に高速に行う必要があり、そのすべては新しい前面センサーと背面センサーのおかげです。新しいセンサーは読み出し速度が向上し、フレームの撮影速度が向上していると考えられます。
フロントカメラで1080p、60フレーム/秒の撮影が可能になったことは、読み出し速度が向上した新しいセンサーの証です。そのため、Appleは将来のソフトウェアアップデートでiPhone XにSmart HDRを搭載しない可能性が高いでしょう。
しかし、もう一つ制限があります。それはシャッタースピードです。シャッタースピードとは、基本的にカメラのシャッターが開いてセンサーに光を取り込む時間です。シャッタースピードが速すぎると、センサーに入る光が少なくなってしまいます。
Appleの新しいスマートHDRでは、すべての処理が非常に高速に行われる必要があるため、処理速度を低下させないようにシャッタースピードを速くする必要があります。その結果、センサーに入る光が少なくなり、画像の明るさが損なわれる可能性があります。
これを補うために、カメラはISO感度を上げます。これは基本的に、センサーの光に対する感度を決定します。システムISOを上げると、ノイズも増加します。
クレジット: Photography Life
Halideの開発者であるSebastiaan de With氏は、新型iPhone XSのカメラシステムを詳細に調査した結果、新型iPhoneは高速シャッタースピードと高ISO感度を好む傾向があることを発見しました。彼は、この動作はスマートHDR処理が有効になっていない場合でも、スマートHDR処理に最適なコンテンツを撮影することに関係していると考えています。
明るい日光の下では、画像が既に完璧に露出されているため、ユーザーは大きな違いに気づきません。一方、暗い場所ではISO感度をかなり高く設定する必要があり、ノイズが多く発生します。
これを補うために、Apple は画像にノイズ低減処理を追加します。
ノイズ低減の最も一般的な欠点は、細部の鮮明さが失われ、柔らかく見え始めることです。これは基本的に、肌の滑らかさと呼ばれるものです。
肌を滑らかにする効果が前面カメラでより顕著になる理由は、センサーが背面カメラのセンサーよりもはるかに小さいため、取り込める光がさらに少なくなるからです。
つまり、Appleはビューティーフィルターを適用しているわけではありません。滑らかに表示されている部分は、主にスマートHDR機能に関連すると思われる新しいカメラの動作によって導入されたノイズ低減機能によるものです。XS Maxで撮影した低照度時の写真をGalaxy Note 9などと比較すると、Note 9でもノイズ低減が適用されており、同様のビューティーモード効果が得られていることがわかります。
宣告
これはビューティーゲート事件の謎の半分しか説明していません。後半では、なぜこの効果がさらに顕著になるのかを説明します。
スマートHDRは、露出の異なる複数のフレームを撮影し、それらを合成することで、これまで以上に明るい部分と暗い部分のディテールを捉えることができます。しかし、これらの画像を合成すると、写真全体のバランスが崩れ、コントラストが低下します。
プロ仕様のカメラで動画を撮影する場合も同様です。フラットプロファイルで撮影すると、最初はコントラストがかなり低くなりますが、シャドウとハイライトの両方でより多くのディテールが保持されます。
コントラストを少し戻した後、画像は同様に鮮明になり、ダイナミック レンジも向上しました。
iPhone XとXS Maxで撮った写真を見ると、iPhone Xの方が鮮明に見えますが、よく見るとそうではありません。写真がより鮮明に見えるのは、コントラストが高いからです。
コントラストは基本的に写真内の物体間の明るさの差であり、この例では下半分は鮮明ではなく、単にコントラストが追加されているだけです。
XS MaxとSamsung Galaxy Note 9を比較した場合も同様の効果が見られました。XS Maxの写真とビデオはNote 9に比べてコントラストが欠け、鮮明さが欠けていました。
この自撮り写真の比較では、iPhone X の画像の方がコントラストが高く、より詳細に見えます。
iPhone XS Max はコントラストが不足しているため、何らかの肌を滑らかにする効果が適用されているように見えますが、コントラストを追加すると、その効果は消え始めます。
つまり、明るい環境下では、コントラストが不足しているために肌がより柔らかく見えるのです。
変更は可能です
技術的には、Appleが望むならソフトウェアを微調整するだけでこの問題を解決できるでしょう。そうすればコントラストの問題は解決しますが、ノイズ低減に関しては、低照度環境下でもほぼすべてのスマートフォンのセルフィーカメラで行われていることです。
Smart HDR に関しては、Apple は機能を調整して動作速度を遅くし、シャッターを少し長く開いたままにすることができますが、もちろん、そうすると XS と XS Max の新しいカメラのダイナミック レンジのパフォーマンスは低下します。
