人気のマニュアル撮影アプリ「Halide」の開発者であるセバスチャン・デ・ウィス氏が、iPhone XSのカメラシステムを徹底的にテストしました。Appleの最新カメラを包括的に分析したデ・ウィス氏は、コンピュテーショナル・フォトグラフィーの概要を説明し、ノイズ低減技術によって人工的に加工されたように見えるセルフィー写真が生成される仕組みを解説しています。
徹底的な分析の中で、デ・ウィズ氏は、ハードウェアの大部分が昨年のモデルから引き継がれているにもかかわらず、新型iPhoneの画像がiPhone Xで撮影したものと大きく異なる理由を説明しています。特に注目すべきは、開発者が、週末に話題になった「肌を滑らかにする」効果について説明していることです。
コンピュテーショナルフォトグラフィーの未来
Appleは、iPhoneの未来は必ずしもハードウェアにあるわけではないことをずっと以前から認識していました。そのため、同社はプロセッサ速度やRAMといった「技術仕様」の公表を避け、むしろ実使用時のパフォーマンスに重点を置いています。
カメラについても同じことが言えます。Appleは毎年カメラの画素数を単純に増やすのではなく、既存の部品、そして特にそれらを駆動するソフトウェアの改良に注力しています。デ・ウィス氏が指摘するように、純粋に物理的な原理が、Appleのポケットサイズのカメラプラットフォームをどこまで進化させるかという大きな障害になりつつあります。この技術をさらに進化させるために、Appleはソフトウェア開発能力への依存度をますます高めています。
Halide写真アプリ
iPhone XS に大きな変化をもたらしたのは、このソフトウェアです。
先月の iPhone 発表会で、ワールドワイドマーケティング担当上級副社長のフィル・シラー氏は、Apple 設計の画像信号プロセッサ (ISP) が写真処理にどれほどの力を発揮するかについて語った。
iPhone XSでは、カメラアプリはアプリを開くとすぐに、ユーザーがシャッターボタンを押す前から写真撮影を開始します。写真が撮影されると、端末は露出不足や露出オーバーのフレームから高速シャッタースピードで撮影されたフレームまで、一連の別々の画像を収集します。その後、画像選択プロセスによって最適な候補フレームが選択され、それらを組み合わせることで、ディテールを保ちながら、非常に高いダイナミックレンジの写真が作成されます。このプロセスには、明らかに意図しない結果が伴います。
騒音を起こせ
こうした計算写真術をすべてバックアップするために、iPhone XS のカメラ アプリは大量の写真を非常に高速に撮影する必要があります。
この目標を達成するために、新しいカメラはより速いシャッタースピードとより高いISO感度を優先します。シャッタースピードが速くなると、センサーが捉える光量は減少します。この光量の減少を補うために、カメラアプリはセンサーの光に対する感度を決定するISO感度を上げます。そのため、取り込む光量は減少しますが、カメラは光に対してより敏感になり、適切な露出の画像を出力できます。
iPhone X（左上と左下）とiPhone XS RAWのサンプルRAW写真。| 出典：Sebastiaan de With
しかし、ISO感度が高くなると、写真にノイズが増え始めます。このノイズを何らかの方法で除去する必要があります。そこでAppleのスマートHDRとコンピュテーショナルフォトグラフィーが役立ちます。
ノイズ低減を強化すると、画像が少し滑らかになります。これは、人々が報告している自撮り写真の滑らかさに関する「問題」の一部です。
2 番目の理由はコントラストに関係しています。
局所的なコントラストが低い
ローカルコントラストは、ほとんどの人が写真の鮮明さとして認識するものです。
「簡単に言えば、暗い、あるいは明るい輪郭が、対照的な明るい、あるいは暗い形に隣接しているということです。この局所的なコントラストが、物事をシャープに見せるのです」とデ・ウィズ氏は言います。
写真にシャープニング効果を適用すると、実際には細部が追加されるのではなく、明るいエッジと暗いエッジが強調され、コントラストが増して、画像がよりシャープになったような印象を与えます。
iPhone XS および XS Max のスマート HDR は、画像の露出を大幅に向上させ、局所的なコントラストを低減して、通常よりも滑らかに見える画像を実現します。
大衆向けのカメラ
この撮影方法の最大の問題は、RAW撮影時に発生します。De With氏は、iPhone XSはRAW撮影時でも、最高のスマートHDR写真を撮影するために、露出時間を短くし、ISO感度を高く設定していると推測しています。RAW撮影ではスマートHDRの恩恵を受けられないからです。その結果、露出オーバーや白飛びした写真が生まれ、ディテールが切り取られて復元できなくなります。
RAW撮影ではノイズ低減も適用されず、高ISO感度によるノイズも加わるため、非常に見栄えの悪い画像になります。つまり、RAWで撮影する場合は、マニュアルモードで意図的に露出アンダーに撮影する 必要があります。
iPhone X（左）とiPhone XS MaxのサンプルRAW写真。| 出典：Sebastiaan de With
Appleのカメラアプリに関する決定は、Halideなどのサードパーティ製アプリにも影響を与えるため、de With氏は「Smart RAW」と呼ばれる新機能の開発に取り組んでいると述べています。これは、独自の計算技術を用いてRAW写真からノイズを低減しながら、より多くのディテールを引き出すものです。この新機能は、Halideの今後のアップデートに搭載される予定です。
多くの分析は批判的に聞こえるかもしれませんが、Appleのアルゴリズムによって発生した問題は今のところ例外的なものです。ほとんどのセルフィーは非常に不自然な光の中で撮影されており、Appleが行った変更がなければ、露出が悪くノイズだらけになっていたでしょう。Appleはノイズを過剰に除去し、滑らかすぎる画像を作成することで、慎重すぎる方向に傾いていた可能性がありますが、これは改善の余地があります。
さらに重要なのは、Apple は必要に応じてファームウェアを改良し、その後のアップデートで問題を解決することができるということです。
最近の iPhone XS と X の写真比較で見たように、スマート HDR を搭載した iPhone XS と XS Max では写真撮影機能が大幅に向上しており、大多数のユーザーがすでにそのメリットを実感しています。
