Appleと写真の未来を深く掘り下げる：iPhone 8 Plus

10年前にiPhoneが発売された当時は、基本的な写真撮影機能はあっても動画撮影はできませんでした。しかし、Appleはモバイル写真の機能を急速に進化させ、今ではiPhoneは看板サイズのアートワークとして世界的に認知され、映画館で公開される長編映画の撮影にも利用されています。iOS 11では、深度補正により新たなレベルの画像撮影が可能になりました。iPhone 8 Plusで初めて搭載された新機能を中心に、写真の未来を展望します。

Appleの歴史、特にiPhoneの登場から10年の間に、同社は次々と新しい技術を一般消費者向けに導入してきました。これらのアイデアの多くは、マルチタッチディスプレイ、電子ジャイロスコープ、加速度センサー付きモーションセンサー、深度センサー付きカメラなど、他社で先行して研究、発表、そして製品化されていたものです。

Apple は単に最初に市場に参入するだけではなく、大衆市場での成功においても繰り返し最初になってきました。その理由の一部にはリリース前に作業を改良することがあり、また、発売するテクノロジーを実用的で実社会での応用をターゲットにしていることも挙げられます。

マルチタッチセンサーを最初に開発・発表した研究者の一人であるジェフ・ハン氏は、AppleのiPhoneのように何億人ものユーザーが利用するモバイルデバイスにこの技術を持ち込んだわけではない。彼はそのアイデアを、会議室用の大型スクリーンへと発展させ、数千台単位で販売されるようになった。このスクリーンはMicrosoftに買収され、9,000ドル以上のSurface Hubとしてブランド化された後も、その人気は衰えていない。

ハン氏自身が2007年のデビュー時に述べたように、「iPhoneは本当に素晴らしい。私が常々言っているのは、この種の技術を消費者市場に投入できる企業があるとすれば、それはAppleだということ」。

同様に、Appleの最新の深度感知カメラは、昨年iPhone 7 Plusで初めて導入され、iPhone 8 Plusと次期iPhone Xで拡張される予定だ。

Xbox Kinect のリビングルームスケールから、後頭構造センサーや Google の Project Tango に関連付けられた特別装備のタブレットまで、さまざまな製品で実験されてきました。

しかし、一時的な流行のゲーム コントローラーや実験的なニッチ ツールではなく、Apple の奥行きキャプチャへの複数の取り組みにより、距離認識画像処理の概念が何千万人ものユーザーに日常的に利用されるようになり、認証方法から通信、データの視覚化、画像やビデオのキャプチャ方法まで、モバイル デバイスの使用方法が間もなく根本的に変化するでしょう。

ここでは、過去 1 年間に Apple の深度画像戦略がどのように展開してきたか、そして将来どこに向かうのかを見てみましょう。

iPhone 7 Plus: 異なる深度を捉えるデュアルレンズ

昨年のiPhone 7 Plusでは、独立したレンズを備えたデュアルカメラが導入されました。振り返ってみると、この機能（Plusモデルのみ）は、より大型で高価なPlusモデルに多くのiPhone購入者を引き付け（Appleの収益増加に寄与した）、また、毎年1つのiPhoneモデルしか発売せず、単一の製品に搭載できる機能に妥協を強いられていた場合よりも、Appleが新技術をより迅速に導入することを可能にしたと言えるでしょう。

従来モデルのiPhone 6/6s Plusにも、標準サイズ・通常価格のiPhoneとは異なる独自のカメラ機能、光学式手ぶれ補正（OIS）が搭載されていました。OISは、レンズの周囲に並んだ非常に高精度なマイクロモーターのリングを使用し、モーションセンサーからのデータに基づいて位置を高速に変化させることで、手ぶれを補正します。

特にOISは、暗い場所での撮影に役立ちます。暗い場所では、カメラの絞りを可能な限り大きく、長く開く必要があるため、動きに特に敏感になります。しかし、OISはiPhone 7 Plusのズーム機能に比べると目立たず、その効果を実証するのが難しいです。

iPhone 7 Plusのデュアルカメラは、写真の質をさらに高める可能性をさらに追求しました。標準の広角レンズと2倍ズームレンズの2つのレンズを搭載し、写真、動画、スローモーション、タイムラプス、パノラマ撮影など、画質を損なうことなく被写体に近づくことができます。

2つのレンズはそれぞれ独立したカメラセンサーを搭載していますが、連携して動作させることも可能です。これにより、ユーザーがズームレベルを調整すると、標準センサーから2倍光学センサーへとスムーズな段階的なズームが可能になります。

Appleはデビュー時に、ボケ効果を使って被写体にドラマチックな注目を集める新機能も予告しました。これは、狭い被写界深度を捉えるレンズを搭載した一眼レフカメラのように背景をぼかすもので、ポートレート撮影で前景の被写体にドラマチックなフォーカスを当て、背景がフェードアウトしていくというものです。

子ども、ペット、友人を写真の中で、まるで被写体が撮影者にとって大切な存在であるかのように映し出す機能が好評を博し、大ヒットとなりました。Photo BoothやSnapchatのコミカルなレンズエフェクトとは異なり、iOS 10のポートレートモードは、ドラマチックな雰囲気を醸し出すリアルで高品質な画像を撮影します。被写体の魅力を引き立てるだけでなく、撮影者自身も自信をもって素晴らしい写真を撮影できると感じられるようになります。

Appleがこれらのポートレート画像をどのように撮影しているかは、今年の夏のWWDC17で初めて詳細に説明されました。このWWDC17でAppleは、iPhone 7 Plusのデュアルレンズカメラでできることはポートレートモードだけではないことを明らかにしました。Appleによると、ポートレートモードでは、2つのレンズがそれぞれ2倍相当の画像を撮影するように設定されており、被写体のわずかに異なる角度を捉えているとのことです。

差分深度処理（2枚の画像における点の差を比較することで、被写体がカメラに近いか遠くにあるかを判断する処理）を用いることで、2枚の画像ソースから深度マップ（元の写真と組み合わせるメタデータの3Dタイポグラフィレイヤーのようなもの）を作成できます。ポートレート機能はこのデータを用いて、写真のどの部分が遠くにあるかを特定し、その部分にぼかし効果を適用することができます。

iOS 11の新機能として、サードパーティはAppleの公開Depth APIを使用してポートレートモードで写真を撮影し、特定のレイヤーに対して独自の処理を施すことができるようになりました。簡単な例として、背景の彩度を下げて被写体のみをカラーにするといったことが挙げられます。

事実上、既存の写真フィルターを、画像の様々な深度レイヤーに、任意の深度閾値で選択的に適用できるようになりました。ポートレートモードのボケ効果は、深度キャプチャーの実現可能性という点では、文字通り氷山の一角に過ぎません。

WWDC17 のプレゼンテーション「深度を使った画像編集」で実演されたように、Apple の Etienne Guerard 氏は、背面のデュアル カメラによって作成された深度マップを 3D で視覚化し、写真のさまざまな部分にフィルターやその他の効果を選択的に適用する方法を示しました。

非常にうまく機能し、見た目もかっこよく、一眼レフ写真の現実的で創造的な世界に根ざしており、したがって iPhone ユーザーにとって明らかに価値があるポートレート モードの特定の種類のエフェクトを開発し、強調することで、Apple はポートレート モードを iPhone 7 Plus を購入する説得力のある理由として効果的に宣伝しました。

もし Apple が Plus デュアル カメラを、無数のオプションを作成するためのさまざまなコントロールの実験的なツールボックスとして導入していたら、ほとんどのユーザーは、多くの場合加工したように見える画像しか生み出さない、奇抜な複雑さとしてそれをすべて無視していたでしょう。

iPhone 8 Plus: A11 Bionicを使ったポートレートライティング

iOS 11では、iPhone 8 PlusとiPhone Xのデュアルリアカメラからの深度マップがより詳細になります。A11 Bionicの高度な新しい処理能力には、カメラからのセンサーデータを分析するApple独自の画像信号処理コアが組み込まれています。このコアの新しいニューラルネットワーク処理は、特にシーン内を移動する物体、顔、体を認識し、理解するために活用されます。

この新しい処理能力により、最新の携帯電話のポートレート照明機能では、画像を撮影して背景にボケ効果を適用するだけでなく、前景にインテリジェントな照明効果を適用して、被写体の顔を際立たせる美しい光反射カードをシミュレートしたり、顎のラインを縁取るドラマチックな照明を適用したり、背景を完全に暗くして被写体を背景の邪魔なものから完全に切り離して、黒い背景の前でスタジオのステージで撮影されているような印象を与えたりすることができます。

繰り返しになりますが、Apple は、無限の深度オプションの幅広いツールボックスを導入するのではなく、プロの写真家やスタジオポートレートアーティストからインスピレーションを得た、さまざまな状況で写真を撮るさまざまなユーザーに役立つポートレート照明効果のセットを見つける作業を行いました。

他のベンダーは手に負えない

他のスマートフォンは長年、デュアルカメラの実験を行ってきました。2011年（AppleがiPhone 4sでSiriを披露した頃）には、HTCとLGが3D画像を撮影し、メガネなしで画面に3D表示できる立体カメラ付きスマートフォンを披露しました。それと並行して、3Dマーケティングの盛り上がりは数ヶ月にわたってHDTVにも波及しましたが、消費者は3Dの目もくらむような効果にはあまり興味がないと判断しました。今では3Dスマートフォンを製造しているメーカーはありません。

数年後の2014年、HTC One M8はデュアルカメラシステムを搭載しました。このシステムは2枚の画像を撮影し、それらを合成して深度マップを計算し、それを用いて背景をぼかしたり、デジタルで画像の焦点を合わせ直したりすることができます。Pocket Lintは「その効果はどちらかといえばギミック的で、デュアルカメラのメリットはあまり感じられなかった」と評しています。

LGは昨年初め、広角レンズと超広角レンズを組み合わせたデュアルレンズを発表しました。これにより、写真により多くのものを収めることができます。しかし、レンズの焦点深度は固定されているため、両方を組み合わせてハイブリッドカメラとして使用することはできません。また、広角レンズは便利ですが、一般的にズームレンズの方が実用的です。

広角撮影は、パノラマ撮影によってデジタル的にシミュレートできます。2倍ズームのパノラマであれば、歪みの少ないパノラマ写真を作成できます。そのため、ズームレンズよりも広角レンズを機能的にシミュレートする方が簡単です（デジタルズームでは写真の画質が犠牲になりますが、パノラマは通常の写真よりも詳細な情報を捉えることができます）。

Huaweiは最近、ライカと提携し、人間の視覚を模倣してより高品質な写真を実現するため、カラーデータ専用とモノクロディテール専用に分けた2つのカメラを搭載したスマートフォンを発表しました。しかし、このアプローチが本当に写真の質を向上させるかどうかは明らかではありません。より良いアプローチは、フォーカスを制御するロジックを強化することにあるようです。これはAppleが（ええと）力を入れている分野です。繰り返しになりますが、同じレンズを搭載した同一のカメラが2台搭載されているということは、ズームや広角撮影ができないことを意味します。

Pixel 2：カメラ1台で2台より優秀！少なくともGoogleにとっては

Googleの最新スマホ「Pixel 2」は、AppleのiPhone 7 Plusのポートレートモードを模倣し、シングルカメラで擬似的なボケ効果を生み出します。CNETによると、このスマホは「デュアルピクセル設計」を採用しており、すべてのピクセルが2つに分割され、左右のセンサーがそれぞれ左右の写真を撮影します。

もちろん、物理学と幾何学の原理から、1台のカメラセンサーで取得する奥行き情報は、2台のカメラを離れた場所に設置した場合よりも精度が低くなります。Googleは実際には、顔を認識し、髪の毛や体のどの部分が顔とつながっているかを推定し、それらを前景として定義して、残りの部分をぼかしているだけのようです。Appleはまた、すべてのiOS 11デバイスで動作する機械学習とインテリジェントなコンピュータービジョンツールを用いた一連の取り組みを進めており、近日発売予定のiPhone X向けには、さらに高度な奥行き画像キャプチャ機能も搭載される予定です。

報道によると、GoogleのGM兼スマートフォン担当副社長であるマリオ・ケイロス氏は、「このカメラの機能セットに不足するものは何もない」と述べているが、背面カメラとレンズが1つしかないため、iPhone 7/8 Plusのような光学ズームレンズや、LGのスマートフォンのような広角レンズは搭載されていない。また、iPhone 8 Plusのポートレートライティングのような、より複雑なエフェクトも実現していない。

Pixelのポートレートモードが昨年のiPhone 7 Plusと比べてどうなのかはまだ分からない。しかし、シングルカメラ設計の真の目的は、静止画だけでなく、iOS 11が動画に施す深度処理や光学ズームといったクリエイティブなエフェクトを犠牲にして、Googleにとって製造コストを安く抑えることにあるようだ。

iPhone 7 PlusとiPhone 8 Plusの背面デュアルカメラに加えて、Appleは、すべてのiOS 11デバイスで動作する機械学習とインテリジェントなコンピュータビジョンツールを使用した一連の取り組みも進めています。さらに、次の記事で詳しく説明する、次期iPhone Xに特有のさらに高度な深度画像キャプチャも進めています。