Apple の iPhone ラインアップのポートレートモードは実現が難しく、コンピュテーショナル フォトグラフィーへの移行は経営上の議論を招き、関係者にある程度の職業上のリスクをもたらしました。
iPhoneユーザーの大多数は、ポートレートモードに馴染みがあるでしょう。被写体にピントを合わせ、前景と背景をぼかした写真を撮ることができるカメラです。ハーバード・ビジネス・レビューのAppleのイノベーション経営に関する記事では、「ボケ」を実現するまでの道のりは、非常に困難なものだったと記されています。
これは、Appleが名声を博している革新的な技術革新と言えるでしょう。しかし、その名声は、常に雇用している技術専門家たちだけでなく、Appleの人材管理の手腕にも大きく起因しています。
2009年、シニアリーダーのポール・ヒューベルは、iPhoneユーザーがボケ効果を取り入れたポートレート風の写真を撮影できるようにするというアイデアを思いつきました。ボケとは、写真の中で意図的に焦点をぼかした要素を指す日本語で、通常は背景をぼかして美しく見せることで、被写体に焦点が合ったように見せる効果があります。
通常、ボケを使用した撮影は、レンズの焦点距離を細かく制御できる一眼レフカメラなどの高価なカメラに限られており、スマートフォンのカメラシステムでは通常、そのようなレベルには対応できません。
ヒューベル氏は、デュアルレンズカメラの設計によってコンピュテーショナルフォトグラフィーの技術を活用し、一眼レフカメラのボケを模倣した合成画像を作成できると考えました。このコンセプトは、Appleのカメラチームに歓迎されました。彼らの目標は、「より多くの人々が、より多くの時間、より良い写真を撮ること」でした。
初期の取り組みは有望なものの、アルゴリズムが画像内の主要被写体の境界と背景のぼかしの境界を判断できないなど、チームを悩ませる「失敗例」がいくつかありました。前景の一部の要素が被写体に近いにもかかわらず、ぼかしを意図していた場合、アルゴリズムは誤ってこれらの余分な部分をぼかしてしまい、他の部分は鮮明なフォーカスを維持することがありました。
開発に関わったある人物は、この機能の開発期間の大半において、ハベル氏は「自分の限界を超えていた」と語った。具体的には、この機能がうまく動作しなかったり、うまく機能しなかったりした場合、ハベル氏のチームはiPhone開発チーム全体、そしてAppleの経営陣全体から信頼と影響力を失う危険にさらされていた。
Appleは「デジタルプロセスにおいて、関連する技術やテクノロジーによってデータに意図しない改変が加えられない」という「ゼロアーティファクト」という厳格なエンジニアリング基準を掲げているため、こうしたいわゆる「コーナーケース」はAppleのチーム間で何度も「厳しい議論」を招きました。こうしたコーナーケースのため、修正のための時間を確保するため、この機能のリリースは1年延期されました。
iPhone XRのポートレートモードでのボケの例
エンジニアリング チームから設計およびマーケティングのリーダーが招かれ、機能に影響を与える可能性のある品質基準について合意しました。その際に、「美しいポートレートとは何か」という疑問も生じました。品質基準を作成するために、写真家の偉大な作品から、目は鮮明なまま顔のエッジがどのようにぼやけるかなどのテーマが分析され、アルゴリズムに導入されました。
ポートレート写真のプレビューにも問題がありました。元々は撮影後に画像に適用することを想定して設計されていたためです。ヒューマンインターフェースデザインチームは、ユーザーが調整しやすいよう、撮影前に何らかの「ライブプレビュー」機能を導入することを主張しました。
センサー制御とカメラ操作を担当するビデオエンジニアリングチームとの連携により、カメラハードウェアチームはこの追加機能を推し進め、開発を進めることができました。この追加機能はiPhone 7 Plusとともに一般公開され、Appleのマーケティング活動の中心的な柱となりました。
カメラアプリのポートレートモードの最新バージョンは、場合によっては機械学習に大きく依存することがあります。iPhone XRやiPhone SEのようなシングルカメラのiPhoneでは、コンピュテーショナルフォトグラフィーの進歩により、ソース画像の数が減少したにもかかわらず、この機能は引き続き動作しています。
