Apple が新たに公開した特許出願には、iPhone の前面カメラと背面カメラからのビデオを同時に処理し、音声や視覚的な合図に基づいてどのフィードをストリーミングするかを自動的に決定する遠隔会議およびビデオキャプチャ技術の概要が記載されている。
米国特許商標庁が木曜日に公開したAppleの「自動ビデオストリーム選択」特許出願は、スマートフォンの前面カメラと背面カメラのどちらからのビデオフィードを使用するかをインテリジェントに判断するシステムについて述べている。この技術は、AppleのFaceTimeなどのビデオ通話や、デバイス上にローカルに保存されたコンテンツに利用できる。
文書に記載されているように、多くのハンドヘルド機には動画撮影と写真撮影用の2つのカメラが搭載されています。これらのカメラは通常、反対方向を向いており、背面のモジュールは高解像度の撮影に使用され、前面のユニットはビデオ通話に使用されます。
モバイル端末の処理能力の向上により、一部のスマートフォンでは両方のカメラから同時に動画を撮影できるようになりましたが、この機能の活用例は限られています。iPhoneは現在、一度に1つのカメラのみを使用するため、ユーザーは必要に応じて2つのカメラを切り替えることができます。
Apple は、現在の帯域幅の制限により、両方のビデオフィードを同時にストリーミングすることが困難になるため、オーディオの同期を維持しながら直感的に 1 つを選択できる方法が必要であると指摘しています。
Appleが提案しているのは、音声または映像の手がかりとなる2つのビデオストリームをキャプチャ・監視し、事前に設定された基準に基づいてどちらかを出力するシステムです。例えば、FaceTime通話では、話し始めると自動的に前面カメラのビデオストリームに切り替わるまで、背面カメラのビデオストリームが使用されています。
どのカメラを使用するかを決定するために、この技術は、各カメラと同じ方向を向いているマイクからのデータや、唇の動きなどの顔の表情を検出して音声を検出します。
一実施形態は、「自動選択」インジケータを説明しており、これを選択すると、システムが起動し、多重化されたビデオの出力が開始されます。
論文では様々な実装が説明されており、「レポートモード」もその一つです。このモードでは、背面カメラからシーンをキャプチャし、ユーザーが話し始めると映像を切り替えます。音声や唇の動きが検出されなくなると、映像は元のシーンに戻ります。両方のビデオストリームは、処理全体を通してインターリーブされ、ローカルストレージに出力されます。
「インタビューモード」では、スマートフォンは、前面カメラで撮影されているユーザーと、背面カメラに向いている別の人物の間に配置されます。どちらかの人物が話していると判断されると、映像が切り替わります。
インタビューモード。
最後に、本発明は、FaceTime 通話で多重化されたビデオをストリーミングするとともに、携帯電話アクセスのないデバイスでもコンテンツを保存し、Wi-Fi 接続が利用できるときはいつでもアップロードできるようにする。
この発明はソフトウェアに大きく依存していますが、オーディオやビデオプロセッサといったハードウェアの制約により、Appleが近い将来にこの機能をリリースするのは難しいかもしれません。しかし、次期「iPhone 5S」の最終仕様はまだ明らかにされていないため、必要なコンポーネントが組み込まれる可能性はあります。現時点では、iOS 7ベータ版にはこの機能は搭載されていません。
Appleの自動ストリーム選択特許申請は5月に初めて提出され、発明者としてJae Han Lee氏とE-Cheng Chang氏が名を連ねている。
