ディープラーニングネットワークは、写真にアートスタイルをスムーズに適用するために使用できる可能性があります

Appleは、iPhoneで撮影した画像や動画シーケンスに芸術的なスタイルをスムーズに適用できるディープラーニングシステムを開発しており、おそらく写真アプリの将来の機能として提供されるだろう。

クパチーノを拠点とするこのテクノロジー大手は、これまでも機械学習の分野で特許を申請しており、GPSデータや空中ジェスチャー分析といった異なるシステムに適用される技術も含まれている。そして今回、Appleはスタイリッシュな動画編集技術に注目しているようだ。

9月29日にアップルに付与された「ビデオスタイルの時間的一貫性制約のリアルタイム調整」と題する特許では、同社は1枚以上の画像から抽出した芸術的なスタイルを1枚以上の対象画像に適用できるシステムの概要を示している。

この特許では、ユーザーが画像や動画に、より複雑で技術的に高度な芸術的スタイルを適用したい場合があることが指摘されています。これは、機械学習を用いて各ピクセルに値を適用する単純なフィルターでは到底及ばない効果です。具体的には、Appleは人工知能を用いて画像や動画に「特定の芸術的スタイルの『エッセンス』を吹き込む」ことに重点を置いています。

しかし、この種の画像操作は、熱や処理の制約、そしてスタイル転送プロセスにおけるエラーのため、ポータブルデバイス上でリアルタイムに行うことは不可能です。Appleはこれを解決するために、ディープニューラルネットワーク（DNN）やその他の機械学習技術を活用する手法を概説しています。

「芸術的なスタイルは、スカラーを使用して非様式化画像と様式化画像の解像度を制御する、時間的一貫性制約、利用可能な処理リソースや熱容量などのシステムパフォーマンスパラメータに応答するディープニューラルネットワーク（DNN）の動的に調整可能または選択可能なバージョンの使用など、さまざまな最適化方法を使用して、取得した画像および/または画像のビデオシーケンスに適用できます」と特許には記されている。

特許によれば、あるシナリオでは、システムがデバイスのハードウェアとソフトウェアの制約を分析し、画像または画像シーケンスのスタイル設定にどのDNNを使用すべきかをインテリジェントに決定できるとされています。転送プロセスが時間の経過とともに複雑になった場合、システムは別のDNNバージョンにスムーズに切り替え、問題なく処理を継続できます。

別の例として、特許では、システムが特定の種類の入力画像を、シーケンス内の他の画像とは独立して処理するように学習できることが示されています。実用化においては、ユーザーが調整することで時間的一貫性を増減できるスライダーが実現される可能性があります。

この特許には、フランチェスコ・ロッシ氏とバルトロミエ・W・リムコフスキー氏が発明者として記載されています。両名とも以前にもAppleの特許に携わったことがありますが、関連するのは類似の芸術的スタイルとディープニュートラルネットワークシステムのみです。