Apple の写真アプリは、顔認識だけでなく、個人のボディランゲージ、典型的なポーズ、胴体も識別できるようにすることで、Faces 被写体識別機能を改善する可能性があります。
iPhoto '09で顔検出機能を導入してから10年以上、Appleは画像内の人物識別能力の向上に取り組んでいます。「人」機能は賢く便利ではあるものの、誤認識されやすいため、Appleはボディランゲージなどの追加情報も活用して人物を判別しようとしています。
「顔と体の手がかりを組み合わせて人物を認識する」は、これを実現する複数の方法とそれが必要な理由を説明する、新たに公開された特許出願です。
「カメラ付きモバイルデバイスの普及により、ユーザーは様々な状況や地理的な場所で、あらゆる人数の人物や物体の写真を多数撮影できるようになりました」とAppleは述べています。「しかし、それらの画像を分類し整理することは困難な場合があります。」
「顔認識は、多くの場合、複数の画像から人物を識別するために使用されますが、例えば、画像の品質が悪い場合や、人物がカメラから目をそらしているなど、人物のポーズが悪い場合など、顔認識が失敗することがあります」と続けます。
つまり、写真のせいで顔検出が難しくなるのは私たちの責任です。Appleが提案する解決策は、顔だけでなく、人物の特徴を「クラスター」と呼ぶものを作成することです。
「一定期間にわたって撮影された画像は『瞬間』というグループに分けられ、それぞれの瞬間は時空間的に一貫性のある画像のセットを表します」とAppleは述べています。「言い換えれば、『瞬間』は同じ場所（例えば、自宅、職場、レストラン、その他の重要な場所）で、かつ所定の長さの同じ時間枠内で撮影された画像で構成されています。」
例えば、ある朝自宅で撮影した写真は分析され、写真に写っている各人物のデータがAppleが「多次元抽象埋め込み空間」と呼ぶ場所に保存されます。これは、写真から人物について収集された情報のデータベースです。
顔認識を他の特徴で強化するためのワークフローを概説した特許の詳細
「これは顔の特徴だけでなく、画像に写っている人物の体（例えば胴体）に関する追加的な特徴も考慮しています」とAppleは述べている。「これらの特徴には、例えば、形、質感、ポーズなどが含まれます。」
しかし、これらの特徴のすべてが同じように扱われるわけではない。「例えば、胴体の特徴は、人々が数日、数週間、数ヶ月などといった期間で服装を変えるため、瞬間ごとに一貫性を保つ可能性は低い」とApple氏は続ける。
つまり、この検出と情報の「クラスター」のカタログ化において中心となるのは、依然として顔です。Appleは、撮影された写真の1、2、または3つの「瞬間」でクラスターを作成するとしか説明していませんが、処理対象となる画像の数が増えるほど、精度が向上するようです。
この特許出願には3人の発明者が記載されています。その中には、顔認識を向上させるトレーニングシステムに関する特許を過去に取得しているVinay Sharma氏も含まれています。
