マイク・ピーターソン
· 1分で読めます
Appleのエンジニアが手振りで空中に「描く」。写真提供：Apple
AppleはiOS 14とmacOS Big SurのVisionフレームワークを更新し、開発者がアプリ内で体や手のポーズやジェスチャーを検出できるようにしています。
2020年後半にiOS 14とmacOS Big Surでデビュー予定のこの新機能は、水曜日に行われたWWDC 2020のビデオセッションで詳細が発表されました。しかし、Appleは月曜日の基調講演ではこれについて言及しませんでした。
ビデオで述べられているように、Vision フレームワークのアップデートにより、アプリは人間の体や手のジェスチャー、動き、特定のポーズを分析できるようになります。
Apple は、開発者がその機能をどのように活用できるかについて、一連の例を示しています。
これには、ユーザーが行っている運動を自動的に追跡できるフィットネス アプリ、写真やビデオ クリップ内のポーズに基づいて写真やビデオ クリップを検索できるメディア編集アプリ、従業員に正しい人間工学的姿勢をトレーニングするのに役立つ安全アプリなどが含まれます。
ハンドジェスチャー検出アプリにより、ユーザーがサードパーティ製アプリとやり取りする機会が増える可能性もあります。
Appleのブレット・キーティング氏は、ユーザーがディスプレイに触れることなく指のジェスチャーでiPhoneアプリに「描画」できる概念実証アプリを披露した。
同社によれば、Vision はフレーム内の複数の体の手を検出できるが、手袋やローブのような衣服を着用している人や、かがんだり逆さまになっている人などの特定の姿勢ではシステムが問題に直面する可能性があるという。
2019年、AppleはVisionフレームワークを更新し、機械学習を使用して画像やビデオ内の猫や犬を見つけられるようにしました。
AppleのARKitも同様の分析機能を提供していますが、背面カメラを使った拡張現実セッションに限定されています。しかし、Visionのアップデートは、あらゆる種類のアプリで利用できる可能性があります。
Appleは、自社のプラットフォーム全体にわたって機械学習とコンピュータービジョンシステムの開発を強化する措置を講じた。
「iPhone 12」に搭載される可能性のある新しいiPad ProのLiDARセンサーは、モーションキャプチャーの性能を大幅に向上させます。2020年モデルのiPhone SEのポートレートモードも、写真の被写体と前景を分離するために機械学習のみを利用しています。
