Apple は、ユーザーの体のどの部分の筋肉が動くかをすべて把握したいと考えています。そうすることで、ユーザーの健康状態をより正確に把握できるほか、部屋の中でのユーザーの位置をより正確にマップできる可能性があります。
AppleはすでにApple Watchに加速度計などの技術を搭載しており、屋外ウォーキングのワークアウトをオンにし忘れた場合でも、ユーザーが歩いていることを自動的に検知できます。また、Appleは最近、写真撮影だけでなく動きを検知するApple Watch搭載カメラの特許も申請しました。
現在、2件の別々の特許出願が明らかになっている。これらは1年の差で出願されたにもかかわらず、どちらもあらゆる動きを検知し、それを利用することを目的としている。
「リンクされた生体力学モデルを用いた姿勢遷移の検出と分類」は2021年9月に出願され、今回初めて公開されました。17ページ（約8,000語）にわたる詳細な内容は、姿勢の変化の検出について非常に具体的に記述されています。
Appleはこの特許出願の中で、「既存のモバイル機器には、モバイル機器の加速度や回転速度などのモーションデータを提供するモーションセンサーが搭載されています」と述べています。「例えば、デジタル歩数計は加速度データを用いて歩数をカウントし、ユーザーが歩いているのか走っているのかを判断できます。」
「これらの幅広いアクティビティの分類は多くのモバイル アプリケーションに役立ちますが、一部のモバイル アプリケーションでは、座った状態から立ち上がるなど、ユーザーの身体的な姿勢が変化したかどうかを知ることが役立ちます」と続けます。
立ち上がった状態を検知する手順を示す特許の詳細
特許出願ではよくあることですが、焦点は主に、それが何に使われるかではなく、どのように実現されるかにあります。とはいえ、ユーザーがヘッドセットを装着して現実環境と仮想環境の両方を操作している場合など、明確なユースケースが本文中に示唆されています。
身に着けているデバイスがあなたの体全体の位置を計算し、動きによってどこへ向かうのかを予測できれば、現実世界や仮想世界の障害物を警告することができます。この機能は、視覚障害者が現実世界を歩く際にも同様に活用できる可能性があります。
Apple は使用例についてほとんど語っていないが、この姿勢検出機能は腹筋運動をしていないとユーザーに注意するためだけのものではないことを示す十分な詳細を持っている。
「空間オーディオの実施形態では、ヘッドセットとソースデバイスの動きのモーションデータがソースデバイスで融合されます」とAppleは述べ、「これにより、ソースデバイスによって相対的な位置と姿勢が計算され、特定の追跡シナリオでのヘッドポーズ追跡に使用されて、空間オーディオのサウンドベッドが適切に中央に配置されることが保証されます」
「特に、相対的な動きを用いた頭部姿勢のトラッキングは、ユーザーの胴体が静止しているのに頭部が回転しているのか、それとも胴体が動いているのかを判断するのに役立ちます」と論文は続ける。「どちらの動きもヘッドセットによって感知され、区別は不可能です。」
特許出願では、動きを検知することはすでに可能かもしれないが、それを正確に、あるいは完全に解釈することはできない、という点が繰り返し述べられています。
Appleは、自社の提案は複数のデバイスを組み合わせて必要なものを判断することだと繰り返し述べています。「一般的に、ヘッドセットとコンパニオンデバイスの両方からモーションデータを使用することで、より複雑なユーザーの姿勢変化を検出できるようになります」とAppleは述べています。
全身ポーズ検出
このデバイスの組み合わせは、新たに公開された2つ目の特許の中心でもあります。2022年に出願された「複数のウェアラブルデバイスからの特徴抽出による全身姿勢推定」は、考えられるあらゆるデバイスを用いて、あらゆるものを検出することを目指しています。
ポーズ検出の背後にある数学の一部を示す特許の詳細
「ウェアラブルデバイスは今や社会に広く普及しています」とAppleは述べている。「多くの消費者がスマートウォッチとイヤフォンの両方を日常的に着用しています…（そして、これらのウェアラブルデバイスの多くには、ユーザーの動きを感知できる慣性センサーが搭載されています。」
「例えば、スマートウォッチに埋め込まれた慣性センサーはユーザーの腕の動きを捉え、フィットネスアプリケーションはそれを用いて、運動中にユーザーが消費したカロリー量など、様々なフィットネス指標を計算することができます」と論文は続ける。「一部のイヤフォンデバイス（例：イヤホン）には、オーディオ再生を制御したり、ビームフォーミングで背景ノイズを低減するために使用するマイクの方向データを提供したり、イヤフォンデバイスを通して再生される空間オーディオ音場を固定するためのヘッドトラッキングを行う慣性センサーが搭載されています。」
「（これらを組み合わせることで）ユーザーの動きに関する詳細な情報を提供できる、より正確な全身骨格モデルを実現できます」とアップルは述べ、「さまざまなフィットネス活動や健康モニタリングの進捗状況の追跡精度が向上します」と続けた。
「さらなる利点は、ユーザーがすでに所有している既存のデバイスを、ユーザーの身体や衣服のさまざまな場所に簡単に取り付けることができる安価でコンパクトなセンサーモジュール（慣性センサー、高度計、カメラ）と組み合わせて使用し、分散型センシングシステムを作成できることです」と特許出願は続けます。
「ユーザーの体のさまざまな場所に設置された複数のカメラと慣性センサーを使用し、全身の深度データと組み合わせることで、より正確な3次元骨格モデルを生成できる」とAppleは述べている。
「（このデータは）さまざまな用途に活用できます」と同社は続ける。「例えば、人が倒れたり病気になったりしたかどうかを検知するアプリケーションや、適切なトレーニング方法、スポーツ技術、ダンス活動を自律的に教えるアプリケーションなどです...」
特許出願では常に、可能な限り広範囲の用途が説明されますが、この場合は、適合性から、そのようなシステムが「全身手話を理解する方法（例：空港の滑走路信号、交通警察官の信号など）」までの範囲にわたります。
これら2つの特許出願は、既存のものを結びつける方法の創出に取り組んでいるという点で異例です。しかし、これらのデータを検出できるデバイスが存在するという点では、どちらも正しいと言えるでしょう。ですから、全身の姿勢を正確に計算し、それを健康とフィットネスに活用するシステムは、まさに良いものです。
全身ポーズデータの使用を示す特許の詳細
少なくとも、このデータが私たちの手元にある限りはそうでしょう。
2つの特許出願はいずれも、プライバシーに関する標準的なセクションを採用しているように見えます。特許出願が提起する具体的なプライバシー問題についてコメントするのではなく、標準的なテキストでは、そのようなデータ収集に「責任を負う主体」が「確立されたプライバシーポリシーを遵守する」ことを前提としています。
姿勢に関する特許は、以前アップル社で「モバイル機器を用いた姿勢と動作の監視」に関する特許申請を行っていたアディティア・サラシー氏を含む 4 人の発明者によるものである。
ウェズリー・W・ズーバーを含む3人の発明者が、この全身特許出願に携わりました。ズーバーはこれまでに、Apple Pencilの触覚システムなど、タッチベースのフィードバックに関する特許を保有しています。
