ユーザーが「Apple Glass」やその他のヘッドマウントデバイスを装着している場合、iPhone は頭のジェスチャーを認識して反応できる可能性があります。
スティーブ・ジョブズが、誰もがお馴染みのマルチタッチiPhoneスクリーンを披露してから、それほど時間は経っていません。そして、AppleがiPhoneにSiriを搭載してからも、実にわずかな時間しか経っていません。しかし、新たに公開された特許の中で、Appleはタッチ操作も音声操作ももはや時代遅れであり、私たちが本当に必要としているのは、iPhoneが私たちが首を振っていることを認識してくれることだと示唆しています。
「（現在のデバイス制御は）多くの場合、ユーザーがタッチや音声などを使ってセンサー部品と能動的にやりとりする必要がある」と、Appleの「ヘッドウェアラブル電子機器のユーザー監視」特許は述べている。鼻であしらうほどではないにせよ、会話やタイピングは明らかに無視されており、変化する光パターンを検知することが未来の技術だとしている。
Face IDのように聞こえますが、実際にはFace IDの逆バージョンです。iPhoneがFace IDを支えるTrueDepthテクノロジーを搭載し、ユーザーの顔をスキャンする代わりに、Appleは「Apple Glass」で顔の表情や動きを検知し、それをiPhoneに送信することを提案しています。
「Apple Glass」、あるいは「ヘッドフォン、マスク、イヤーマフ、あるいはこれらの組み合わせ」といった頭部装着型デバイスには、光センサーが搭載されている場合があります。これらのセンサーは、「ユーザーの頭部の一部で反射された光や、頭部を透過した光を検出します（例えば、光電式容積脈波記録法（PPG）を用いて）」。
この特許では、ヘッドマウントデバイスの全体または上部のさまざまなポイントにセンサーを配置することを提案しており、「このような配置により、光センサーからのセンサーデータは、ユーザーの頭部の組織内の解剖学的特徴の動きを捉えることができ、ユーザーの適切なジェスチャーを判断するために使用できる」と述べています。
最も基本的な仕組みとしては、頭を激しく振ると光センサーがその動きを検知します。しかし、Appleの提案はそれよりもはるかに高度なものです。「フォトダイオードからの[センサー]データは、頭部ジェスチャー中のユーザーの組織の膨張、収縮、その他の適切な動きを捉えることができます。」
それは、頭を振ったりうなずいたりするだけでなく、「噛む、瞬きする、ウィンクする、笑う、眉を上げる、顎を動かす（顎を突き出す、顎を後退させる、顎を横に動かす、顎を下げる、顎を高くするなど）、口を開ける、および/または同様の動作」を意味します。
35,000語に及ぶ特許には、検出される可能性のある顔の特徴や頭の振りのあらゆる組み合わせ、さらにそれを判定するために異なるタイプの光センサーを使用する複数の方法が詳細に記述されている。
Appleの特許が特に問題としているのは、iPhoneやその他のデバイスが実際にその情報をどのように利用するかという点です。しかしながら、明らかに有益な状況も存在します。例えば、iPhoneでSiriに音声入力しているときに、一時停止したとします。
あなたの表情から考え事をしている様子が伺えるので、Siriは待つべきだと判断できます。あるいは、あなたの表情がiPhoneに「早く聞き取って」と伝えているようであれば、Siriはあなたが音声入力を終え、音声を聞くのをやめたと合理的に推測できるでしょう。
この特許は、ジョエル・S・アームストロング＝ムントナーを含む3人の発明者によって取得されています。彼は以前にも、入力デバイス用の光学式センシング機構に関する関連特許を保有しています。
これとは別に、Appleは「Apple Glass」やiPhoneなどのデバイス間でデータを転送する方法に関する関連原理の特許も取得しました。AppleのARデバイスは大量のデータを生成し、場合によっては受信も行う可能性が高いため、どれだけの速度で処理できるかが課題となっています。
システムは「体の姿勢」も検出できるようになるかもしれない
Appleが提案する解決策の一つは、送信されるデータ量を最小限に抑えることです。「イベントデータの低帯域幅送信」は、イアン・M・リヒター氏が新たに取得した特許です。
これは特にビデオデータに関するもので、Appleの特許は、デバイス間での「画像のキャプチャとネットワーク経由の送信」から、「テレビチャンネル経由でのビデオの放送」まで、あらゆる形態の「画像キャプチャとネットワーク経由の送信」をカバーしています。しかし、いずれの場合も、問題はこれらの送信が「かなりの帯域幅を必要とする傾向がある」という点にあります。
ヘッドマウントディスプレイの特許が頭と顔の動きの検出を扱っているのと同様に、この特許は「体の姿勢」の検出という同様の問題に関係しています。人の歩き方を認識できれば、システムはビデオの各ピクセルを中継するのではなく、歩き方を表す情報を送信できるようになります。
MPEGなどのビデオ圧縮は、背景の変化が人間の動きよりもはるかに少ないことに依存しています。システムが人間の動きを把握していれば、背景画像全体を再度受信するのではなく、背景のどの部分を再描画すればよいかを知ることができます。
Appleの特許には、「物理的環境の表現は、その一部をグラフィック的に修正（例えば拡大）することで変換される可能性があり、修正された部分は元の撮影画像の写実的な表現ではあるものの、フォトリアリスティックなものではない可能性がある」と記されている。「さらに別の例として、物理的環境の表現は、その一部をグラフィック的に削除または難読化することで変換される可能性がある。」
