将来のiPhoneやAirPodsはユーザーの独自のジェスチャーを観察し学習する可能性がある

Appleは、将来のiPhoneやAirPodsがユーザーを監視し、機械学習でユーザーの動きを学習し、あらゆるデバイスや表面をスワイプすることで音量を上げたり下げたりするような反応を起こせるようにしたいと考えている。

まるで手品のようです。Appleは新たに取得した特許で、デバイスがタッチセンサー式のコントロールを備えているかのように見せかけることができるようにしたいと考えています。これはあらゆるデバイスに適用できると強調していますが、繰り返し挙げられているのはイヤホンの例で、音量調節機能がないのに音量調節機能があるように見せかけることができるのです。

この特許は「機械学習ベースのジェスチャー認識」と呼ばれていますが、ジェスチャーはほんの一部に過ぎません。Appleの構想では、ウェアラブルイヤホンなどのデバイスに、通常は光学センサーや近接センサーといった他のセンサーを搭載することも考えられますが、温度センサーやモーションセンサーといったセンサーも搭載される可能性があります。

「ただし、サイズやスペースの制約、電力の制約、製造コストを考慮して、イヤホンにはタッチ入力やタッチジェスチャを検出するためのタッチセンサーが組み込まれない場合があります」とAppleは述べています。

タッチセンサーがなければ、現状では限界があります。しかし、Appleはそれを止めません。

「しかしながら、イヤホンなどタッチセンサーを搭載していないデバイスでも、ユーザーからのタッチ入力やタッチジェスチャーを検出できるようにすることが望ましい場合がある」と報告書は続けている。「[この提案]により、タッチセンサーを搭載していないデバイスでも、デバイスに搭載されている1つ以上の非タッチセンサーを介して受信した入力を利用することで、ユーザーからのタッチ入力やタッチジェスチャーを検出できるようになる。」

もしかしたら、イヤホンにマイクが内蔵されていて、指でデバイスをタップする音を拾ってしまうかもしれません。あるいは、光センサーが内蔵されていて、デバイスを撫でる際に指が光を遮ってしまうかもしれません。

機械学習は、複数のセンサーが変化を検知したときに反応するように訓練できる。

Appleは、どのようなセンサーが使用可能か、そしてどのように組み合わせて使用されるかについて、非常に綿密な検討を行っています。「センサーには、デバイスの動き、ユーザーの生体情報（例：心拍数）、音、光、風、そして一般的にあらゆる環境からの情報を検知するための1つ以上のセンサーが含まれる可能性があります」とAppleは述べています。

「例えば、センサーには、デバイスの加速度を検知する加速度計、音を検知するマイク、および/または光を検出するための光センサーのうちの1つ以上が含まれる場合があります。」と続きます。

重要なのは、センサー単体ではどれか1つが誤認識する可能性があるということです。例えば、マイクのすぐそばで耳を掻いているかもしれませんし、壁に寄りかかっているせいで光が遮られているかもしれません。

Appleのアイデア、そしてこれが機械学習を採用する理由は、複数のセンサーを組み合わせて連携させることができるからです。特許には、「光学センサー、加速度計、マイクによって検出された入力は、個別に、あるいは全体として、タッチ入力を示す可能性がある」と記載されています。

「トレーニング後、機械学習モデルは予測されたジェスチャーに対応する一連の出力予測を生成します」とAppleは続けます。つまり、機械学習はマイクの引っ掻く音だけでは十分ではなく、光センサーへの光が遮られると何かが起こることを学習できるのです。

特許ではよくあることですが、説明は情報がどのように検出されたかという点に重点が置かれており、その後その情報がどのように利用されるかという点には重点が置かれていません。ただし、今回のケースでは、Appleは「予測が生成された後、その予測にポリシーを適用して、ワイヤレスオーディオ出力デバイス104に実行させるアクションを示すかどうかを決定できる」と述べています。

例えば、機械学習が3つのセンサーの変化を重要だと判断した場合、その情報をソフトウェアに渡すことができます。ソフトウェアは、例えばデバイスの音量を上げたり下げたりすることができます。

複数のデバイスにわたる複数のセンサーを組み合わせることができます。