新たな調査により、Apple が Siri に特定の音声を検知させ、その位置を振動のみで特定させる方法を検討していることが明らかになった。
新たに公開された2つの特許出願は、Appleがデバイスが人を検知したり、人とやり取りしたりする様々な方法を研究していることを示しています。主要なものは、Siriが個々の人物とその音声コマンドを認識できるようにするもので、デバイスに通常のマイクは必要ありません。
「デバイスの外面を定義する構造部品またはハウジング部品の振動を検知するために使用される自己混合干渉計センサー」は、自己混合干渉計（SMI）の使用に関するものです。SMIは、デバイスからの「放射光の反射[または]後方散乱によって生じる」信号を検出します。
「音声認識が改良され、より広く利用できるようになるにつれて、デバイスと対話するための入力デバイスとしてマイクがますます重要になってきている（デバイスを対話型デバイスにする）」と特許申請書には記されている。
しかし、それには欠点もあると続けます。
「従来のマイクでは、音波はマイクの膜上で音響振動に変換されるため、マイクの下部に空気の出入りのためのポートが必要です」と申請書には記載されています。「このポートは、機器を水による損傷、目詰まり、湿気の影響を受けやすくし、外観を損なう可能性があります。」
そのため、Appleは「使用される光の波長よりもはるかに優れた感度」を理由に、SMIセンサーアレイの使用を提案しています。「SMIセンサーは、音や表面への叩き込みによって引き起こされる振動を感知できます。従来のダイヤフラムベースのマイクとは異なり、SMIセンサーは気密（または密閉）環境でも動作可能です。」
これらのSMIセンサーは、音などによる振動を検出するだけでなく、デバイス内の唯一のセンサーである必要もありません。
「例として、センサーシステムには、SMIセンサー、熱センサー、位置センサー、光センサー、加速度計、圧力トランスデューサー、ジャイロスコープ、磁力計、健康監視センサー、空気質センサーなどが含まれる可能性があります」とAppleは述べています。
SMIセンサーがApple Watchの背面にも使用できることを示す特許の詳細
これが実際に意味するのは、デバイスが「振動、光、触覚、力、熱、動き、相対運動、ユーザーの生体認証データ（例：生物学的パラメータ）、空気の質、近接性、位置、接続性など、これらに限定されない 1 つ以上の種類のパラメータを感知するように構成できる」ということです。
Apple は、Apple Watch などのデバイスが自分の位置や近くにあるものをどのように判断するかについて説明しています。
「例えば、音源がテレビが設置されている部屋にあると判断された場合、テレビは振動波形に含まれた人の声、または特定の人の声を識別した後、電子ディスプレイを低電力または無電力状態から動作電力状態に移行させることができる」と特許出願には記されている。
つまり、リビングルームに入って、Watchにテレビをつけるように指示すればいいのです。Watchに従来のマイクがなくても、音声コマンドは認識されます。
また、ユーザーを特定することもできます。ユーザーがテレビの使用を許可されていること、そしてどのテレビが近くにあるかを把握することで、デバイスはそのテレビの電源をオンにすることができます。
Appleの提案は、ユーザーのリクエストを検知する複数の方法を組み合わせること、さらには振動が人から発信されている確率を計算することです。ウェアラブルデバイスであれ、Apple TVのような固定型デバイスであれ、こうしたデバイスは「振動波形の発生源から人である可能性が高い」と判断することになります。
これは「振動波形に含まれる情報に基づいて」行われ、これには「音源の特定された方向や距離」が含まれます。また、この情報には「人が所定の視聴場所または聴取場所へ移動していることを示唆する足音」など、位置の変化も含まれます。
Appleはこのデバイスについて「3次元の入力空間を定義する筐体」を備えており、周囲の状況を効果的にマッピングすることを示唆している。これは、初代HomePodが最初にセットアップした際に行う動作と似ている。
これはAppleとカーネギーメロン大学の「Listen Learner」研究と似ています。この論文では、Siriが部屋の中をマッピングする「アクティビティ認識」が提案されています。
同様のテーマで新たに公開された2つの特許のうち最初の特許は、アフメット・ファティ・チハン氏、マーク・T・ウィンクラー氏、メフメット・ムトゥル氏の3人の発明者によるものとされています。最後の2人は、複数のデバイスが互いの位置を検出する技術に関する特許出願で既に発明者として記載されていました。
Mehmet Mutlu 氏は、別個の関連出願「自己混合干渉法を使用して筐体内の動きを決定する入力デバイス」においても功績が認められた 3 人の発明者の 1 人です。
特許の詳細。タッチセンサーなしで指が検出されている様子を（左）正面図、（右）上面図で示している。
新しい仮想キーボードを作成する
最初の特許出願は、自己混合干渉計センサーを用いてデバイス周辺で何が起こっているかを検出する方法に関するものです。一方、この2番目の出願は、デバイス内、つまり特定の「3次元入力空間」内で何が起こっているかを検出することに焦点を置いています。
Appleは、「入力デバイスはそれぞれ異なるアプリケーションに適しています」と述べています。「多くの入力デバイスでは、タッチスクリーンなど、入力を受け付けるように設定された表面をユーザーがタッチする必要があります。しかし、そのような入力デバイスは、ユーザーが別の表面をタッチするアプリケーションには適さない場合があります。」
一般的な仮想キーボードは、ユーザーにキーの画像を提示し、実際の押下はタッチセンサーで検出します。SMIでは、代わりに指などの「身体の一部の動き」を検出できます。
「いくつかの例では、身体部分の変位または身体部分の速度と身体部分までの絶対距離を自己混合干渉信号を使用して決定し、入力を決定するために使用できます」と Apple 氏は続けます。
SMIをこのように使用すれば、デバイスにタッチセンサー付きディスプレイを搭載する必要がなくなります。そのため、デバイスを薄型化したり、入力用途にたまにしか使用しないデバイスにしたりすることも可能です。
