競合他社が昨年 iPhone の一部として導入されたマルチタッチ技術に追いつこうと苦戦する中、Apple はすでに、さまざまな二次入力を現在のタッチベースのジェスチャーと融合してより効率的なデータ入力操作を実現する新しいバージョンの技術を構想している。
2 人のエンジニアは、今日のマルチタッチ入力デバイスによって生成される指先のコードと動きのデータは強力なユーザー制御を提供できる一方で、他の感知方式からの追加情報を融合することでデバイスの解釈能力が大幅に強化され、全体的な使いやすさが大幅に向上すると指摘しています。
出願書類に概説されている（以下に詳述されている）二次入力手段には、音声融合、指識別融合、視線ベクトル融合、生体認証融合、および顔表情融合があります。
音声融合
Voice Fusion の場合、音声では対応しきれないタスクを手動入力で処理しながら、手動入力では対応しきれないマルチタッチ デバイス上のアクションに音声入力を適用することが提案されています。
例えば、出願では、機械図面の修正にサイズ変更、回転、色の変更が必要となるシナリオが提示されています。図面内のオブジェクトのサイズ変更や回転を音声コマンドで行うことには、意図したサイズや回転を口頭で説明するのが困難であるため、問題が生じます。したがって、これらの操作は、手動のマルチタッチジェスチャによる操作が最適です。
一方、「マルチタッチで色を選択する場合、リストを辿って色を選択する必要があるため、音声入力よりも効率が悪くなる傾向があります」とウェスターマン氏は説明した。「代替的に、あるいは追加的に、音声入力を使ってオブジェクトにテキストを挿入することも可能です。」
指識別融合
今日のマルチタッチタッチセンサーは人間の指の存在を効率的に検出しますが、どの指が接触しているかについては曖昧です。この制限は既存のアプリケーションでは問題になりませんが、正確な指の識別が不可欠な場合もあります。
「指に色、ストローク、その他の特性が割り当てられるフィンガーペイントは、マルチタッチデータフュージョンによる指識別を用いることで、最先端の技術と比べて大幅に強化されるアプリケーションのシンプルな例です」とウェスターマン氏は記している。「例えば、左手の人差し指に赤色が割り当てられ、他の指には異なる色が割り当てられている場合、アプリケーションは赤色を塗るためには、左手の人差し指が表面に接触しているかどうかを判断できなければなりません。逆に、赤色に割り当てられた指が表面に接触していないかどうかも判断できなければなりません。指識別データとマルチタッチ動作データをフュージョンすることで、アプリケーションはエラーなく動作します。」
個々の指の識別を容易にするために、エンジニアはAppleの内蔵iSightのようなデジタルビデオカメラを用いて、マルチタッチ面を映像として捉えることを提案しています。カメラのデータは、各手の指がマルチタッチXY座標に対してどの位置にあるかを特定し、マルチタッチセンサーは指がマルチタッチ面に接触したタイミングを特定します。
視線ベクトル融合
同様に、iSight カメラは視線ベクトル データを記録するためにも使用できます。視線ベクトル データでは、コンピュータ画面での操作が、ユーザーの視線の方向や頭の位置によって部分的に決定されます。
たとえば、現在他の 2 つのウィンドウの下にある画面の左下隅のウィンドウを前面に表示したい場合、ユーザーは対象のウィンドウに視線を向け、マルチタッチ サーフェス上の特定のコード部分をタップします。
生体認証融合
申請書には、生体認証入力、つまり手の大きさ、指紋入力、体温、心拍数、皮膚インピーダンス、瞳孔の大きさによって決定される入力の使用も示唆されている。
「生体認証データとマルチタッチ動作データの融合から恩恵を受ける可能性のある典型的なアプリケーションとしては、ゲーム、セキュリティ、フィットネス関連活動などが挙げられます」とウェスターマン氏は記している。「手の大きさ、形状、全体的な形態といった特徴は、コンピュータシステムを含むセキュリティ保護されたエリアへのアクセスを許可するために個人を識別するために使用できます。手の特徴だけでは十分なレベルの本人確認には至りませんが、他のセキュリティ対策を適用する前にユーザーが通過しなければならない最初の扉となる可能性があります。」
表情融合
ウェスターマン氏の申請で概説されている二次入力の最終手段は、実現まではまだ何年もかかると思われるが、やはり iSight のようなデジタルビデオカメラを使用し、ユーザーの表情やイライラの兆候に基づいて操作を決定することになるだろう。
例えば、彼は、初心者ユーザーが電子機器の使い方を習得する際に、時折フラストレーションを感じることがあると指摘しています。「例えば、ユーザーが2本指の垂直方向の動き（ジェスチャー）を使って文書をスクロールしようとしているとします。しかし、スクロールがうまくいきません。なぜなら、ユーザーは無意識のうちに、本来2本指で操作すべきところを3本指で画面に触れているからです」と彼は書いています。「ユーザーはデバイスの『不具合』に苛立ちを感じます。しかし、この場合、システムはユーザーのフラストレーションを認識し、マルチタッチの動きのデータを分析することで、ユーザーが3本指でスクロールしようとしていると判断します。この時点で、デバイスはユーザーに余分な指の問題を指摘するか、余分な指を無視してスクロールを開始するかを選択できます。その後、顔認識によって得られる感情データによって、適切な是正措置が講じられたことがシステムに確認されます。」
ウェスターマン氏とエリアス氏による訴訟の日付は 2007 年 12 月 27 日です。
