将来の iPad や iPhone は、実際に水中での使用に適応する可能性があり、Face ID カメラを使用して方向を感知する新しい方法により、デバイスに対する顔の角度に応じてディスプレイが回転する可能性があります。
iPhone、iPad、そしてMacでさえ、ユーザーインターフェースは何年も変わっていないように見えるかもしれませんが、実際にはAppleはソフトウェアを継続的に改良しています。また、Appleは水中でも耐えられるハードウェアの開発にも力を入れており、水没してもデバイスが使えるようにするための研究も続けています。
これらの問題は、2つの新しい特許で再考されています。1つは、iOSデバイスを水中で操作したいと真剣に考えたことがある人にとっては気になるでしょう。もう1つは、些細ながらも繰り返し発生する煩わしさを解決する技術です。
「水中ユーザーインターフェース」では、デバイスを水中で使用する場合、水中に潜っている間のコントロールを簡素化する必要があると主張しています。
確かに注目すべき点は、水面まで泳ぐことに集中しているときに、iPhone や iPad を操作するのがいかに簡単かということです。
「電子機器が水中にある間にユーザーインターフェースを表示する現在の方法は時代遅れで、時間がかかり、非効率的です」と特許は訴えている。「例えば、既存の方法の中には、複数のキーの押下やキーストロークを含む複雑で時間のかかるユーザーインターフェースを使用しているものがあり、不要なユーザーインターフェースが含まれている場合もあります。」
Appleはまた、面倒なことは時間もかかると考えている。「さらに、これらの方法は必要以上に時間がかかり、結果としてエネルギーを無駄にしてしまう」とAppleは述べている。「この後者の考慮は、バッテリー駆動のデバイスでは特に重要だ」
将来のデバイスでは、水中でのディスプレイコントロールを変更して簡素化し、水がタッチ検出に与える影響も考慮するようになるかもしれない。
「水中で電子機器に表示されるユーザーインターフェースに効率的にアクセスするための方法とインターフェースを提供する電子機器が求められている」と特許は続ける。「このような技術は、電子機器が水中にある状態でユーザーインターフェースにアクセスするユーザーの認知的負担を軽減し、生産性を向上させることができる。さらに、このような技術は、冗長なユーザー入力に浪費されるプロセッサとバッテリーの電力を削減することができる。」
つまり、命がけで泳いでいるときに「本当によろしいですか？」というダイアログが表示されるのは望ましくないということです。しかし、Appleの特許は単にボタンの数だけを問うものではありません。デバイスが押したことをどのようにして伝えるかという点も問われています。
「[デバイス]は、オプションで1つ以上の触覚出力生成器も備えています」と記載されています。「一部の実施形態では、少なくとも1つの触覚出力生成器がタッチセンシティブ面（例えば、タッチセンシティブ表示システム）と共存または近接しており、オプションで、タッチセンシティブ面を垂直方向（例えば、デバイス面の内外）または横方向（例えば、デバイス面と同一平面内で前後）に動かすことで触覚出力を生成します。」
つまり、デバイスを持って水中にいると、ユーザーインターフェース全体が変化するということです。よりシンプルな操作方法を表示したり、手順を省略したり、デバイスが振動して使用済みを知らせたりすることができます。
詳細な説明は約4万語に及び、この発明は16人以上の発明者によって発明されたとされています。その中には、「電子機器用密閉型電子コネクタ」に関する関連特許にも記載されているリチャード・J・ブランコ氏や、機器が損傷の恐れがあるほどの負荷がかかっていることを検知し、ユーザーに警告する方法に関する特許にも記載されているシュエフェン・ワン氏も含まれています。
顔を使ってデバイスの向きを合わせる
また、「顔検出を使用してユーザー インターフェースの向きを更新する」というアプリケーションでは、ディスプレイを正しい位置に回転させる方法について説明します。
すべてのiPadは、横向きでも縦向きでも、どんな向きでも持てるように画面が自動的に回転します。しかし、iPadユーザーなら誰でも、間違った向きにしてしまった後、再度確認するためにデバイスを物理的に回転させなければならなかった経験があるでしょう。
「コンテンツが表示される方向は、重力に対するデバイスの方向を決定する加速度計やその他慣性センサーを使用して決定されることが多い」とアップルの特許には記されている。
「しかし、これらのセンサーが重力に対するデバイスの向きを正確に、または確実に判断できない状況が頻繁に発生し、デバイスがコンテンツの向きをユーザーにとって適切な向きに変更または更新しなかったり、向きを誤って更新したりします」と続けます。
実際、混乱が生じます。最も一般的な混乱の原因は、iPad がユーザーによって持ち上げられておらず、テーブルの上にある場合です。
特許には、「デバイスが平らな状態（例えば、平らな面に上向きに置かれている状態）では、ユーザーに適切な向きでコンテンツを提供できない可能性がある」と記載されている。「平らな状態の場合、センサーはデバイスの位置を正確に認識しているかもしれないが、ユーザーに対する向きは不明瞭な可能性がある。」
決して大きな問題ではありませんが、煩わしく、Appleは明らかにユーザーから多くの苦情を聞いています。「どちらの状況でも、コンテンツを正しい向きで表示するためにデバイスの向きを変えたり、デバイスを移動させたりする必要があり、ユーザーはイライラする可能性があります」とAppleは述べています。
解決策は、これらのセンサーだけに頼るのではなく、より多くの情報で補完することです。具体的には、私たち自身の情報です。iPad Proには、デバイスのロック解除に使用するFace IDという顔認識機能が搭載されました。
同じ機能、あるいはその一部を使って、デバイスに対して顔がどの方向を向いているかを判断することもできます。つまり、認証のために実際に私たちを認識する必要はなく、デバイスをどの方向から見ているかを判別し、それに合わせて表示内容を調整するだけで済みます。
「顔検出プロセスから取得された[向き]データは、デバイスのディスプレイに表示されるアプリケーションユーザーインターフェース（テキストやコンテンツなど）の向きを決定または更新するために使用されます」と特許には記載されています。
将来のデバイスは、ユーザーの顔の向きを検出し、それを使用してディスプレイの適切な回転を決定することができるようになる。
これは、ユーザーがデバイスを手に取ったりスリープ解除したりするたびに発生する可能性があり、通常のFace IDプロセス中に発生する可能性もあります。また、iPadが他のセンサーの正常性について十分な疑いがある場合、自動的に起動される可能性もあります。
繰り返しになりますが、これは完全なFace ID認識スキャンを必要としませんが、既存の技術をより有効に活用することになります。Appleの特許は、Face IDをデバイスが自身の向きを確認するだけでなく、表示する情報を変更することで、これらすべてがさらに進化することを示唆しています。
Appleは、このようなシステムの実装に関する技術的な詳細に加え、プライバシーの問題についても厳格に検討しています。iPadはロック解除され、認識した顔に応じて自動的に向きを変えるかもしれませんが、それ以上のことはユーザーが決められる必要があります。
「このような個人情報データの使用により、デバイスへのアクセスを巧みに制御することが可能になる」と特許には記されている。「[情報を提供または分析する主体は]、ユーザーのプライバシー保護に関する業界または政府の要件を満たす、あるいはそれを超えると一般的に認識されているプライバシー慣行を実施し、一貫して適用することが期待される。」
この特許は、Kelsey Y. Ho、Eric J. Blumberg、Benjamin Biron、Colin C. Terndrup の発明です。Ho はこれまでに、「ポーズに基づく顔認識操作」や「顔認識の自動再試行」など、複数の関連特許の発明者として記載されています。
