AppleのEye Tracking技術は、iPhoneやiPadユーザーにデバイスを操作する新たな方法を提供します。iOS 18で初めて搭載されたこの機能は、一部のユーザーにとってどれほど強力であるかを示しています。
5月に、AppleはiOS 18とiPadOS 18に搭載されるアクセシビリティ機能の一部を発表し、その1つとして視線追跡機能を含めました。
Apple Vision Proの主要な機能の一つは、アイトラッキングです。ユーザーが何を見ているかをトラッキングすることで、指でつまんで確認しながら画面上の要素を選択・操作できるようになります。
iOS 18 のバージョンは同じコンセプトですが、画面がはるかに小さくなります。
このアイトラッキングは、身体に障がいのあるユーザーを支援することを目的としています。具体的には、タッチスクリーンディスプレイの操作が困難な場合や、iOSやiPadOSを指で操作できない場合に、このソリューションが役立ちます。
簡単に言えば、アイトラッキングは、ユーザーの目が画面上のどこを見ているのかを判断できます。
追加の機器は必要ありません。必要なのは、iPhoneまたはiPadの前面カメラとデバイス内機械学習だけです。
セットアップとキャリブレーション
視線追跡の設定は約1分で完了します。設定アプリの「アクセシビリティ」から「身体とモーター」グループを選択し、「視線追跡」を選択して、視線追跡のオン/オフを切り替えることでアクセスできます。
有効にすると、ポップアップ通知が表示され、ユーザーにドットを目で追うように指示します。その後、ドットは画面上を移動し、重要なポイントで停止して、ユーザーにその位置を注視させます。
画面上の移動が完了すると、ユーザーは設定メニューに戻ります。
最初に目にする変化は、画面上で視線の位置に浮かぶ黒い点です。これはユーザーにとって指の代わりにポインターとして機能します。
ドウェルコントロールとカスタマイズコントロール
Eye Tracking を有効にすると、Dwell Control と呼ばれる設定もオンになります。
ユーザーは画面上のさまざまな部分を見ることでカーソルを強制的に動かすことができますが、視線だけで項目を選択するのは容易ではありません。Dwell Controlは、ユーザーが数秒間視線を動かさずに画面上の項目を選択する際に、自動的にカーソルを動かします。
Dwell Control は完全に無効にすることも、Assistive Touch 設定を使用してカスタマイズすることもできます。
さらにユーザーを支援するために、スムージングを調整できます。これにより、ユーザーの目の動きに対するポインターの反応度が調整され、感度を増減できます。
ユーザーにとっては、視線が一瞬別の点に飛んでもカーソルがそれほど動かないことを意味します。また、画面上で選択したいものに集中しやすくなります。
iPadOS 18では、アイテムにスナップするとUI要素が自動的に選択される
「アイテムにスナップ」オプションもあります。名前の通り、ポインターは最も近い選択可能なユーザーインターフェースセクションに引き寄せられる傾向があります。
これにより、選択に必要な精度が低減されるため、ユーザーはメニューからの選択を非常に迅速に行うことができます。
選択可能なドットを展開すると、Dwell Controlの調整、通知センターへのアクセス、コントロールセンターなど、他の機能も表示されます。これは、通常よりも複雑な操作体系で、iOS 18の主要な機能に簡単にアクセスできる追加機能です。
難しいけど便利
ベータ版はまだ初期段階なので、機能の精度は完璧ではありませんが、ディスプレイ上で私が見ている場所にほぼ正確にカーソルを合わせてくれます。時々カーソルがオーバーシュートして、視線が着地した場所よりも遠くに行ってしまうこともありますが、意図的に視線を変えて修正するのはそれほど難しくありません。
iPhoneに対する頭の位置も重要です。調整された位置から頭が少しでも動くと、iPhoneがあなたの視線をどのように認識するかが変わってしまうからです。同様に、iPhoneを握った状態で動かすと、同じ問題が発生する可能性があります。
理想的には、キャリブレーションを行う際は、ディスプレイから約40～60cm離れた場所に設置してください。iPhoneはスタンドに立てて、動かさないようにしてください。
このコンセプトは、運動機能に問題のあるユーザーにとって、確かに大きな可能性を秘めています。普段iPhoneを指で操作する他のほとんどの人にとっては、それほど便利ではありませんが、それでも興味深いアイデアです。
