AppleはVRとAR向けの指先と顔のマッピングツールを開発中

AppleはVRとAR向けの指先と顔のマッピングツールを開発中

Apple の新しい 2 つの特許では、ユーザーが VR オブジェクトに触れたり操作したりする方法を改善する方法と、ヘッドセットをより簡単に調整してフィットさせる方法について説明されています。

Appleは、ユーザーにとってより優れた仮想現実(VR)および拡張現実(AR)体験を提供するための方法を継続的に研究しています。2つの新たな特許は、VR/AR技術の装着をより簡便で便利なものにすることを目指しています。

2 つのうちの最初の「指デバイスを備えたコンピュータ システム」は、ユーザーが仮想空間内のアイテムをより簡単に操作できるようにすることを目的としています。

「仮想現実システムでは、フォースフィードバックグローブを用いて仮想物体を操作することができます」と報告書は述べています。「携帯電話には、タッチスクリーンディスプレイやバイブレーターが搭載されており、タッチ入力に反応して触覚フィードバックを生成するために使用されています。このようなデバイスは、ユーザーにとって使い勝手が悪く、扱いにくく、不快感を与えたり、フィードバックが不十分な場合があります。」

装着しにくい大きな手袋や、最小限のフィードバックしか提供できない触覚フィードバックディスプレイの代わりに、Apple は指に装着できるスリムなセンサーを提案しています。

「タッチセンサーは、フィンガーデバイスのハウジング内に搭載され、ハウジングの外面に沿って移動する外部物体からの入力を収集することができる」と説明は続く。「外部物体とは、例えば、フィンガーデバイス内に収容された指以外の指先などである。」

「ユーザーからの指入力は、仮想オブジェクトの操作に利用される可能性があります」と記載されています。「例えば、可動式のコントロールに対応する仮想オブジェクトは、指入力デバイスを用いて収集された指入力に基づいてユーザーが動かしたり、表示されたメニューオプションを選択したりすることができます。場合によっては、コンピューター生成コンテンツがオブジェクトの一部または全部に重ねて表示された状態で、ユーザーが現実世界のオブジェクトとインタラクションを行うこともできます。」

指に装着するセンサーデバイスの例

指に装着するセンサーデバイスの例

この指デバイスの特許に記載されている20名の発明者のうち、Chang Zhang氏とTianjia Sun氏は最近、「Cross Device Interactions」にも名前が挙がっています。同様に、Paul X. Wang氏は「Finger-Mounted Device with Fabric」の発明者としてクレジットされており、Nicolai Georg氏は「Techniques for Locating Virtual Objects Relative to Real Physical Objects」の発明者です。

仮想物体の位置特定と操作には、物体を視認できることが不可欠であり、Appleの別の特許は、ARとVRにおける最大の障害の一つに対処しようとしている。かさばるヘッドセットは最終的にはメガネ型に置き換えられるかもしれないが、今のところは必須だ。ヘッドセットは高価なため、できるだけ多くの人にフィットするように作られており、その扱いにくさから、個々のユーザーに合わせて調整するのが難しいのだ。

「ヘッドマウントデバイスがユーザーの頭にしっかりとフィットすることを確認するのは困難な場合があります」とAppleは「顔マッピング機能付き調整可能電子デバイスシステム」の中で述べています。「注意を払わないと、ヘッドマウントデバイスは適切にフィットせず、使い心地が悪くなります。」

Appleは、このようなヘッドセットではFace IDと同様のセンサーを使用してユーザーの顔をスキャンできると提案している。

「ヘッドマウントデバイス、またはヘッドマウントデバイスと通信する外部機器には、3次元画像センサーが搭載される場合があります」と説明されています。「3次元画像センサーは、ユーザーの顔の3次元画像を撮影する場合があります。」

「制御回路は3次元画像を分析して、カスタマイズされた顔フィットモジュールの複数のバージョンのうちどれをヘッドマウントデバイスで使用するかを判断し、ユーザーの頭へのヘッドマウントデバイスのフィットを最適化します」と続きます。

ただし、ヘッドセットは装着時に人の顔に合わせて自動的に調整されるわけではありません。代わりに、最初のスキャンで別の外部スクリーンに情報が表示され、ユーザーまたはサポートスタッフが最適な「カスタマイズされた顔フィットモジュール」を選択できるようになります。

「[モジュール]は、ユーザーの顔の3次元画像におけるユーザーの顔の特徴、例えば顔の大きさや額、鼻、頬の形などに基づいて選択される可能性がある」と特許には記されている。

固定要素と、フィット感を高めるために調整可能または交換可能な要素を備えたヘッドセットの詳細

固定要素と、フィット感を高めるために調整可能または交換可能な要素を備えたヘッドセットの詳細

ヘッドセットの本体は同じままですが、この「顔へのフィット」計算に最も合うように変更できる交換可能な要素が含まれます。

「ユーザーが使用するフェイスフィットモジュールのバージョンを特定した後」と、「そのバージョンのフェイスフィットモジュールは、磁石またはその他の結合構造を使用して、ヘッドマウントデバイスのメインユニットの非カスタム部分に結合される場合があります。」と続けます。

Appleは以前、今年ARスマートグラスをリリースすると予測されていた。

同社はこれまでにも、ARユーザーが指に「iRing」を装着するシステムの特許を取得している。