AppleがVRまたはARヘッドセットの開発に取り組んでいるのであれば、既に市場で使用されている様々な技術やコンセプト、そしてそれらがもたらすメリットや落とし穴についても当然認識しているはずです。AppleInsiderは、これら2つの技術の現状と、Appleが独自のヘッドセット設計を開発する際に考慮すべき点について概説しています。
編集者注: Apple のスマート グラスが 2020 年に出荷される予定であるという最近のニュースを考えると、企業が優れた AR または VR ヘッドセットやスマート グラスを作るために何が必要かを改めて検討することが、これまで以上に重要になっています。
比較的小規模で歴史の浅い業界であるにもかかわらず、VR（仮想現実）およびAR（拡張現実）ベースのデバイス市場には、既に多様なデザインが揃っています。価格が変動するにつれて、ハードウェアや機能も変化し、一般的に高価なヘッドセットほど高品質な体験を提供します。
アナリストによる噂や憶測によると、Appleは今後数年以内にVRまたはAR市場に参入する可能性があるとのことですが、いくつかの特許出願を除けば、iPhoneメーカーであるAppleの伝説的なハードウェアに何が期待できるのかは不明です。複数の市場でプレミアムデバイスを製造しているAppleにとって、市場でより高品質で人気のあるヘッドセットを見れば、Apple版がどのようなものになるか、ある程度の予測がつくかもしれません。
ヘッドセットを作成するにあたり、Apple は、それぞれに長所と短所がある多種多様なコンポーネントと使用コンセプトをまとめるという課題に直面しています。
画面
AR/VRヘッドセットにおいて最も重要な要素の一つと言えるスクリーンは、ユーザーが数分から数時間にわたって見続けるものです。高品質なディスプレイは不可欠な要素であり、通常は高解像度のディスプレイが求められます。これにより、ユーザーが個々のピクセルに気づき、VR効果を損なう可能性を最小限に抑えることができます。
リフレッシュレートも十分に高く、ユーザーがフレーム間の飛び越しを感じることなく画面を更新できる必要があります。高速なリフレッシュレートと、ユーザーの動きと画面上の変化との間の遅延を最小限に抑えることも不可欠です。これは、錯覚を損なわないだけでなく、一部の人にとって乗り物酔いの可能性を最小限に抑えるためでもあります。
初期のヘッドセットの中には、リフレッシュレートに関して、左右の目にそれぞれ個別の画像を表示するために2つの独立したスクリーンを採用していたものもありましたが、これはコストのかかるコンセプトでした。Oculus Riftのような現代のVRヘッドセットは、代わりに1つの大きなスクリーンと左右の目にレンズを搭載し、実質的に画面を半分に分割しています。
高解像度の小型スクリーンを2つ搭載するよりも、シングルディスプレイ方式の方がコスト削減につながりますが、技術の進歩により、Magic Leap One Lightwear ARヘッドセットのように、デュアルスクリーンヘッドセットが再び実用化されるようになりました。デュアルスクリーン方式では、1つの大型ディスプレイパネルの長時間処理ではなく、2つの小型スクリーンを同時に更新するため、リフレッシュレートも向上する可能性があります。
シングルパネル方式は、多くの人が既に持っている高解像度ディスプレイ、つまりスマートフォンを利用した安価なヘッドセットの開発にもつながりました。Google Cardboard、Samsung Gear VRなど、数多くの製品がこのコンセプトを採用しており、Appleでさえも特許出願でこのコンセプトに着目し、ユーザーの目の前にiPhoneを挿入できるスペースを備えたメガネを公開しています。
現在ではそれほど問題にはならなくなりましたが、以前の最新ヘッドセットでは顕著な問題であった他の 2 つのディスプレイの落とし穴についても触れておく価値があります。
「スクリーンドア」効果は、ディスプレイの製造工程でピクセル間隔がわずかに離れすぎたために発生する問題で、点灯しているピクセル間の非点灯領域によって暗い格子模様が形成されていました。これらの画面は他のデバイスでの使用には問題ないように見えましたが、VRヘッドセットは近距離での使用を想定しているため、画面の隙間が目立ちやすく、まるで網戸の網目を通して見ているかのような印象を与えていました。
「スクリーンドア効果」のグリッドを示すモニターのクローズアップショット
ムラとは、ピクセルの色精度に問題が生じる現象です。隣接するピクセルが同じ色を表示していても、色合いが異なっていたり、同じ色合いであってもわずかに異なる明るさで表示されていたりすることがあります。特に同じ色の大きなブロックが表示されている場合、網戸のような見た目になることがあります。
「ムラ」の例。ディスプレイの一部のピクセルはすべて同じ色を表示するように設定されていますが、製造方法により色が異なります。
一般的に、これら 2 つの問題は VR ヘッドセット製造元の最新リリースでは解決されていますが、古い安価な設計では依然としてこれらの影響が残ります。
ARディスプレイの課題
VRハードウェアとARハードウェアの主な違いは、ユーザーに視覚画像を提供する方法にあります。センサーなどの部分はVRとほぼ同じですが、AR画像の表示方法が異なるため、VR版とは全く異なるヘッドセットが必要になる場合があります。
ARシーンを効果的に表示する一つの方法は、VRヘッドセットに搭載カメラからのライブビデオフィードを組み込むことです。ビデオはホストコンピュータに送信され、ホストコンピュータはAR要素に重ね合わせ、合成画像をヘッドセットに送り返して表示します。
このシステムはシンプルで、現実世界にデジタルアイテムを置いたかのような最適な効果を実現できますが、2つの欠点があります。まず、VRヘッドセット全般に共通する問題として、吐き気を引き起こす可能性のある遅延、動きや範囲の制限などがあります。
ユーザーは、現実世界の視界にデジタル要素が加わり、画面に邪魔されないライブビューを期待しています。人々は、テレビ番組や映画でスマートグラスが使われるのと同じように、つまりGoogle Glassのさらに優れたものを思い描いています。
それは望ましいことですが、拡張現実（AR）画像を提供できるようなシステムは今のところ存在しません。Microsoft HoloLensのようなARヘッドセットは存在し、購入することも可能ですが、映画の魔法が実現できるよりもはるかに大きくかさばります。
複合現実（MR）技術のHoloLensは、ユーザーが外界を覗き込むための透明なパネルを備えています。そのパネルの下には、HoloLensが環境とユーザーの動きをマッピングするために必要なすべてのセンサーと計算能力を備えた大型ヘッドバンドが取り付けられています。そして、投影システムがこれらのパネルに画像を重ね合わせ、外界の景色を映し出します。
ユーザーの目の位置は一定ではないため、ARヘッドセットは通常、視線追跡システムを用いてユーザーの目の位置を把握する必要があります。実装によっては、目に光を照射し、網膜で反射する光をモニタリングすることもあります。
目がどこにあり、ユーザーがどこを見ているかを把握することで、仮想オブジェクトを実際の現実世界のビューとより正確に一致させることができます。
センサーとモーション
ヘッドセットが効果的に機能するには、周囲の世界に関する情報が必要です。ユーザーが見ているシーンを正確に再現するために、ホストコンピューティングデバイスは、現在の画像と次の画像の両方における動きに関するデータを必要とします。
基本的なレベルでは、ジャイロスコープや加速度計などのモーションセンサーを用いて、頭部の動きを6自由度で分析します。加速度計は頭部が様々な方向にどれだけ動いているかを検出するのに役立ち、ジャイロスコープはヘッドセットの傾きを測定するために使用されます。
ヘッドセットの操作に必要な設定によっては、外部にカメラやその他の画像センサーを設置する必要がある場合もあります。これにより、HTC ViveのChaperoneシステムで実証されているように、一部のアプリではヘッドセットを外すことなく周囲の現実世界を見ることができるなど、ヘッドセットにいくつかの利点がもたらされます。
拡張現実（AR）においては、これらのカメラは現実世界の映像を提供し、仮想オブジェクトの背景として使用したり、オブジェクトの配置場所を計算するために使用したりできます。前面に複数のカメラを配置すれば、立体的な世界映像が得られ、AR効果が向上します。
一部のVRヘッドセット、特にルームスケール版では、空間内の相対位置に関する詳細なデータを提供するために、戦略的な位置にエミッターを配置できます。例えば、SteamVRが採用している「ライトハウス」方式では、空間の反対側の角に少なくとも2つのステーションを配置する必要があります。これらのステーションは通常、部屋のどこからでも遮られることなく視認できるよう高い位置に設置され、ヘッドセットに搭載された画像センサーによって受信されます。
ディスプレイと同様に、センサーもデータの取得とホストへの送信の両方において、正確かつ高速に動作する必要があります。データの生成と送信における遅延は、ユーザーの動きに反応するVRシーン全体の遅延を増加させます。既に説明したように、遅延が大きすぎるとVRの臨場感が損なわれたり、乗り物酔いを引き起こしたりする可能性があります。ここでは、遅延を最小限に抑えることが必須です。
Gear VR、Cardboard、その他スマートフォンをベースにしたデバイスの場合、VRやARには既存のオンボードセンサーが使用されています。コンポーネント間のデータ転送による遅延は最小限に抑えられており、応答速度が遅くなる原因は処理能力のみとなります。
半透明スクリーンを使用するARでは、外部カメラはユーザーに適切な視界を提供するというよりも、計算処理のために不可欠となります。コンピューターは、オブジェクトを配置できる平面や空中の空間など、周囲の環境を把握し、デジタルアイテムを固定するための基準点を見つける必要があります。
視線追跡用のセンサーは、透明または半透明のディスプレイの配置を決定するだけでなく、ユーザーが何に焦点を当てているかに応じてデジタルオブジェクトに被写界深度やその他の効果を適用するなど、ARにも非常に役立ちます。
規模
一般的に、VR 対応ヘッドセットを制作する際には、考慮する必要がある VR スケールのレベルが 2 つあります。
一つ目はルームスケール方式で、環境内のビーコンを利用してヘッドセットの位置を認識するものです。家庭用では、前述の「ライトハウス」方式が一般的で、空間の反対側の角に2つのビーコンを設置します。これにより、部屋の限られた範囲内ではあるものの、ユーザーは十分な移動範囲を確保できます。
家庭ユーザーの場合、VRヘッドセットからホストコンピューターまでの映像、音声、データ転送ケーブルの長さによって動作範囲が制限されます。メーカー各社がヘッドセットとホストコンピューター間の映像とデータをワイヤレスで伝送する方法の開発に取り組んでいるため、将来的にはこの問題は軽減される可能性があります。
このコンセプトは、エンターテイメント施設などのより広い空間にも拡張可能です。例えば、Zero Latencyのシステムでは、広い空間の壁や天井にビーコンが設置されています。このシステムでは、複数のユーザーがバックパックにコンピューターとヘッドセットを収納し、ケーブルを使わずに環境内を移動することができます。
Zero Latencyの大規模VRシステム
VRは、Google Cardboard、Samsung Gear VR、Oculus Goなど、より小規模なデバイスでも動作します。これらは、可能な限り小さなスペースで使用できるように設計されています。これらのデバイスは、周囲の環境を分析する必要がなく、動きの測定のみに頼っているため、椅子に座ったままでも簡単に使用できますが、部屋の中を歩き回れる機能はありません。
ARヘッドセットは外部センサーを必要とせず、外界のモニタリングに大きく依存しているため、あらゆる場所で使用可能です。HoloLensのようなハードウェアの場合、ユーザーの視界がディスプレイによって遮られないため、広大な環境を歩き回ることも可能です。
共同作業の可能性は、VRとARの両方において、グループセッションの実施方法において規模が大きな役割を果たすことを意味します。参加者が増えるため物理的なスペースが必要になるだけでなく、ヘッドセット同士の位置関係を考慮しなければならないという問題も生じます。
テザード型のライトハウスベースのシステムでは、各ヘッドセットが空間における位置を特定し、それをホストに提供する必要があります。ホストは、そのデータを他のユーザーのホストコンピューターと共有すると同時に、他のユーザーの最新情報を取得します。これは非常に重要なデータです。そうでなければ、ユーザーは他のユーザーの位置を把握できず、物理的に接触してしまう可能性があります。
HoloLensのようなARでは、現実世界の映像が常に利用可能であるため、視覚的な安全性の問題がないため、このデータはそれほど緊急性がありません。しかし、例えばアプリ内で仮想オブジェクトとインタラクションするためには、依然としてデータを共有する必要があります。センサーから取得されたローカル環境に関するデータは、アプリケーションによっては他の参加者と共有できる可能性がありますが、最終的には他の参加者と共有する必要のあるデータはごくわずかです。
オーディオ
多くのVR/ARアプリケーションでは、ユーザーが音を聞き取れることが求められます。内蔵ヘッドフォンやスピーカーの使用、あるいはサードパーティ製のヘッドフォンをヘッドセットに接続できる手段を設けるなど、様々な方法で音を聞き取れるようにすることは可能ですが、それでも考慮すべき点がいくつかあります。
ユーザーの耳を密閉することで、周囲の雑音を最小限に抑え、ゲームなどのVR世界に没入感を高めることができます。また、左右の耳に複数のスピーカーを搭載したサラウンドサウンドヘッドホンを使用するという選択肢もありますが、これは標準的なステレオヘッドホンを使えばソフトウェアで簡単にシミュレートできます。
同時に、作業における協働の観点と安全性の観点から、ユーザーが周囲の音を聞き取れるシステムを選択することが望ましいでしょう。様々な場所で使用される可能性のあるARヘッドセットの場合、周囲の音を聞き取ることはおそらく不可欠であり、短時間の使用であれば、デバイスから完全に取り外す価値があると言えるでしょう。
さまざまな状況を考慮すると、ヘッドセットの製造元は、基本的なデバイス内オーディオ ソリューションを使用しながらも、必要に応じてユーザーが独自のオーディオを接続できるようにするという方向に傾く可能性が高くなります。
快適
技術的な問題ではありませんが、ヘッドセットを長時間装着できるかどうかは、購入を決定する上で重要な要素となる場合があります。
最初の疑問は、ヘッドセットが装着型か保持型かということです。Oculus Riftのようなヘッドセットは頭に装着して使用するように設計されているため、両手を他の周辺機器やアクセサリに自由に使えるようになります。しかし、ヘッドセットが重すぎると、ユーザーの顔の一部を圧迫したり、首に負担をかけたりする可能性があります。
ハンドヘルド版はグループや短時間の使用に適しており、休暇中に街中でARアプリケーションを体験するのに最適です。しかし同時に、これらのシステムは使用中にユーザーの片手または両手を拘束するため、仮想環境でのユーザーの操作が制限されます。
重量に関するもう一つの懸念は、ホストコンピュータの配置場所です。ハンドヘルドVR/ARの場合、ホストコンピュータはGoogle CardboardやSamsung Gear VRのようにヘッドセット本体にスマートフォンを差し込む場合もあれば、Magic Leap Creator Oneのような腰に装着するユニットに接続する場合もあります。
ヘッドセットを長いケーブルでホストに接続するという選択肢もあります。これは現在HTC ViveやOculus Riftで採用されているシステムで、処理を近くのコンピューターにオフロードします。この方法ではヘッドセットに直接余分な重量が加わることは避けられますが、同時に、装着中にケーブルがヘッドセットを引っ張ったり、使用中に足元で邪魔になったりする可能性があります。
ユーザビリティ
理想的な世界では、VRやARヘッドセットは、使い始めるのにそれほど手間や準備はかかりません。現状では、まだその段階には達していませんが、着実に近づいています。
ルームスケールの VR セットアップから始めると、ヘッドセットをケーブルでホストに接続したり、「灯台」を配置したり、機器をセットアップしたりする必要があり、あまり熱心でないユーザーにとっては敬遠される可能性があります。
スマートフォンベースのハンドヘルドヘッドセットやビューアーは、スマートフォンを装着してアプリを起動するだけで簡単に操作できるため、より簡単です。さらに簡単なのはOculus Goです。Oculus Goは自己完結型で、ホストを必要とせず、Lighthouseなどの設定が必要な外部要素も使用せず、シンプルなコントローラーが付属しています。
もちろん、ハードウェアのセットアップはほんの一部に過ぎません。ソフトウェア側のセットアップは全く別の問題であり、さらにアプリケーション自体も重要です。
VR/ARヘッドセットの種類によって複雑さが異なり、アプリ開発者がハードウェアを使用するために満たすべき要件も異なります。同時に、ユーザーが仮想空間やデジタルARアイテムとどのようにインタラクションするか、またその可動範囲など、利用可能なリソースに応じてアプリのユーザーエクスペリエンスをカスタマイズする必要もあります。
現在使用されているハードウェアとソフトウェアの多様性を考えると、ハードウェア側から見てもソフトウェア側から見ても、VR や AR を始めるための単一の方法は存在しません。
しかし、Apple はどこに参入するのでしょうか?
とはいえ、より安価で質の高い体験が得られるのに、すべてのユーザーがデバイスに大金を投じたいとは思わないだろう。VR愛好家はルームスケールのセットアップと、デジタル空間で事実上あらゆることを行える機材を求めるだろうが、VRの真髄を知りたい叔父や叔母なら、iPhoneをGoogle Cardboardに10分間押し込めば満足するかもしれない。
他にも考慮すべき点があります。例えば、自宅にルームスケールVRを設置するスペースがないなどです。このような場合は、Oculus Goのような製品の方が適しているかもしれません。
ヘッドセットベースのARは利用可能ですが、VRほど成熟した技術ではありません。Appleとサードパーティは、ARKitの導入以来、ARをアプリの人気機能にするための大きな進歩を遂げてきましたが、MicrosoftのHoloLensとその関連製品を除けば、ハードウェアは商業的に広く実現可能な範囲ではARに遠く及びません。
AppleはVRまたはARヘッドセットの開発に取り組んでいるのだろうか？特許申請やAppleの安全性レポートから、関連技術が研究されていることは示唆されているので、その可能性は高い。しかし、これはハードウェアの発売が近いことを示唆するものではない。
Appleはどのような道を辿るのでしょうか？Appleは大衆向け製品を開発する企業であるため、現在のように別ホストを備えたルームスケールシステムはおそらく考えられません。Oculus Goに近い、より使いやすいヘッドセットが登場する可能性が高いでしょう。そうすれば、参入障壁は技術的な知識ではなく、金銭的な取引へと下がるでしょう。
Appleは、デバイスのソフトウェア、ファームウェア、そして製造パイプライン全体にわたる広範な統合知識とコントロールという強みも有しています。こうしたコントロールのおかげで、一部の分野では競合他社よりもベースラインスペックが名目上低いにもかかわらず、高性能なiPhoneを製造できるAppleの能力は、スタンドアロンのVR/ARヘッドセットが比類のないレベルで設計されることを意味します。
2017年10月、AppleのCEOティム・クック氏は、ARは重要だがまだ発展途上の技術であり、「指数関数的な」成長が見込まれると述べたものの、Appleが取り組んでいる具体的な内容については言及を避けた。インタビューの中で、クック氏は「ARを高品質な形で実現できる技術自体がまだ存在していないと断言できます。必要なディスプレイ技術に加え、顔の周りに十分なものを取り付けることも大きな課題です」と述べている。
クック氏はまた、Appleは市場初登場ではなく、最高を目指し、顧客に素晴らしい体験を提供したいと考えていると述べた。「しかし、近い将来に市場に出るものは、誰一人として満足できるものではないでしょう」とクック氏は示唆した。「大多数の人々も満足しないと思います。」
Appleはこれまでユーザーエクスペリエンスを重視してきたため、消費者がApple製のARヘッドセットを実際に試用できるようになるまでには長い時間がかかる可能性がある。Loup VenturesのアナリストでAppleの動向を注視するジーン・マンスター氏の最新の予測では、そのようなハードウェアは2021年までに登場する可能性を示唆している。
その間、Apple 主導の AR 体験をしたい人は、iPhone または iPad で ARKit を実行するアプリで我慢するしかありません。
