拡張現実 (AR) とは、情報レイヤーを通じて提示される注釈、サウンド、グラフィックスなど、コンピューター生成の感覚入力によって拡張された要素を持つ物理的な現実世界の環境のライブの直接的または間接的なビューを表すために使用される用語です。
米国特許商標庁が木曜日に初めて公開し、AppleInsiderが発見したある書類の中で、Apple は、(AR) システムに対する学術的および商業的な関心が高いにもかかわらず、既存の実装の多くは複雑で高価であり、平均的な消費者による一般的な使用には適していないと指摘している。
Apple は、その申請の一部として、iPad に分割画面ディスプレイを搭載することを提案している。分割画面の片側にはタブレットのカメラからのライブビデオフィードなどのオブジェクトまたは主題を表示し、分割画面のもう片側にはビデオフィード内の要素を識別するコンピューター生成画像を表示することができる。
図示の例では、ユーザーは第 1 の表示領域でサンフランシスコのダウンタウンのスカイラインのライブ ビデオを視聴しており、同時に、キャプチャされたビデオ フレームでオブジェクト認識がリアルタイムで実行され、ライブ ビデオ内の建物や構造物を識別するバルーン コールアウトなどの情報が第 2 の表示領域に表示されます。
iPad 上で動作するソフトウェアは、GPS、WiFi、セル ID などのオンボード測位システムとモーション センサーを利用して、ライブ フィードに関する情報をネットワーク サービスに送信し、ライブ フィード内で認識されたオブジェクトの 3D モデルを返し、ユーザーがリアルタイムで操作できるようにします。
「例えば、ジャイロスコープ、磁力計、その他のモーションセンサーは、基準座標系に対する角変位、角速度、磁気の測定値を提供できます。これらのデータは、内蔵のリアルタイムレンダリングエンジンによってサンフランシスコのダウンタウンの3D画像を生成するために使用できます」とAppleは述べています。「ユーザーがデバイスを物理的に動かし、ビデオカメラの視野が変化すると、センサーデータを使用して情報レイヤーとコンピューター生成画像がそれに応じて更新されます。」
具体的には、同社では、ユーザーが遠くの建物に押しピンでマーカーを設定すると、運転または歩行ルートがリアルタイムで計算され、3Dコンピューター生成画像に重ねて、ユーザーの現在位置からその建物までの道順が示されるという例を示した。
Apple はオプションとして、注釈付きのライブ ビデオ、コンピューター生成画像、および結果として得られる情報レイヤーを共有ボタン経由で 1 つ以上の他のデバイスと共有でき、デバイスの AR ディスプレイを同期してビデオ ビューの変化に対応できるとも付け加えた。
この出願では、iPad (および iPhone) に搭載されている既存の技術を活用した AR 実装を提案しているが、同じ主題に関する同社の 2 番目の出願では、透明部分のある表示領域を備えたディスプレイ画面を備えた iPad を提案しており、これにより、ユーザーはディスプレイ画面を通して電子デバイスの背後にあるオブジェクトを見ることができるという点で、やや野心的である。
「透明部分はディスプレイの表示領域全体を覆うことも、一部だけを覆うことも可能です」と、Appleのエンジニアで「透明電子デバイス」と題された特許出願の唯一の発明者であるアレクサンダル・パンス氏は記している。パンス氏はさらに、さらなる実装として、2つ以上のディスプレイ画面（それぞれに透明部分のある表示領域を持つ）を重ね合わせたり背中合わせにしたりして配置したiPadや、2つのディスプレイ画面のうち1つは部分的に不透明で、ユーザーのマルチタッチ入力によって移動可能な透明なウィンドウを表示するiPadなどが挙げられると付け加えた。
「これらのオーバーレイは、携帯端末であろうと他の電子機器であろうと、現実世界の物体と仮想的に相互作用する『拡張現実』インターフェースを提供する可能性がある」とパンス氏は記している。「例えば、オーバーレイは、絵画などの美術館の展示物を重ねて表示するディスプレイ画面に送信される。オーバーレイには、展示物の鑑賞者にとって有用または興味深い絵画関連情報が含まれる可能性がある。さらに、オーバーレイは、例えばランドマーク、史跡、その他の景勝地の前に設置されたディスプレイにも使用される可能性がある。[…] 例えば、ツアーバスには、利用者用の窓として1つ以上のディスプレイが搭載されている可能性がある。これらのディスプレイには、バスから見える場所に関する情報を伝えるオーバーレイが表示される可能性がある。」
同出願には、ユーザーが単一のディスプレイ画面で画像と現実世界の出来事を同時に表示できるようにする表示ルーチンについても詳細が記載されている。例えば、この表示ルーチンでは、ディスプレイ画面の一部を選択的に透明にし、残りの部分を不透明にすることが可能になる。
「例えば、ディスプレイ画面には、画面のピクセルがデフォルトで『オフ』状態になり、画面を透過する光が抑制されるインプレーンスイッチングLCDスクリーンが含まれる場合があります」とパンス氏は説明した。「これは、『オフ』状態のピクセル（つまり、不透明領域のピクセル）に電圧をゼロにすることで実現できます」。そして、「その後、ディスプレイ画面のピクセルに電圧を印加することで（必要に応じて）光透過を可能にし、ユーザーはディスプレイ画面のアクティブ化されたピクセルを通して現実世界の物体を観察できるようにすることで、不透明領域にウィンドウを生成できます。」
Apple社によると、このような未来的なディスプレイには、デフォルトで光透過可能な「オン」状態のピクセルを持つLCDが搭載される可能性があるという。このLCDをアクティブにすることで、ピクセルの一部または全部を不透明にすることができる。あるいは、選択的にピクセルを非アクティブにしてウィンドウを形成し、ディスプレイ画面で生成された画像、ユーザーがウィンドウを通して見ることができる現実世界の物体、あるいはその両方に情報を出力できるOLEDディスプレイを搭載する可能性もあるという。
