自分の中のボブ・ロスを解き放ってみたいと思ったことがあるなら、Apple Vision Pro ですぐに自分だけの嬉しい偶然を起こせるようになるかもしれません。
先日、同社が AR と VR 向けに Apple Pencil をテストしているという噂を報じましたが、同社は最終的にはスタイラスを完全に廃止することを望んでいるようです。
スタイラスに埋め込まれた発光装置により、AR システムは精密な追跡が可能になります。
Appleが提案する技術は、ユーザーが拡張現実（AR）で絵を描いたりペイントしたりすることを可能にする2つの特許に基づいています。ユーザーは仮想のキャンバスに絵を描くことができるようになります。しかし、この技術は現実世界でもアート作品の創造を可能にし、実際の要素にアートワークを重ね合わせることも可能にします。
現実世界に帽子と鳥を加えてみませんか？ヘッドセットを装着して、ペイントを始めましょう。
最初の特許出願「ヘッドマウントデバイス用スタイラスベースの入力システム」は、噂が示唆していた通りの内容である。つまり、Apple はスタイラスを使って仮想世界とやりとりすることに取り組んでいるのだ。
Apple Pencil が入力デバイスとして自然な選択と思われるが、特許では、ヘッドセットがデバイスの位置と向きを追跡できるようにするための発光体 (おそらく赤外線) を備えた新しいデバイスについて説明されている。
2 番目の特許「コンピューター生成現実環境での描画を可能にする技術」は、これをさらに進化させています。
このイラストは、Appleがユーザーの手をトラッキングする計画を示しています。絵筆を持つように指をつまむと、手の上に筆が重ねて表示されます。ツールを切り替えると、Apple Vision Proが持っているものの表示を変えます。
Apple のテクノロジーを使えば、アートを作成するのに絵筆さえ必要ありません。
アプリケーションには記載されていませんでしたが、様々なメディアに対応したジェスチャーを追加するのは簡単です。缶を持ち、ボタンを押すジェスチャーで仮想的にスプレーペイントしたり、指を伸ばしてフィンガーペイントをしたりできるようになるかもしれません。
Appleは、色を選択するための独自のジェスチャーを用いて、アーティストのワークフローを仮想的にシミュレーションすることを目指しています。この技術では、片手をひっくり返し、仮想の筆を仮想の絵の具に「浸す」ことで、色を選んだり混ぜたりすることができます。これは、アーティストが片手に絵の具パレット、もう片手に筆を持つような感覚を再現するものです。
3D空間での描画は特別なことではありません。Questのようなヘッドセットがあれば、Tilt Brushなどのアートプログラムを使って仮想アート作品を作成できます。
しかし、これらのプログラムはコントローラーを使用するため、操作がぎこちないのが難点です。ボタンを押すという動作は自然な描画やペイントとは言えず、コントローラーが操作の邪魔になってしまうのです。
文字通り、そして仮想的に、手のひらでアートを創作しましょう。
Appleの特許は、仮想絵画に加え、音声フィードバックによって紙の上の筆遣いや鉛筆の線をユーザーが聞くことができることを示唆しています。このような没入型体験は、AR/VRにおけるアート作品制作に革命をもたらす可能性があります。
音声フィードバックは、バーチャルアート教室の受講にも活用できます。ヘッドセットを装着し、心地よい音楽を聴きながら、絵画講師の指示に従うだけで、まるでヘッドセットを装着したままアート教室に通っているような体験ができるでしょう。
これをAppleの他のAR/VR特許と組み合わせることで、複数のユーザーが同じ空間にいなくても、同じ仮想オブジェクトを閲覧し、操作できるようになることが想像できます。例えば、実際の講師の授業を受けながら、同じ仮想キャンバスに一緒に絵を描くといったことも可能になります。
他の特許出願と同様に、これらの技術がすぐに、あるいは永遠に実現するという保証はありません。しかし、AppleがApple Vision ProでApple Pencilをテストしているという噂と合わせると、これらの技術の一部は間もなく、おそらくWWDC 2024の頃には公開されるだろうと言えるでしょう。
Appleがスタイラスペンを使って入力する特許は、Appleが申請した多数のAR/VR特許の筆頭出願人であるキリアン・ムーア氏によるものです。AR/VRでの描画に関する特許は、AppleのvisionOSシニアマネージャーであるエドウィン・イスカンダー氏によって作成されました。
