UT-virtualに在籍し、自身もVRに関する研究を行なっている修士二年の畑田さん(@yunoLv3)が、UT-virtualの新入生に向けてVRに関する全般的な解説を行いました。VRやARと言った概念、VRの歴史、業界動向、最新技術などについてお話いただきました。(スライド枚数は昨年100枚→200枚に!)
今回の定例会記事では、その導入部分となるVR/AR/MRについての概要を紹介します。
Mixed Realityについて
最初にMixed Realityが実現する世界について。
アニメ「PSYCHO-PASS」のワンシーンでは、次のような描写があります。主人公が朝起きると、部屋の内装を気分によってCGで変え、無味乾燥とした部屋が視覚的に彩りを得ます。その後、食事やシャワーなどの”モノが必要なもの”のみを物質として準備しながら、空中に浮かぶテレビ映像（物質的な実体を持たない）を眺めて朝ごはんを食べる……。現実世界に計算機による情報が違和感なく混ざり合い、人はそれが物質か物質ではないかを気にすることなく生活することができるのです。
VR(Virtual Reality)やAR(Augmented Reality)というものは、現実に混ざっている情報の度合いが違うだけで、本質的には繋がっています。物質とバーチャルが共存し、どちらも同じように扱う（見たり聞いたり触ったりする）ことができる世界がMR(Mixed Reality)です。
最終的には部屋の中で「椅子よ出ろ」と指示することで、電子的な情報でできているけれども確かに座ることのできる椅子がレンダリングされるなど、すべての物質をコンピュータで制御できるような世界になるのかもしれません。
Virtual Realityについて
MRという包括的な概念が示された後、VRの詳しい解説がなされました。Virtual Realityとは、物理的には存在していないものが、本質的には・効果としてはそこに存在していると感じさせることです。
この定義に従うと、例えばSuicaがバーチャルマネーと言えることがわかります。Suicaは物理的には貨幣・紙幣ではないものの 実質的にお金として利用できるからです。このように、実は身の回りにはVirtualなものがたくさん存在します。 ここから分かるように、Virtual Realityは視覚や触覚といった特定の五感に限ったものではなく、さらには必ずしもコンピュータを必要とするものではないことがわかります。
ただVRは、学問分野としてまとめ上げる際に、コンピュータをはじめとするテクノロジーを手法として取り入れ、現実体験を人工的に生み出すという工学の色を帯びたのでした。こうして狭義のVRは「コンピュータなどで人工的に現実だと感じられる体験を作り出す技術」と言えます。
その中でも、視覚の情報を書き換えるHTC VIVEやOculus QuestなどのHMD(ヘッドマウントディスプレイ)は主に視覚のバーチャル体験を実現するデバイスなのです。
ちなみにVirtualという言葉は 仮想と訳されがちですが、実際には実質の方が正確であり、対義語は RealではなくNominal(名目)が正しいとされています。
では、朝起きた時の眠さ、布団の気持ち良さなどの「あの」感じや満員電車に乗っている不快な感じといった現実を工学的に再現する場合どのようにすれば良いのでしょうか。
答えは、その時に人が知覚・認識しているのと同じような感覚刺激を提示すること。例えば、音・匂い・暖かさ・光などの自分を取り巻く環境は、自分自身の身体（感覚器官）や感情・文化・常識といったフィルターを通して我々の意識に上ってきます。脳は原物から発される生の情報をダイレクトに受け取っているわけではなく、目や化学物質、電気信号のリレーを経て世界を認識しているのです。ということは、何かを感じるためには、実際にその何かがそこに存在せずとも、その何かが私たちに与えるはずの光や音や触感を計算して提示すれば良いわけです。
HMDを使って現実を再現するとは、視覚に与えられるはずの情報をHMDが原物の代わりに与えていると言い換えることができます。
現実とは？
例えば、ヘリコプターをVRで再現する場合、
1. 操縦士の訓練として用いる場合
計器など本物のヘリコプターと同じように正確に配置、機能しなければならない。
2. ゲームセンターなどの娯楽用として用いる場合
訓練として用いられる場合と比べて正確性は求められないものの、周りの景色に美しさが求められる。
このように 、 人工的に再現するべき本質は目的によって都度変わります。本質をしっかりと見極めて再現することがVRとして現実を再現する際にはとても大切なポイントとなります。
VR生成のための基本要素
工学的なVRシステムは 、 何かしらの入力があり 、 それを元にコンピュータで処理を行い 、 その結果を出力することで構成されています。
こうしたシステムで満たすべきVRの要素には以下の3つがあります。
1. 実時間相互作用
リアルタイムで反応が返ってくること。
2. 3次元空間性
見回すと周りに景色が広がっていること。
3. 自己投射性
VR世界に没入したユーザの五感体験が矛盾なく統合されていること。（自分の体を動かした際に、自分の手が感じる空気抵抗、手の見える位置、手の重さなどの間に整合性が取れていること）
出力装置(ディスプレイ)
ディスプレイの歴史を見ると、 映画 、 それからテレビ 、 コンピュータ 、 スマートフォン、HMDというように 、 人とディスプレイの距離は少しずつ近づいています。
この流れでいけば 、次世代のディスプレイは網膜に直接映し出したり、神経や脳に電気信号を直接提示して利用するディスプレイとなるかもしれません。
Augmented Reality
もともとAugmented Realityという言葉は1992年にボーイングの飛行機製造工場にて 、 ワイヤーの束の配線工程を透過型HMDに表示することで作業者を補助する研究のなかで利用されました。その後ARとは何かという定義を
1. 現実と仮想の組み合わせである
2. 実時間で動作する応答性を備えている
3. 3次元的に整合性が取れているものである
という3つの項目で行いました 。
ARは、もともとVRとは少し違った経緯で生まれた技術ではありますが、講演の最初で話されたように、後にこうした現実感を編集する技術は全てMixed Realityに包括できることが提唱されています。
最後に
思えば僕が初めて入部した時の定例会は昨年の畑田さんのVRのすべてでした 。
あれから一年が経ち 、 前回のメモを見返すとこの一年だけでもカオスマップはよりカオスになり 、 コンテンツは増え 、 高性能なHMDも増え 、 開発のための敷居もかなり下がり 、 この業界の成長具合がとてもよくわかります。
これからどのような技術革新・出来事があるか考えるととても楽しみです
（文・写真：Koshin Ide 構成・写真：Mari Kotani 監修：Yuji Hatada）