※本記事は2019年8月に掲載されたものです

身体が変われば世界の捉え方が変わる

2006年、東京大学工学部システム創成学科卒業。08年に同大学院学際情報学府、11年に工学系研究科博士課程修了。同年より情報理工学系研究科知能機械情報学専攻助教。16年に専攻講師となり現在に至る。認知科学や心理学の知見をもとにしたVR・ARの研究・開発を行っている。

──VRとARはセットで語られる場面が増えています。初めにこの2つの違いについて教えていただけますか。

コンピューターでつくり出したものを人間に現実のものと感じさせるという点では同じです。その「現実」を完全にコンピューターでつくるか（VR）。すでにある現実に加えていくか（AR）。その違いですね。程度の差と考えておけばよいと思います。

──なぜVRを研究分野に選んだのか、理由をお聞かせください。

最初は「VR」という言葉を意識していたわけではありませんでした。もともと興味があったのは、人がどういうことに驚くか、どういうことに感動するか、どのように世界を見ているかといったことです。しかし、認知科学などの方法でその仕組みを明らかにするよりも、その知見を踏まえて、実際に人を驚かせたり、感動させたりしたいと思っていました。それが結果的にVRの研究につながったわけです。

──概念よりも「体験」に興味があったのですね。

ええ。体験を共有すれば、感覚の共通性が分かり、人は皆、同じ仕組みでできていることが分かる。それが分かれば、相互理解のための共通の基盤も見えてくる。そんなことがVRを使えばできると考えました。

──現在はどのような研究を行っているのですか。

「VRで別の身体を体験する」という研究に取り組んでいます。VRを使えば、年齢の異なる人の身体や異性の身体を体験することが可能です。身体が変われば、世界の捉え方が変わります。

例えば海外では、VRでスーパーマンになって人を助ける体験をすると、現実世界でも困っている人を助けるようになる、あるいは、有色人種の人の身体を体験すると、人種差別に対する意識が高くなるといった研究結果があります。VRでアインシュタインになってテストを受けると成績が上がるという面白い研究結果も最近発表されました。

鳴海氏が開発した「扇情的な鏡」。鏡のようなモニターに映った顔の表情が変化することで、本人の気持ちに影響を及ぼす

──身体が変わることによって内面も変わるということですか。

そういうことですね。「自分はこういう人間である」という自己認識が変わったり、心の中にあった無意識のリミッターが外れたりする。それによってそれまで発揮できていなかった能力が発揮できるようになるわけです。

──そのような研究が進めば、人間の自己同一性という考え方が揺らいでいきそうですね。

それを僕はポジティブに捉えています。そもそも人間観というものは、時代とともに変わっていくものです。例えば昔の男性は、会社で偉かったりすると、家でも威張っていたりしました。「自分は部長なんだから、家事なんかやらなくてもいい」と。でも今は、部長だろうが社長だろうが、家に帰れば家事や育児をすることが当たり前になっています。つまり、人にはいくつもの顔があっていいという考え方が普通になっているのです。

同じように今後は、「身体を使い分けるのが普通」という人間観が生まれても不思議ではありません。VRを使ってTPOに応じて身体を使い分けることが人を自由にしてくれる。そういう考え方は十分にあり得ると思います。

例えば、学校の勉強や人間関係で苦しんでいる子どもは、その場所、その状況にしかいられないからこそ苦しいという面があると思います。しかし、テクノロジーの力で今の身体から解き放たれて、異なる自分をリアルに体験することができれば、視野が広がって、今の苦しみが小さいものに感じられるようになるかもしれません。

──「ここではないどこか」があることを実感できるということですね。

そうです。VRによって身体を解放すれば、心も解放できる。それによって、人間観が変わり、社会がより生きやすい場所になる。そんな可能性がVRにはあると僕は考えています。

人間の感覚は相互に補い合っている

──最初にVRの力を実感したのは、どのような研究でしたか。

「メタクッキー」というシステムをつくったのが出発点でした。食べ物の味を判断するのは味覚であると考えられていますよね。しかし、VRでクッキーの見た目を変え、かつ香りを変えるとクッキーの味も変わることがこのシステムによって分かりました。

鳴海拓志 氏

被験者の目の前に実際にあるのはプレーンなクッキーなのですが、VRでそれがチョコレートでコーティングされているように見せて、かつチョコレートの香りを嗅ぎながら食べてもらう。そうすると、チョコレートクッキーの味がするわけです。

──味覚だけではなく、視覚や嗅覚が味を決めているということですね。

ええ。この実験から見えてきたのは、人間の判断は「クロスモーダル」、つまり、複数の感覚の組み合わせによって成立しているということです。

こんな実験もあります。被験者に直径6mの円柱状の空間に入ってもらい、ヘッドマウントディスプレーをつけてもらいます。ディスプレーには真っすぐの壁がどこまでも続いている映像を流します。そうして、壁に触りながら歩いてもらいます。そうすると、実際には曲面の壁に沿ってぐるぐる回っているだけなのに、本人はどこまでも真っすぐ歩いている感覚になります。

──なるほど。この場合は、視覚と触覚のクロスモーダルというわけですね。

視覚と触覚という2つの感覚を組み合わせ、そのどちらかに操作を加えることで、感覚のゆがみ、つまり錯覚をつくり出すことができる。そんな実験です。

従来、五感はそれぞれに独立していると考えられていました。その方が理解しやすいし、脳もそれぞれの感覚を別々の部位で判断しています。

しかし、僕たちの実際の行動では、ほとんどの場合、感覚は相互に関連し合っています。物をつかむ時には視覚と触覚、食べる時には視覚と味覚と食感と嗅覚というように。そうやってそれぞれの感覚が補い合っているからこそ、僕たちの判断や行動は安定しているのです。

新しい体験を提供し新しい知見を浸透させていく

──独自に開発された「扇情的な鏡」というVR装置も話題になっていました。

鏡に映る顔を変えることで、その人の感情も変わるというものですね。笑顔にすると気持ちがポジティブになり、悲しい顔にするとネガティブになるといったことが実験で分かっています。

──「見た目」が変わることで「感情」が変わるのですね。実際のところ、見た目や行動と感情はどちらが優先しているのですか。

最近の認知科学では、行動が感情をつくり出すと考えられています。例えば、怖い体験をすると、まず鳥肌が立ち、その後に恐怖を認識する。つまり、身体反応が先にあって、それに意味をつけようとして感情が発生するという考え方です。従って、身体の状態が変われば感情も変わることになります。

上／モニターの背後にある円筒に触れる実験。モニター映像の形が変わると、円筒の形も変わって感じられる。視覚が触覚を大きく左右することが分かる 下／鳴海氏が開発した最新のVR装置の一つ。増殖した鳴海氏が本人の動きに合わせて一斉に動く。VRが「自己」の感覚を揺るがす

例えば、洋服の試着室の実験があります。黒と白のマフラーのどちらかを選ぶ場合、黒のマフラーを巻いた時には試着室の鏡の中の顔をにこりとさせ、白のマフラーを巻いた時の顔はそのままにする。そうすると黒を選んでしまうケースが多い。そんな実験です。ただし、この実験は良くない事例です。この仕組みが実際に使われるようになると、恣意的に購買の条件づけができるようになってしまうからです。

──売る側が売りたいものを売れるようになってしまうということですね。

そうです。ですから、VRが社会に普及していく過程では、VR活用のガイドラインをつくることが絶対に必要だと思います。

──このような話を聞くと、人間の自由意思というものが危うく感じられてきます。

人間の意思や知性は自由なものではなく、環境によって大きく左右される。それが心理学や認知科学の最新の知見です。VRを使えば、そのような知見が意味するものを即座に理解させることができます。これまでになかった体験を多くの人に提供することによって、新しい知見を浸透させていく。それもVRの重要な役割であると僕は考えています。

──今後VRは社会にどのように役立つものになるのか。そのヒントをいただけますか。

東大には高齢者施設でVRを使う研究に取り組んでいる先生がいます。高齢者が若い頃に旅行で訪れた場所の映像を撮ってきて、それをVRで体験してもらうと、気持ちがリフレッシュして、元気になるのだそうです。若い身体を使って自由に外出することもVRなら可能です。高齢者が健康で生き生きとした生活をするためにVRを使うというのは、一つ大きな可能性のある分野ではないでしょうか。

──最後にこれからの研究の目標についてお聞かせください。

研究現場に閉じこもらずに、民間企業や公共団体との協力の下、VRの可能性を広げていきたいと考えています。研究の世界には「リビングラボ」と呼ばれる方法があります。世の中との接点を増やし、研究をいろいろな人に体験してもらい、そこからのフィードバックを研究に活かしていく。そんな方法です。僕もそんなスタンスで研究を続け、VRでいろいろな課題の解決を実現していきたいと思います。