アバター研究を応用すれば、人間の能力や性格は変えられる？──東京大学大学院情報理工学系研究科准教授・鳴海拓志インタビュー（前編）

これまで本サイトでは「アバター」について何度かにわたって紹介してきました。仮想空間上でのアバターの見た目がユーザーの行動特性に影響を与える「プロテウス効果（変身効果）」など、XRやメタバースでの自己が現実の自己に影響を与えるという研究が進められており、そのなかには医療分野への応用が見込まれる技術も存在します。そうした研究を第一線で進めているのが、東京大学大学院情報理工学系研究科准教授の鳴海拓志先生です。

本記事では、XRやメタバース上での認知変容が、人間の能力や性格を変える……まさにフロンティアとも呼べるこうした研究領域を紹介します。アバターを使うことで自己の能力や性格に影響を与える技術は、いかなる仕組みで作用しているのか。前編記事では、今後の医療領域への応用可能性を模索するために、まずは基礎的な概念について鳴海先生に伺いました。

鳴海拓志
東京大学大学院情報理工学系研究科准教授。2006年東京大学工学部システム創成学科卒。11年東京大学大学院工学系研究科博士課程修了。19年より現職。VR（仮想現実）やAR（拡張現実）の技術と認知科学・心理学の知見を融合。限られた感覚刺激の提示で多様な五感を感じさせる「クロスモーダルインターフェース」、体と心の相互作用に基づいて人間の行動や認知、能力を変化させるゴーストエンジニアリング技術などの研究に取り組む。文部科学大臣表彰若手科学者賞、日本バーチャルリアリティー学会論文賞、ヒューマンインターフェース学会論文賞など、受賞多数。

この記事の続きを見る方はログインしてください。

ログインしていただくと
◆アバターによって現実の人間まで変わる？
◆ドラゴンアバターとゴーストエンジニアリング
◆「ナラティブ・セルフ」という課題
をご覧いただけます。

• ログイン画面へ

──鳴海先生はXR研究の第一人者として知られていますが、VRゴーグルを装着した被験者にバタークッキーを食べさせて、視覚と嗅覚にチョコレートクッキーの情報を与えることでチョコレートの味に錯覚させる実験「メタクッキー」など、研究領域が幅広いですよね。どのようなご関心から鳴海先生は研究を進められてきたのでしょうか。

視覚と触覚、聴覚と嗅覚など五感の相互作用を「クロスモーダル」と呼びますが、最初はVRを用いてそれを引き出す研究から始まりました。例えば、Meta Questなどヘッドマウントディスプレイを装着すると映像や音が出力され、五感のなかでも視覚と聴覚が刺激されます。しかしながら、それ以外の手触りや味といった感覚は再現されませんよね。そこで、視覚情報がいかに味覚に影響するかという研究から始めました。

視覚が与える影響は本当に大きいんです。例えば、リンゴを目で見ながら匂いを嗅ぐと、全員が「りんごの匂いだ」とわかりますよね。しかし、目をつぶった状態で匂いを嗅がせると、40%程度の人しか何を嗅いでいるのか正解がわからない。この視覚が嗅覚に影響を与えるという相互作用を応用して、「リンゴの絵を見せることで、リンゴを嗅いでいるような錯覚を生み出す」といった技術を開発していました。

その延長線上で、身体感覚の研究にも興味をもちました。最も有名なのは「ラバーハンドイリュージョン」という実験です。自分の手を机に置いて、その横にゴムでつくられた手を置きます。両者を同時に筆でなぞって触覚に刺激を与えながら、生の手を隠して見えなくする。そこで生の手をなぞるのをやめて、ゴムの手だけをなぞっていると、人間はゴムの手を自分の手だと勘違いしてくすぐったく感じます。ここで例えば、ゴムの手にナイフを刺すと、「痛い」と思わず言ってしまう。つまり、人間には自分の身体以外のものに、簡単に自分の体だと錯覚する性質があるんです。

まさにそれこそが、私たちがVRの世界で経験していることです。自分の体と連動して動くアバターが脅威に晒された時に自分も汗をかくといった生理的な反応が起こる。これは非常に面白い現象です。自分の身体とは異なる新しい身体を獲得するとはいかなることか。その興味から、アバターが人の心や認知に与える影響を研究しています。

──アバターを使うと、自分の身体や内面にまで影響することがある、というわけですね。

はい。これは「プロテウス効果」とも呼ばれています。2000年代前半にオンラインゲームが盛んになった頃、「プレイヤーの振る舞いが、使用するアバターによって異なる」ことが発見されました。例えば、筋骨隆々のアバターを使う人はラフなプレーが多い。かわいいアバターを使う人は優しく振舞う、というようにです。最初は「単に役割を演じているだけではないか？」と思われていたのですが、その後、アバターを使っている現実の人間の振る舞いが変わっているのではないかという仮説が浮かび、世界中で研究が始まりました。

すると、アバターが人間の身体や内面に影響することがわかってきました。例えば身長が高い、見た目が格好いいなど、ポジティブな社会的ステータスを反映した人間のアバターを使った人は、会話にためらいが少なかったり、交渉に積極的になったりするという研究結果が現れた。アバターを使って人間のイメージに働きかけることで、実際のコミュニケーションが積極的になる効果があることが明らかになったのです。

その後、同様の研究がいくつも現れます。例えば、髪型がアフロでノリの良さそうなアバターを使うと、大きく手を振ってリズミカルに太鼓を叩けるようになる。あるいは、アインシュタインのアバターを使う人は認知テストの成績が上がる、といったようにです。つまり、アバターに対する「こういう人であるはずだ」というイメージが、そのアバターを使っている人にまで影響します。

これは見方を変えると、人間が無意識に持つセルフイメージを変えているのだと考えられます。例えばアインシュタインは天才で、普通の人よりも飛躍したアイデアを思いつくイメージがありますよね。そのアバターを自分が使うと、普段の自分は「わからない」「勉強ができない」と思っていても、その思考の制約を外してくれる。アバターを使うと自分に新しいイメージを与えることが可能で、それによって自分の能力まで変えられるという研究が数多く現れたんです。

──そうした先行研究を踏まえて、鳴海先生は「ドラゴン」のアバターを用いた研究論文を発表されていますよね。どのような意図から研究されたのでしょうか？

アインシュタインのアバターはあくまで人間の範疇ですが、もしかすると人間にない能力も得られるかもしれない……そう考えて選んだのが「ドラゴン」のアバターです。

人間は3次元を正確に移動するのは苦手です。ただし、この能力が訓練次第で伸ばせることは、ドローンレーサーの調査から判明している。だとすれば、鳥のアバターになれば、人間が現実や仮想空間内で3次元の空間を把握しながら飛行する能力も強化できるかもしれない。そこで挙がったアイデアが、みんながファンタジー映画などで「空を飛べて体が強い」という共通のイメージを持つドラゴンでした。

そこで、ドラゴンで空を飛ぶVRゲームをつくって検証してみました。ドラゴンアバターか人間のアバターどちらかを使って、VRで手を使って羽ばたくと空を飛べるゲームをプレイしたあとに、VR内で「決められたルートをどれぐらい正確に飛べるか」を測定。人間のアバターよりも、ドラゴンのアバターを使っている人が良い点数を出しました。

さらに被験者を高所40mまで連れていき、「どれぐらい高所に恐怖を感じるか」を測定したんです。すると、ドラゴンアバターを使っていた人は、自分が飛べるイメージがあるからか、あまり怖がらない。人間のアバターを使っている人は怖がる。それが単なる主観の影響だけではなく、皮膚の発汗など客観視できる生理的な反応としても判明しました。

もともと人間が得意ではないことでも、人間が想像しうるものであれば、アバターを使って能力を得られる可能性がある。とても面白い発見だったと思います。

──人間の潜在能力を引き出す技術だと考えれば、実用化も視野に入りますよね。

そうなんです。こうした研究を進めるうち、体に関する認識が変わると、人間の内面──すなわち心や性格にまで影響が出てくることがわかりました。2019年頃からこの研究を「ゴーストエンジニアリング」と呼んでいます。アバターが変わると能力や性格が変わることを利用して、「こんな自分になりたい」という理想像から逆算してアバターを使っていく。そのテクノロジーやテクニックを研究過程で集積しています。

この数年で世界的に研究が進み、個別事例がたくさん出てきたことで、「これができる」という予測がある程度は可能になってきました。しかし、「どのようなメカニズムでそれが起こっているのか」という点はまだわかっていません。それは現在の研究課題だと言えますが、プロセスがわからなくても知見は豊富に蓄積されているので、応用はできるのが現段階での状況だと思っています。

──「何が起こるのか」という基礎的な現象がわかっているので、あとは応用を考えられるフェーズだと。

そうですね。ただ、現実的な課題への応用という視点で考えると、検討すべき点が多く残ります。大きな観点のひとつは「ナラティブ」です。

以前、大学生向けの授業で「アバターを使えば能力や性格を変えられる」と紹介し、一部の受講生に「この技術が当たり前の社会が未来に訪れたとして、どう使いたいか？」をテーマとしたエッセイを書いてもらいました。すると、多くの学生は「この技術は使いたくない」と回答したんです。

そこに書かれていたのは、「アバターの力で自分の能力を向上させられるとしても、他人を騙しているようで罪悪感を感じる」という意見です。あくまで評価されているのは本当の自分ではない。本当の自分と、アバターの力で突然出現した自分とのギャップに葛藤が生まれてしまうと考えていた。

こうした現象は、障害学の観点からも同様の研究があります。例えば、吃音に悩まされている人に「この飴を舐めたら、明日から吃音が治ります。舐めますか？」と選択肢を提示すると、多くの人が躊躇するというんです。障害者本人にとって、障害は今までずっと付き合ってきたアイデンティティの一部になっている。それが途切れることに、「自分が消えてしまう」ような不安や恐怖を感じるようなんですね。

すなわち、アバターを使って自分を変えるとしても、自分のイメージとの間に断絶を生んではいけない。これまで自分が生きてきた人生に、いかにテクノロジーで変わった自分を組み込むかという課題が存在する。これが解決しなければ、社会に受け入れられず、技術がなかなか普及しないと気づいたんです。

──能力や性格が変わったとしても、本人がそれを自分だと信じられなければ普及しないと。

そうなんです。そして、この話はサイエンスとしても、哲学としても非常に面白い研究対象です。

人間には、自己の“レイヤー”がいくつか存在します。従来のVRが扱っていた「アバターを使うと自分の能力が変わる」という事象は、「最小自己（ミニマル・セルフ）」と呼ばれる層の話でした。これは2000年頃に哲学者のショーン・ギャラガーが定義した言葉です。

全ての記憶を失っても、「いまここに自分はいる」という感覚はありますよね。それを分解すると、「この体は自分の感覚だ」という身体所有感と、「この体を操作している主体は自分だ」という行為主体感がある。それら二つが「自分は自分である」という感覚を担保しているという説です。

そして、VRはミニマル・セルフを扱う技術だと思っています。「アバターを自分の体だと認識する」という現象は身体所有感。「アバターを自分が動かしている」という感覚は行為主体感です。自分とは異なる身体的な自己が成立すると、それに伴って内面まで変わる。これまで私が手がけてきた研究は、ミニマル・セルフに関わるものだと気づいたんです。

しかし、その対極にあるのが、先ほどもお話した自己の連続性を担保する「物語的自己（ナラティブ・セルフ）」です。例えば「自己紹介をしてください」と言われたときに、みんな自分の物語を語りますよね。僕は福岡出身で、これまでVR研究をしてきました……と。こうしたアイデンティティや性格を示す「物語的自己」は誰もが日常で経験しているはずです。

ただ、物語的自己が存在することはわかっていても、それを実証する研究は少ない。最小自己はVRで身体を操作すれば実験しやすいのですが、物語的自己は直接手を加えられないですし、人生のどこで、その人の性格やアイデンティティが形成されたのかはわからないからです。

アバターによって能力や性格を変える技術を世の中に受け入れてもらうためには、自分の人生の物語に新しい自分が組み込まれていくプロセスを理解しなければならない。それがいま、私が特に取り組んでいる研究テーマなんです。