「力触覚」データの保存と伝送が開拓する、医療とメタバースのフロンティア───慶應義塾大学ハプティクス研究センター・大西公平先生インタビュー(前編)

「力触覚」データの保存と伝送が開拓する、医療とメタバースのフロンティア───慶應義塾大学ハプティクス研究センター・大西公平先生インタビュー(前編)

イメージ画像:慶應義塾大学ハプティクス研究センター・大西公平先生

近年、「バーチャル空間内の物体に触ると手触りを感じる」など、新たな体験をもたらすハプティクスを活かしたサービスやプロダクトが次々に登場して注目を集めています。しかし、ハプティクス技術の進化は、多くの人にとってそのインパクトを想像することが難しいはずです。

ハプティクスを応用した技術は、医療・福祉・介護・看護分野、農林水産畜産業まで、社会のあらゆる分野を大きく変えるかもしれない───そう語るのは、慶應義塾大学ハプティクス研究センターでセンター長を務める大西公平先生です。

同研究センターは、2002年に鮮明な力触覚の伝送を世界に先駆けて成功したことをきっかけに、さらなる技術の高度化を目指して2014年に設立されました。現在では、ロボットに人間のような触覚や力加減を与えることができる制御技術「リアルハプティクス」の研究開発も進めています。

この技術を活かして、株式会社大林組との協業では、熟練の技能労働者が手作業で行ってきた左官作業の手の動きや力、力触覚を再現可能なシステム「建設技能作業再現システム」1)を開発。また、農業関連システムを開発するシブヤ精機株式会社との協業では、軟らかい果物などをロボットで取り扱える「インテリジェント・ロボットハンド」2)を開発するなど、ハプティクスの幅広い活用方法を模索しています。

ハプティクス技術の進展は私たちの生活をどのように変えるのでしょうか。また、ハプティクスやxRといった技術が医療分野に統合された時、医療はどのように変わっていくのでしょうか。ハプティクス研究の現在地と今後の可能性について大西先生に聞きました。

1)リアルハプティクスを利用した建設技能作業再現システムを開発 (https://www.keio.ac.jp/ja/press-releases/files/2021/3/24/210324-1.pdf)

2)軟弱な果物などの取り扱いが可能なロボットハンドシステムを開発 (https://www.keio.ac.jp/ja/press-releases/files/2017/9/26/170926-1.pdf)

この記事の続きを見る方はログインしてください。

ログインしていただくと
◆機械の「遠隔操作」や、動作の「記録と再現」を実現するハプティクス技術
◆ハプティクス研究所が取り組む遠隔手術を実現する技術
をご覧いただけます。

機械の「遠隔操作」や、動作の「記録と再現」を実現するハプティクス技術

──慶應義塾大学ハプティクス研究センターでは、企業との共同研究やソリューション開発に力を入れていますよね。大西先生が研究しているリアルハプティクスの技術はどのようなものなのでしょうか。

イメージ画像:慶應義塾大学ハプティクス研究センター・大西公平先生

大西公平:人間の動作や手の触覚を保存して、動きを再現したり、遠くに伝送したり、拡大・縮小したりする技術です。よくある活用方法としては、機械の「遠隔操作」や、動作の「記録と再現」が挙げられるでしょう。

これを音声に置き換えて考えてみましょう。例えば、災害時にスピーカーから「逃げてください!」と大きな音声が流れるとします。誰かがマイクに向かって発した声が、遠方のスピーカーまで伝送されて、拡大された音声として出力されるのが「遠隔操作」です。また、あらかじめ声を録音しておき、有事の際に再生して流すのが「記録と再生」だと言えるでしょう。

こうした音のように、触覚の保存、再現、伝送、拡大などがリアルハプティクスでは可能です。その他にも、「硬い・柔らかい」「ザラザラ」といった触感を数値化してデータとして保存することもできます。

──こうしたハプティクスの研究はいつから始まり、どのように進展してきたのでしょうか?

力触覚の遠方伝送の研究が始まったのは、1940年前後からです。最もよく使われる人間の感覚は「視覚」「聴覚」「力触覚」の3つだと言われていますが、遠方伝送の研究が最初に始まったのは聴覚からです。19世紀、音声の遠方伝送が成功したのは電話の発明からでした。そして、20世紀にはテレビが登場して視覚情報の伝送が可能になりました。

テレビや映像の進化と同時期から、実はアメリカを中心にハプティクスの研究が始まっていたのです。しかしながら、リアルな力触覚伝送は技術的な壁が大きく、なかなか実用化には至りませんでした。2000年代にようやく技術的なブレイクスルーが起こり、ハプティクスの遠隔伝送が可能になって一気に研究が進み始めました。

イメージ画像:ハプティクスの遠隔伝送を再現する機械。奥の機械にスポンジを挟み、手前にある機械を手で押す。すると、奥にあるスポンジの感触を、直接触っていないにもかかわらず手で感じられる。

ハプティクスの遠隔伝送を再現する機械。奥の機械にスポンジを挟み、手前にある機械を手で押す。すると、奥にあるスポンジの感触を、直接触っていないにもかかわらず手で感じられる。

近年の研究で特に進んでいるのは、映像や音声など他の感覚とハプティクスを組み合わせた「感覚統合」です。これが進めば、大きな分野が生まれると思います。例えば、映画は映像と音声を組み合わせて生まれた表現ですよね。映画のように、ハプティクスと感覚統合した表現が当たり前のものとしてこれから普及していくと思います。

──確かに映画でも「MX4D™」3)のように、映像と音声に加えて観客席を揺らしたり、風を送ったり、水しぶきを飛ばしたりといったハプティクスの要素を加えて、エンターテインメントの幅を広げる技術が実装されていますよね。コロナ禍以降に注目を集めているメタバースも、VRゴーグルという視覚的要素にハプティクスを加えることで、新しい表現が可能になる領域の一つだと言えるはずです。

それだけではなく、ハプティクスの研究はロボットにとっても非常に重要です。例えば「道具を使って作業する」「人間を抱えあげる」「地面を踏みしめて歩く」など接触を必要とする動作は、ロボットが触れている対象の状態を認識できなければうまくいきません。

ハプティクスの技術が浸透することで、ようやく労働者の代わりとしてロボットが働き出す世界になると予想しています。人間が苦痛に感じるような寒い環境での仕事や、汚れた場所での作業、海中や宇宙などでもロボットが作業を代替してくれるようになる。さらに、介護や福祉などに特化した家庭用ロボットも生産され、1家庭に1ロボットという未来が少子高齢化の日本には本当に訪れると思います。

イメージ画像:

3)MX4D™ TOHOシネマズ(https://www.tohotheater.jp/service/mx4d/)

ハプティクス研究所が取り組む遠隔手術を実現する技術

──続いて医療分野におけるハプティクスの活用についてお聞きしたいと思います。現在、実用化が最も近いと考えている技術は何でしょうか?

脊椎の遠隔手術だと思います。神経に近い脊椎を削るこの手術は、少し間違えると神経を傷つけて下半身麻痺に陥るリスクがあります。そこで役立つのが、ハプティクスを活かした安全装置です。ドリルに取り付けると、急な圧力変化に反応して緊急停止し歯を引っ込めてくれます。これは既に実用化に向けた開発が進んでいますね。

マイクロサージェリーでの活用も期待されています。例えば、0.2ミリの毛細血管を吻合する手術では、髪の毛より細い針を使って、顕微鏡を見ながら血管同士を繋ぎ合わせます。しかし、ほとんどの人間は細すぎる針や糸は手先の感覚ではわからない。そこでハプティクスの技術を応用すると、大きな血管を縫っているような擬似的な感覚で施術できます。

イメージ画像:手前の機械を動かして、奥の機械に装着されたロボットの「手」を動かす機械「力触覚通信ハンド」。繊細で割れやすいポテトチップスでも、ロボットの「手」を介して触覚を感じながら動かすことで、壊さずに持ち上げられる。

手前の機械を動かして、奥の機械に装着されたロボットの「手」を動かす機械「力触覚通信ハンド」。繊細で割れやすいポテトチップスでも、ロボットの「手」を介して触覚を感じながら動かすことで、壊さずに持ち上げられる。

イメージ画像:「力触覚通信ハンド」により、ポテトチップスを持ち上げている。ハプティクスを用いたこの繊細な動作は、遠隔手術などにも応用される。

「力触覚通信ハンド」により、ポテトチップスを持ち上げている。ハプティクスを用いたこの繊細な動作は、遠隔手術などにも応用される。

──つまり、これから外科手術用の機械がどんどん新しく登場してくるだろう、というわけですね。

そうですね。ただし、実はすでに「ダヴィンチ」という汎用的な遠隔手術用ロボットが市販されているんです。ダヴィンチは手先にたくさんの自由度を持っていることが特徴で、人間が手術するよりも簡単に糸を通すことができたりします。一方で振動の影響を受けやすかったり、ハプティクスのセンサーを実装できない特殊な構造をしていたりするため、一部の手術に用途が限られてしまいます。

代替案として検討しているのが、ハプティクス技術を「手術ナビゲーションシステム」に搭載する方法です。このシステムは、例えば動脈瘤の位置などを、動脈の状況を画像とセンサーを照合し推定しています。

このシステムに、さらに「ちょっと患部を押してみる」といった動作から取れる力触覚のデータを加えてみる。そうすると、手術の安全性がより高いナビゲーションが生まれる余地があるのです。ダヴィンチ以外にも、ロボット手術の選択肢はまだまだ広がる可能性があるというわけです。