【ニュースリリース】操作者が"憑依"できるアンドロイドアバターを開発―視聴覚の共有による臨場感と操作者の表情再現による存在感を両立―
2024年03月11日
ポイント
- ＊ 生命感のある遠隔操作型アンドロイドの頭部ユニットと没入型の操作インタフェースを開発
- ＊ 操作者の多様な表情をアンドロイドの表情として再現し、操作者の存在感・感情を伝達
- ＊ カメラ・マイクで取得した立体映像・音響をVRヘッドセットで視聴することで高臨場感を得られる
- ＊ 操作者が得る臨場感と対面者が得る操作者の存在感の両立による、対面のような遠隔コミュニケーションの実現に期待
概要
仲田佳弘准教授（機械知能システム学専攻）と中島瑞助教（東京電機大学未来科学部ロボット・メカトロニクス学科、開発当時機械知能システム学専攻特任助教）、新川馨子氏（機械知能システム学専攻博士前期１年）の研究グループは、操作者の視線、発話に伴う口の動きや表情を再現可能な遠隔操作型アンドロイド（アンドロイドアバター）の頭部ユニットとその操作インタフェースを開発し、アバターを介していても、まるでその場に相手がいるかのような遠隔コミュニケーションを実現しました。
これまでにもアバターを用いた遠隔コミュニケーションは研究されてきましたが、操作者の表情を再現すると同時に操作者に高い臨場感を提供することができるシステムは実現されていませんでした。
研究グループは、首の運動を含めて頭部の28か所が変形・動作可能なアンドロイドアバター「Yui」の頭部ユニットを開発しました。また、装着者の表情を測定可能なVRヘッドセットを用いて、操作者の表情をアバター上に再現するとともに、アバター上の複数のカメラとマイクで取得した映像と音声を操作者に提示することで高い臨場感を得られるようにする操作インタフェースを開発しました。開発したアバターとインタフェースは簡易的な実験およびデモンストレーションを通じてその効果が確認されました。
この成果は、米国電気電子学会（IEEE）のオープンアクセス誌IEEE Accessに掲載されました。
手法
本研究では、人に近い見た目を持ち、首の運動を含めて頭部の28か所が変形・動作可能なアンドロイドアバター「Yui」（図１）を開発しました。Yuiは、その豊富な頭部の変形・動作によって、人のような喜怒哀楽の表情を実現します。また、Yuiの両目、両耳には感覚器としてステレオカメラとステレオマイクが内蔵されており、Yuiがいる場所で見える映像、聞こえる音声を取得します。これらの視差を含む映像や空間の音響効果を含んだ音声は、VRヘッドセットを介して操作者に提示されます。VRヘッドセットには、映像表示用のディスプレイと音声提示用のスピーカーが搭載されています。操作者は、立体映像に加え立体音響を得ることができるため、実際に見えていなくてもどちらから呼びかけられたかということを音の情報から知ることができます。さらに、VRヘッドセットには、操作者の頭部の回転や目、眉や頬といった顔の部位の変化が取得可能なセンサと発話を取得するためのマイクも搭載されています。操作者の頭部の動きの情報をもとにYuiを動作させることで、操作者とYuiの表情を同期しています。マイクで取得された音声は、Yuiの胸部に埋め込まれたスピーカーから再生されるため、操作者と対面者の間でコミュニケーションが可能です。
図１：（a）（b）（c）開発したアンドロイドアバター「Yui」：（a）はYui頭部の全体像とカメラ、マイクの詳細であり、（b）は喜怒哀楽を再現したときの様子、（c）はデモンストレーションでの会話中に操作者が笑った様子がYuiで再現された様子である。
成果
操作者の発話や表情をYuiと同期させながら、操作者に対して臨場感の高い映像や音声を提示することが可能なシステムが開発され、開発者による簡易な実験とデモンストレーションによる動作検証が実施されました。デモンストレーションでは、会話の合間にこぼした笑みや目元の動きがアバター上で再現されることで、アバターを介したコミュニケーションによって対面者が操作者の存在感を感じることが可能であると示唆されました。また、両目と両耳に搭載したステレオカメラ、ステレオマイクを利用することで、見ている対象との距離や相対的な位置関係といった立体情報、聞こえてくる音声の左右の偏りに伴う音源の位置情報が提示されました。これらの操作者への情報提示は、操作者に対してまるでその場に相手が居るかのような、高い臨場感を伴った体験を提供することができると期待されます。結果として、操作者が得る臨場感と対面者が得る操作者の存在感を両立するアバターシステムが実現されました。
今後の期待
開発したシステムを用いることで、ビデオ会議や音声通話と比較してより対面に近い形でのコミュニケーションが実現され、遠隔地からでも満足感の高いコミュニケーションが期待できるほか、細やかな気遣いや信頼が必要とされる診察や面談といったシーンへの応用も期待できます。さらに、操作者の表情の単純な再現ではなく強調や抑制といったさまざまな効果を付加することで、感情の伝達効果を高めたり、逆に弱めたりといった、付加的な効果を持たせたコミュニケーションの実現が期待できます。操作者の特性やシーンに合わせて感情の伝達特性を変化させることで、将来的には対面を超えるコミュニケーションの実現も可能であると考えています。
（参考動画）
参考動画（動画：11分37秒）
（論文情報）
著者名：Mizuki Nakajima, Kaoruko Shinkawa, Yoshihiro Nakata
論文名：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar 'Yui' and Its Operation Interface
雑誌名：IEEE Access
DOI：（新しいウィンドウが開きます）10.1109/ACCESS.2024.3365723
公表日：2024年２月13日（Early Access）
（外部資金情報）
本研究の一部は、JSTムーンショット型研究開発事業JPMJMS2011の支援を受けたものです。
詳細はPDFでご確認ください。