【ニュースリリース】医用診断画像の適性度を自動評価できる深層学習に基づくロボティック超音波診断支援システムを開発
2022年12月14日
ポイント
＊超音波診断支援システムから生成される超音波画像の適性度を自動で評価
＊ディープラーニングを用いた新手法を提案
＊操作者である医師の負担を大幅に軽減できる
概要
小泉憲裕准教授（機械知能システム学専攻）、小木曽公尚准教授（機械知能システム学専攻）、西山悠准教授（情報・ネットワーク工学専攻）、周家禕さん（機械知能システム学専攻博士後期１年）らの研究グループは、株式会社大林製作所の飯島秀幸代表取締役社長らとディープラーニング（深層学習）を用いて、医用診断画像（超音波画像）の適正度をシステム側で自動評価できる患部追従型のロボティック超音波診断支援システムを開発しました。これにより、超音波プローブの位置などを人が常に調整する必要がなくなり、操作者である医師の負担を大幅に軽減できると考えられます。
患者の呼吸や拍動等により、常に変位や変形、回転をともなって運動する臓器内の患部を抽出・追従・モニタリングする患部追従型のロボティック超音波診断支援システムにおいて、超音波プローブの位置や姿勢、押しつけ力を自動で調整することで、獲得した診断画像を適正化する新たな手法を考案しました。
医療のデジタル化（医デジ化）を推進するロボティック超音波診断など超音波を使った医療支援システムは、生成される超音波画像の質がプローブを操作する医師の技量などに依存することが課題になっています。その理由は、変位や変形、回転をともなって運動する臓器の断面を安定的に得るためには、医師が常にプローブの位置を調整する必要があるためです。
今回開発した手法は、こうした医師の負担を軽減するために、ディープラーニングに基づくビジュアルサーボシステムと協調して動作するロボティック超音波診断支援システムです。この方法は、医療診断だけでなく、がんや結石を対象とする超音波や放射線のほか、重粒子線治療用ビームなどの照射モニタリングにも応用できます。人工知能（AI）やロボティックを使った将来の医療診断・治療のためのデジタル基盤技術として期待されます。
本成果は飯島秀幸代表取締役社長（株式会社大林製作所）、沼田和司教授（横浜市立大学附属市民総合医療センター）、月原弘之特任研究員（東京大学）、小川眞広准教授、松本直樹助教（日本大学）、葭仲潔研究グループ長、津村遼介研究員ら（産業技術総合研究所）との共同研究の成果であり、医療用AI・ロボティクス分野のトップジャーナルであるInternational Journal of Computer Assisted Radiology and Surgery（IJCARS）誌に掲載されました。
背景
超音波診断システムは臨床の現場において広く利用されていますが、診断の際には、治療対象となる臓器が、呼吸によって運動する横隔膜に押されるために、臓器に超音波プローブを正確に合わせる必要があります。これに加えて、現在は超音波画像の適正化を医療従事者が行っていますが、個人によってその能力に違いがあることから、精度にばらつきが生じてしまうという問題も生じています。さらに、得られる超音波画像が膨大な数にのぼるため、医師が判断する際にスピードや精度などを一定に保って適正化することが困難な点も指摘されています。
そこで本研究では、呼吸や心拍、体動によって運動する腎臓を追従しながら、超音波画像の適正度を評価できるロボティック超音波診断支援システムを提案しました。
手法
今回、臓器追跡ロボット（OTR）、ロボティックベッド（RB）、ロボティック支持アーム（RSA）の３つのロボットで構成したロボティック超音波診断支援システムを大林製作所と共同で開発しました。ディープラーニングに基づくビジュアルサーボシステムを使った異なる画像処理方法（YOLOv5s、BiSeNet V2）を用いて、目的の運動臓器の位置を検出し、得られた超音波画像の適正度を評価（ResNet 50）します。最終的に、医用診断画像の処理結果はOTRに送信され、そこで動作指令を行うことで運動する臓器に追従するという仕組みです。
実験では、運動軌道をなめらかに推定できるカルマンフィルタリングを併用することで、動物体の検出に最適なYOLOv5s（物体検出手法）を用いた方法が最も高い追従精度（0.749）を示し、フィルタリングを行わない場合に比べて約37％追従精度が向上することが分かりました。さらに、追従中に得られた超音波画像の適正度も最も高く、安定的に診断画像を獲得し、それを維持、適正化できることを確認しました。
一方、追従対象となる臓器の重心位置やその断面積、最大径といった形状の特徴量を計測するのに適したBiSeNet V2（セグメンテーション手法）では、追従精度0.694を示し、さらにカルマンフィルタリングにより追従精度が75％改善しました。
成果
ディープラーニングを用いることで、医用診断画像の適正度を自動で評価できる患部追従型のロボティック超音波診断支援システムを開発しました。具体的には、画像処理方法YOLOv5sとカルマンフィルタリングの組み合わせが最も効率的に対象となる臓器を追従できることを確認しました。一方、BiSeNet V2の画像処理方法とカルマンフィルタリングの組み合わせは、実際の腎臓の運動状態により近い腎臓重心を検出できることが分かりました。BiSeNet V2は対象となる臓器の断面積や最大径などの詳細な情報もリアルタイムに計測できることから、実際の診断や治療モニタリングにおいては、BiSeNet V2の方がより実用的なモデルであることが示されました。
今後の期待
医用診断画像の適正度を自動で評価することにより、医師の負担が大幅に軽減できると考えられ、医療のデジタル化（医デジ化）を推進する超音波診断支援システムなどの普及・拡大が期待されます。また、単に医療診断のみにとどまらず、がんや結石を対象とする超音波や放射線、重粒子線治療用ビームの照射モニタリングなどへの応用展開も見込まれます。
（論文情報）
雑誌名：「International Journal of Computer Assisted Radiology and Surgery（IJCARS）」
論文タイトル： A VS ultrasound diagnostic system with kidney image evaluation functions
著者： Jiayi Zhou, Norihiro Koizumi, Yu Nishiyama, Kiminao Kogiso, Tomohiro Ishikawa, Kento Kobayashi, Yusuke Watanabe, Yusuke Watanabe, Takumi Fujibayashi, Miyu Yamada, Momoko Matsuyama, Hiroyuki Tsukihara, Ryosuke Tsumura, Kiyoshi Yoshinaka, Naoki Matsumoto, Masahiro Ogawa, Hideyo Miyazaki, Kazushi Numata, Hidetoshi Nagaoka, Toshiyuki Iwai, Hideyuki Iijima
DOI番号：10.1007/s11548-022-02759-0
（外部資金情報）
本研究は、文部科学省 科学研究費補助金 (20H02113) 基盤研究（B） "医療のデジタル化を加速・推進するロボティック超音波診断・治療基盤システムの構築" の助成を受けて行いました。
詳細はPDFでご確認ください。