【ニュースリリース】ヒトは複雑な画像特徴量に、より速く、より多く視線を向けることを発見
2023年07月03日
ポイント
※AI技術によって画像の特徴を複雑さに分けて分析
※それぞれの特徴ごとの注視誘引度（見られやすさ）を空間と時間に分けて評価
※複雑な特徴を持つ場所はより速く、高頻度に見られやすいことを発見
概要
赤松和昌研究支援員、西野智博氏（当時学部生）、宮脇陽一教授（機械知能システム学専攻）らは、ヒトは複雑な特徴を持つ場所をより速く、より高頻度に見る傾向にあることを初めて実験的に発見しました。
私たちは多種多様な物体にあふれた生活環境のなかで、時々刻々と目を動かして色々なものに視線を向け、視覚的に情報を取得しています。では、私たちはどのような場所を優先的に見るのでしょうか？どのような場所が見られやすいかを予測する研究は従来から盛んに行われており、視線予測のための様々な計算プログラムが提案されています。しかし、従来の研究では視線を予測することが主目的となっている研究が多く、視線が向けられた場所の特徴自体がどのくらい影響を持っていたのか、そしてどのような種類の特徴が優先して見られやすいのかは分かっていませんでした。
こうした問いに答えるため、私たちの研究グループでは、AI技術のひとつである深層ニューラルネットワークモデルを用いて、自然なシーン画像のどこに、どの程度の強さで、どのような種類の特徴量が分布しているのかを定量化しました。次に、その画像を観察した際のヒトの視線を計測することで、複雑な画像特徴量は単純な画像特徴量と比べてより速くより高頻度に視線を惹きつけることを発見しました。
本研究の成果は、Scientific Reports誌に2023年５月19日（金）（日本時間）に掲載されました。
成果
注視誘引度の時間変化の解析結果から、深層ニューラルネットワークの対応する層が深くなるにつれて、すなわち画像特徴量が複雑になるにつれて、画像観察中の時間全体的を通して、平均的に高頻度で視線が向けられることがわかりました（下図）。また、画像提示後すぐの時間では、特に視線がよく向けられる傾向も強くなっていくことがわかりました（下図）。そして、本研究で検証した深層ニューラルネットワークの最も深い第５層おいては、この傾向が最も顕著であることがわかりました。従来から視線の予測によく使われる画像特徴量である顕著性と比較しても、第５層に対応する画像特徴量のほうが速く、よく見られることがわかりました（下図）。
以上の結果より、単純な画像特徴量よりも複雑な画像特徴量はより速く、より高頻度に視線が向けられやすいことを初めて実験的に立証することに成功しました。特定の物体の種類ではなく複雑な画像特徴量が注視されやすいことから、個人の興味関心ではなく反射的・無意識的に視線を向けている可能性が示唆されています。
各画像特徴量に対する注視誘引度の時間変化（横軸の０は画像提示開始時刻を表す）。深層ニューラルネットワークの第５層に対応する画像特徴量の注視誘引度は、画像提示直後に大きなピークを示し、かつ全時刻にわたって平均的に高い。すなわち、深層ニューラルネットワークの第５層に対応する画像特徴量は、より速く、より高頻度に見られる、ということを示している。
今後の期待
複雑な画像特徴量は単純な画像特徴量と比べて、速く、高頻度に注視されやすいことがわかりました．応用的な観点からは、複雑な画像特徴量がより多く含まれるように人工的に操作した画像を生成することによって、所定の場所へと注視を誘導できる可能性があります。例えば、道路標識のデザインであったり、使いやすい見た目のユーザーインターフェースであったり、効果的な広告の作成に役立てることができるかもしれません。
また基礎的な観点からは、複雑な画像特徴量を注視しやすいという現象がヒトの脳内のどこでどのように生じているのかを調べることが重要です。通常、複雑な特徴量は多段の処理を経て形作られるものなので、認識されるまでの時間がかかるはずですが、なぜ素早く視線が誘引されるのかはまだ分かっていません。こうした問題にさらに挑戦することによって、ヒトの視覚情報処理と視線移動の仕組みがより詳しく解明されると期待されます。
論文結果紹介動画URL
プロジェクト紹介動画（動画：１分33秒）
（動画が再生されます） https://www.researchsquare.com/article/rs-3121604/v1
（動画が再生されます） https://vimeo.com/835593892
（論文情報）
Kazuaki Akamatsu, Tomohiro Nishino, Yoichi Miyawaki, "Spatiotemporal bias of the human gaze toward hierarchical visual features during natural scene viewing," Scientific Reports, 13, 8104 (2023).
（外部資金情報）
本研究は、JST さきがけ（JPMJPR1778）、科研費基盤研究A（20H00600）、科研費国際共同研究加速基金(国際共同研究強化(A)) （18KK0311）、科研費基盤研究B（17H01755）および矢崎科学技術振興記念財団の支援を受けて実施されました。
詳細はPDFでご確認ください。