研究室紹介OPAL-RING
坂本 研究室
感性を持つＡＩの開発――色から言葉を紡ぎ、オノマトペを数値化する
| 所属 | 大学院情報理工学研究科 情報学専攻 |
|---|---|
| メンバー | 坂本 真樹 教授 |
| 所属学会 | 人工知能学会、情報処理学会、認知科学会、感性工学会、バーチャルリアリティ学会、認知言語学会、広告学会 |
| 研究室HP | http://www.sakamoto-lab.hc.uec.ac.jp/ |
| 印刷用PDF |
掲載情報は2018年3月現在
- 坂本 真樹 Maki SAKAMOTO
- キーワード
-
感性情報処理、オノマトペ、知識、創造的思考、五感の相互作用、広告、デザイン
人工知能（ＡＩ）と人が共存する未来に向けて、現在のＡＩに最も欠けていることは何でしょうか。ＡＩは、問題を高速かつ正確に解くことなどには長けていますが、ＡＩの“相方”となる人間の行動はそれほど単純ではありません。むしろ、ある事象に対して人がどのように感じたか、好きか嫌いかといった主観的な「感性」が、少なからず世の中を動かしていると言ってもいいのではないでしょうか。
坂本真樹教授は、ＡＩが社会の一員になるためには、「ＡＩに感性を持たせることが重要だ」と考えています。坂本教授によると、感性とは「感覚の知性」であり、怒りや悲しみといったいっときの感情とは違って、「知能」の一つと言えます。現状のＡＩはまだ、感性を十分には知覚できませんが、感性を理解し、感性を持っているかのように振る舞うＡＩが実現すれば、人に寄り添い、人とより分かり合うことができるでしょう。
二つの観点から研究
感性ＡＩを開発するために、坂本教授は二つの観点から研究を進めています。一つは、質感の追究や色やイメージから言葉を抽出する研究、もう一つは、オノマトペ（擬音語や擬態語）を数値化する研究です。電気通信大学は人間のように多様な情報を処理する汎用的なＡＩ開発を目指す「人工知能先端研究センター」を設置しており、坂本教授は主要メンバーとして活躍しています。
- 研究の流れ
- キャベツに関する記述を入力した例
一つ目のテーマでは、特に脳の基礎研究から情報工学への応用研究を通じて、従来の視覚（画像処理）や聴覚（音声認識）の機能だけでなく、触覚（質感検出）も併せ持つＡＩの開発に取り組んでいます。
- 絵や写真からイメージに合った楽曲を推薦するシステム
最近ではラジオ番組にもＡＩが導入されており、坂本教授が出演する番組「ＡＩ共存ラジオ」では、坂本研究室が開発したＡＩ選曲システムが使われています。これは絵や写真といった入力データから歌詞を検索するシステムを応用したもので、番組では、出演者やリスナーのリクエストのほか、番組中で紹介したキーワードなどを基に、ＡＩが実際にオンエアする楽曲を選んでいます。
世界初の「作詞ＡＩ」
これを発展させて、坂本教授は歌詞を創作する「作詞ＡＩ」を開発しました。楽曲を作るＡＩはあっても、作詞をするＡＩは当時、世界でも例がありませんでした。文章を作成するＡＩの中では、小説を書くＡＩの開発の難しさが指摘されていましたが、坂本教授は「ストーリー性が求められる小説とは異なり、歌詞は印象的な言葉をちりばめるような要素もあり、多少文脈がつながらなくても成り立つのではないか」と考えました。
- 黄金がブルーに照らす時
- 翼の幻 夢見るぞ
『電☆アドベンチャー』の歌詞の一節とそのもとになったイラスト
こうして完成したのが、地下アイドル「仮面女子」とのコラボレーションによって生まれた、作詞ＡＩによる新曲『電☆アドベンチャー』です。仮面女子の15人のメンバーが人気曲『超☆アドベンチャー』をイメージして描いたイラストを基に、ＡＩがその色彩からほぼ自動で作詞しました。
- 作詞AI記者発表会の様子
絵や写真から歌詞を検索する既存のシステムに、ＡＩ技術の一つである深層学習（ディープラーニング）の手法を組み合わせて実現しました。新聞や小説、インターネット上の文章など約64万文書のテキストデータをＡＩに学習させ、さらに、色から単語を想起する人の実験結果も学習させています。これにより、例えばピンク色なら「桜」、薄い灰色なら「涙」というように、ＡＩが確率論的に色彩イメージに合った言葉を作り出せるようになりました。
ドライブ中に心地よい音楽を
最近では、物体認識の機能も加えてさらに改良しています。写真や絵に載っている物体を認識し、その物体の色から想起される単語を抽出した上で、これらの単語をつなぎ合わせて詩を作ります。新たに10万曲の歌詞を学習させることで、原曲をベースにしなくても、ＡＩが一から全自動で作詞できるようになりました。より歌詞らしい表現が可能になったため、新たな作詞のプロジェクトを募集しているそうです。坂本教授は、「人は音楽から情景を思い起こすことから、『作りたい曲＝情景』ととらえれば、絵やイメージなどから作詞することもできれるのではないか」と考えたのです。将来は、運転中に車載カメラで周りの景色を取り込み、そのデータから風景に合う音楽を流したり、イベントの様子を撮影しながら、会場の雰囲気に合ったＢＧＭを流したりといった賢い「ＡＩスピーカー」が実現できるとみています。
オノマトペと五感
一方、坂本教授が長年取り組んでいるのがオノマトペの研究です。オノマトペとは擬音語や擬態語の総称で、日本語には豊富に存在します。「昼食をササッと済ませ、コーヒーをぐびっと飲んで、午後もサクサク仕事を進めよう」「ぽっちゃり『ゆるふわ系』の愛されモテ女子」――。こうした“オノマトペ”が最近どんどん登場し、日本語に豊かさやリズム感を与えています。オノマトペを構成する音には、五感の印象が数多く結びついています。そのため、言語学や心理学の分野では、オノマトペは昔から広く研究されてきました。坂本教授は、言語の専門家としてオノマトペに着目し、そこに工学の手法を導入することで、感性を評価する新しいシステムを開発しました。
人が五感を通じて得た感性や感覚は、少なからずその人の言葉に反映されます。しかし、言葉はしばしば主観的であいまいです。これを客観的に評価できれば、「オノマトペで表現された言葉を通じて、人の五感や感性を定量化できるのではないか」と坂本教授は考えました。
五感を数値化する
坂本教授は、聴覚、視覚、触覚、味覚に関するオノマトペを評価する手法を考案しました。これは言葉の音（聴覚）から、視覚や触覚に基づく感性的な印象を予測するシステムです。例えば、「もふもふ」と入力すると、「温かい」「厚みがある」「柔らかい」といった、43種類の感性に関する尺度で印象を数値化できます。例えば、肌などの状態を表現する際の「サラサラ」、「カサカサ」という言葉はどちらも乾いた印象ですが、より乾いているのは「カサカサ」の方でしょう。「キシキシ」は、さらに否定的なイメージです。微妙に異なるこうした感覚を瞬時に定量化できるのが同システムの特徴です。
これとは逆に、数値化された五感の情報から、新しいオノマトペを作ることも可能です。「生物」の概念をモデル化した汎用的な遺伝的アルゴリズムを使って、オノマトペの生成システムを作りました。五感に基づく新しいオノマトペを作り出せれば、「広告などの新しい表現として使えるほか、隠れた感覚や質感の発見につながる」と坂本教授は期待しています。
モノづくりへの応用も
- 「もふもふ」と入力した場合の評価結果の例
すでに、感性を生かしたモノづくりにも貢献しています。例えば、自動車関連メーカーと共同で、自動車部品に使う模造金属のデザイン制作に関わりました。オノマトペの評価システムを駆使し、初めは「つるつる」した印象だった模造金属につやを落とす加工を施すことで、「ざらざら」とした、実際の金属により近い質感を持つ製品が誕生しました。これにより、模造金属の高級感が一層増したそうです。
また、「ふわキラ小物」「どろどろした粘性の高い素材」といったモノの質感をオノマトペで入力すると、インターネット上の商品やその画像、動画を検索できるシステムも開発しました。味覚についても、例えば「とろーり、とろとろ」を「まろーり、まろまろ」に置き換えるだけで、「より強いとろみを表現できる」ことが明らかになりました。
これらは例えば、商品開発における素材の検討や、食感表現の開拓などにつながりそうです。オノマトペは多様で感覚的な表現ですが、究極的には、「個人ごとの“感覚空間”が作れるだろう」と坂本教授はみています。
医療にも貢献
さらに、医療応用も目指しており、「ズキン」や「シクシク」といった痛みの表現を定量化する多言語表示可能な診断支援システムを開発しました。痛みの度合いを「強い」「鋭い」など複数の要素で数値化し、さらに「ハンマーで殴られたような」「電気が走るような」というように比喩でも表現することで、主観的な痛みを可視化できます。これをAIに適用すれば、将来は“痛みの分かる”ロボットが実現することでしょう。坂本教授は今後、ハードルの高い嗅覚のオノマトペや、「さらさらした人」などパーソナリティ（個性）のオノマトペの評価などを試み、最終的に「オノマトペが使われるあらゆる分野を制覇したい」と考えています。感性に基づくＡＩの開発と日本の未来のモノづくりは、オノマトペが鍵を握っているのかもしれません。
【取材・文＝藤木信穂】