【ニュースリリース】電通大とサイバーエージェントがマルチエージェント環境における学習手法の共同研究を実施
2023年04月17日
国立大学法人電気通信大学（東京都調布市、学長：田野俊一）と株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋）は、マルチエージェント環境における意思決定モデルの学習を安定化させる手法に関する共同研究を行い、勾配情報が不完全にしか観測できない場合においても、学習させるモデルが最適なモデルの近傍へと収束することを理論解析とシミュレーションにより、明らかにしました。
本成果は、機械学習の実応用において幅広く適用が可能であり、広告クリエイティブ素材の自動生成や推薦システムなどへの活用が期待されます。
背景
本学と株式会社サイバーエージェントの研究開発組織「AI Lab」は、マーケティング全般に関わる幅広いAI技術の共同研究を実施しており、特に、機械学習領域における研究では、「マルチエージェント環境における学習」や「保育所の利用調整といったマッチング問題」など、機械学習のビジネス応用を広めるための重要なテーマに取り組んでいます。
今回、マルチエージェント環境における意思決定モデルの課題解決に取り組み、本学が初期提案とシミュレーションを、また株式会社サイバーエージェントが理論解析を担当することで、勾配情報が不完全にしか観測できない場合においても、学習させるモデルが最適なモデルの近傍へと収束することを理論解析とシミュレーションにより、明らかにしました。
内容
多くの機械学習タスクでは、学習時間の短縮やシステム制約のため、意思決定モデルの更新に用いる勾配情報にノイズが加わった不完全な形で観測される場合があり、マルチエージェント環境における学習においてもこのような状況は頻繁に発生しています。また、完全な観測が得られる場合において最適なモデルへと収束することが保証されている学習手法（Multipicative Weights UpdateおよびOptimistic MWU）であっても、このような不完全な観測下ではモデルの学習が不安定となることが知られていました（図１および図２）。
本共同研究では、観測した不完全な勾配情報を特定の方向へとわずかに摂動させ、それを元にモデルの更新を行うアルゴリズム（Mutant MWU）を提案しました。本提案手法の元では、観測される勾配情報が不完全な場合においても、学習させるモデルが最適なモデルの近傍へと収束することを理論解析によって示しました。また、摂動させる方向を適応的に調整することで、学習させるモデルを最適なモデルそのものへと収束することを理論解析とシミュレーションの双方で明らかにしました（図３）。
なお、今回の共同研究の成果を記載した共著論文「Last-Iterate Convergence with Full and Noisy Feedback in Two-Player Zero-Sum Games」は、機械学習の分野において権威のある国際会議「AISTATS」で採択されました。
- 図１：従来手法（MWU）
- 図２：従来手法（OMWU）
- 図３：提案手法（MMWU）
今後の展開
今回提案した手法は、機械学習の実応用において幅広く適用が可能であり、広告クリエイティブ素材の自動生成や推薦システムなどへの貢献が期待されます。本学と株式会社サイバーエージェントの研究開発組織「AI Lab」では、今後もマルチエージェント環境における先進的な研究と実用化に取り組んでいきます。
詳細はPDFでご確認ください。