研究紹介

ハイパーネットによる畳み込みニューラルネットワークの暗黙的事後分布推定

ニューラルネットワークは複雑な表現を学習することができ，様々なタスクで高い性能を示している．しかし，学習に利用できるデータは限られているため，過学習を起こしやすい．過学習を防ぐためにニューラルネットワークの学習を正則化することは，最も重要な課題の1つである．本研究では，大規模な畳み込みニューラルネットワークを対象とし，ハイパーネットを用いて，パラメータの事後分布を暗黙的に推定することで学習を正則化する．また，パラメータの分布が学習されることから，モデル平均化により識別精度を向上させることができる．

本研究は総務省 戦略的情報通信研究開発推進事業(SCOPE)の委託を受けて行われた．

  • Kenya Ukai, Takashi Matsubara, and Kuniaki Uehara, “Bayesian Estimation and Model Averaging of Convolutional Neural Networks by Hypernetwork,” Nonlinear Theory and Its Applications, IEICE, Vol.E10-N, No.1, 2019. (link)
  • Kenya Ukai, Takashi Matsubara, and Kuniaki Uehara, “Hypernetwork-based Implicit Posterior Estimation and Model Averaging of Convolutional Neural Networks,” Proc. of The 10th Asian Conference on Machine Learning (ACML2018), Beijing, Nov. 2018, pp. 176-191. (acceptance rate 57/230=0.248) (link)

0000.png

0001.png

0002.png

0003.png

0004.png

0005.png

0006.png

0007.png

0008.png