ResidualNNメモ

ILSVRC2015 classification taskで1位だった手法．開発はMicrosoft Researchの人．

[1512.03385] Deep Residual Learning for Image Recognition

NNの層数を増やすと精度はサチった後どんどん低下する．これはテストエラーが増加する（オーバーフィッティング）だけでなく，トレーニングエラーも増加する（これはオーバーフィッティングでは説明できない）． これは変な話である．浅い学習済みのNNの後ろに恒等変換する層を足せば同じ精度でより深いNNが得られるはずなのに，実際の学習では同じ精度どころか悪くなっていくのだ． そこで，明示的に恒等変換の層を加えて結果を足してやるというのがResidualNNのアイデア．

レイヤの構造それ自体は単純で，層数を増やして深くしても精度が悪くならなくなったため，マシンパワーさえあれば適当な設計でも良い精度が出せるようになった． 逆に言えばうまくチューニングすればより少ない層数で精度を高めることはできるようだ（cifar10はもっと精度の高い浅いモデルが存在する．CIFAR-10 Competition Winners: Interviews with Dr. Ben Graham, Phil Culliton, & Zygmunt Zając | no free hunch）．