出典
Deep Residual Learning for Image Recognition (arxiv)
所感
非常にシンプルな機構で、層を深くした際の問題を解決していて非常に興味深い論文である。
この論文が発表された後に、このモデルの拡張を行うことで精度を上げてきた構造も存在してるが基本的な構造は変化していない。
あくまで自分の見解だが、Residual Functionで行われていることと、ニューラル翻訳を筆頭に自然言語で取られているAttention機構は、各層での情報をそれ以降の層で失われることがないように伝えていこうとしている意味では同様の役割を果たしているのではないかと考えることができる。
