Convolutional Neural Networks for Sentence Classification
CNNを使用した文章分類として非常に興味深い論文であり、特に個人的には下の表で、埋め込み層を学習可能にしていた時と、していなかった時の最終的な埋め込みベクトルから得られる各単語の分散表現が興味深い。word2vecでの事前学習のみの際はgoodとbadは似たベクトル関係にあり、それらの違いを知る余地はなかったが、極性分類を学習したあとにはgoodにはポジティブな属性、badにはネガティブな属性が付与されているように見て取れる。
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
この論文で提案されている、Attention機構をCNNを含んだネットワークで使用するという考えは非常に面白いと感じた。 文書分類等を扱った多くの論文で、CNNは画像だけではなく自然言語においても特徴を抽出することができることを示唆しているので、文章のモデリングにCNNを使用するのは自然な発想であり、Attentionを使用して独立していた2文章の関連性を学習するというのも直感的で、これらの組み合わせはこれからも他の自然言語処理タスクに応用されていきそうな気がしている。
Deep Residual Learning for Image Recognition (arxiv)
非常にシンプルな機構で、層を深くした際の問題を解決していて非常に興味深い論文である。
この論文が発表された後に、このモデルの拡張を行うことで精度を上げてきた構造も存在してるが基本的な構造は変化していない。
あくまで自分の見解だが、Residual Functionで行われていることと、ニューラル翻訳を筆頭に自然言語で取られているAttention機構は、各層での情報をそれ以降の層で失われることがないように伝えていこうとしている意味では同様の役割を果たしているのではないかと考えることができる。
Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks (arxiv)
本論文では、対話エージェントを学習するために必要なスキルセットを評価するためのタスクの定義と、それらのタスクでの精度を評価するためのベースラインとなる結果を示していた。 印象として、上記の結果の表を見ている感じだと、正答率100%のタスクも多数出現しており、問題の難易度を考慮すると、これから先、このデータセットによるこれらのタスクによりモデルを評価できるかどうかには疑問が残る。 それでもbow of wordsから3-gramに変更してからの、精度の上昇は綺麗に確認することができてはいるので方向性としては悪くはないように感じる。
Memory Networks自体はニューラルネットワークを用いる必要はなく、質問に答えるのに必要な記憶を長期記憶から発見する関数を学習する。 つまり、記憶の選択と回答候補の選択に使用するスコアリング関数の最適化を行うためのフレームワークとして捉えることができるため、"6 Conclusions and future work" にも書いてあるがQAタスク以外にも広く応用できる印象を受けた。
