出典
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
所感
この論文で提案されている、Attention機構をCNNを含んだネットワークで使用するという考えは非常に面白いと感じた。 文書分類等を扱った多くの論文で、CNNは画像だけではなく自然言語においても特徴を抽出することができることを示唆しているので、文章のモデリングにCNNを使用するのは自然な発想であり、Attentionを使用して独立していた2文章の関連性を学習するというのも直感的で、これらの組み合わせはこれからも他の自然言語処理タスクに応用されていきそうな気がしている。
