ML Paper Pickups

株式会社ビルディットの機械学習エンジニアが、読んだ論文をピックアップしつつ、所感を残していくブログです。

「ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs」を読んだ

出典

ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs

所感

この論文で提案されている、Attention機構をCNNを含んだネットワークで使用するという考えは非常に面白いと感じた。 文書分類等を扱った多くの論文で、CNNは画像だけではなく自然言語においても特徴を抽出することができることを示唆しているので、文章のモデリングにCNNを使用するのは自然な発想であり、Attentionを使用して独立していた2文章の関連性を学習するというのも直感的で、これらの組み合わせはこれからも他の自然言語処理タスクに応用されていきそうな気がしている。