【论文笔记】Skip-Thought Vectors

文章目录

1. 1. 前期知识补充
   1. 1.1. 词表示加权->句子表示
      1. 1.1.1. TF-IDF
      2. 1.1.2. SIF
   2. 1.2. 基于神经网络的词表示
      1. 1.2.1. Mikolov提出的Sentence Embedding
      2. 1.2.2. 基于复述句匹配的句表示
   3. 1.3. 两类方法对比

本篇笔记基于《Skip-Thought Vectors》论文编写。

注：笔记学习参考深度之眼人工智能Paper训练营NLP方向第七课时课程。

前期知识补充

词表示加权->句子表示

词向量的加权方式一般遵循一个准则：越常见的词权重越小。

TF-IDF

TF-IDF(x)=TF(x)*IDF(x)
TF(x)=x 表示x在语料库中出现的次数,x即词语
IDF(x)=log(N/N(x))
N是语料库中的句子总数,N(x)位当前语料库中出现x的句子个数

SIF

SIF(x)=α/(TF(x)+α)
其中α是为了防止TF(x)等于0的情况

基于神经网络的词表示

Mikolov提出的Sentence Embedding

基于复述句匹配的句表示

·测试数据集包含情感分类、主题分类、语义相似性度量、复述句检测、文本蕴含等
·测试方法为：固定句表示，在对应任务等训练数据集上学习分类器

需要补充复述句相关的材料

两类方法对比

(1)基于语言模型的句子表示，利用了词与词之间的共现信息，可大规模训练:
-优点：可以利用无监督预料，成本低.
-缺点：忽略了句子间的语义信息.
(2)基于复述句对的句表示方法,预料可通过机器翻译大规模获得，建模句对关系:
-优点：建模了句对之间的相似与不相似关系.
-缺点：仅仅建模了相关性，忽略了句子间复杂的语义关系.