JackLi · 2019年08月12日

NLP中Embedding层是否有用于百万词汇的情况,就是不单独训练词向量,Embedding层代替?

1、我不打算训练词向量,想直接使用Embedding层进行代替,不知道这种思路是否正确或者可行性有多大(尤其时百万词汇量的情况下)?

2、尝试构建了模型并进行训练,但是内存(16G)溢出,想请教下有经验的大神,假如这条线路可行的话,有没有什么经验可以分享?

1 个回答 得票排序 · 时间排序
嵌入式推理框架 · 2019年08月12日

可以直接在任务中学习词向量,也就是embedding层学习到词的表示,但是除非你的语料非常大,一般建议最好使用提前预训练好的词向量,用别人训练好的也可以;也可能你的语料与词表非常大,可以缩小词表,把一部分出现频率较低的词给删掉。

你的回答