NLP中Embedding层是否有用于百万词汇的情况,就是不单独训练词向量,Embedding层代替?
1.可以直接在任务中学习词向量,也就是embedding层学习到词的表示,但是除非你的语料非常大,一般建议最好使用提前预训练好的词向量,用别人训练好的也可以。
2.可能你的语料与词表非常大,可以缩小词表,把一部分出现频率较低的词给删掉。