1、我不打算训练词向量,想直接使用Embedding层进行代替,不知道这种思路是否正确或者可行性有多大(尤其时百万词汇量的情况下)?
2、尝试构建了模型并进行训练,但是内存(16G)溢出,想请教下有经验的大神,假如这条线路可行的话,有没有什么经验可以分享?
1、我不打算训练词向量,想直接使用Embedding层进行代替,不知道这种思路是否正确或者可行性有多大(尤其时百万词汇量的情况下)?
2、尝试构建了模型并进行训练,但是内存(16G)溢出,想请教下有经验的大神,假如这条线路可行的话,有没有什么经验可以分享?
可以直接在任务中学习词向量,也就是embedding层学习到词的表示,但是除非你的语料非常大,一般建议最好使用提前预训练好的词向量,用别人训练好的也可以;也可能你的语料与词表非常大,可以缩小词表,把一部分出现频率较低的词给删掉。