120G+训练好的word2vec模型(中文词向量)
多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型。训练语料:百度百科800w+条,26G+搜狐新闻400w+条,13G+小说:229G+模型参数:window=5min_count=10size=128hs=1negative=0iter=5其它参数见gensim库,执行代码为:gensim.models.Word2Ve...
·
多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型。
训练语料:
百度百科800w+条,26G+
搜狐新闻400w+条,13G+
小说:229G+
模型参数:
window=5
min_count=10
size=128
hs=1
negative=0
iter=5
其它参数见gensim库,执行代码为:gensim.models.Word2Vec(sentence, window=5, min_count=10, size=128, workers=4,hs=1, negative=0, iter=5)
其它相关:
1.分词词典使用了130w+词典。分词代码:jieba.lcut(sentence),默认使用了HMM识别新词;
2.剔除了所有非中文字符;
3.最终得到的词典大小为6115353;
4.模型格式有两种bin和model,使用方式:
(1)bin模型:
import gensim
model = gensim.models.KeyedVectors.load_word2vec_format('model.bin',binary=True)
print(model['love'])
(2)model模式:model = gensim.models.Word2Vec.load(model_path)
下载链接:
更多推荐



所有评论(0)