代码之家 › 专栏 › 技术社区 › utengr

设置fastText的字符n-grams的最大长度

fasttext word2vec gensim nltk nlp

utengr · 技术社区 · 7 年前

根据这一点,当我们将字符n-gram的最大长度设置为零时,fastText模型的语义准确性会提高,因此fastText开始表现得几乎像word2vec。它忽略了ngrams。

然而,我找不到任何关于如何在加载fastText模型时设置此参数的信息。有什么办法吗?

1 回复 | 直到 7 年前

gojomo 7 年前

在训练时设置参数,然后使用该参数建立模型,并依赖该参数进行解释。因此,您通常不会在加载已训练的模型时更改它,而且gensim(或原始FastText)中没有API来更改已训练模型的设置。

可以能够近似忽略已训练的字符图形的效果,但这将是一种新模式,与您链接的笔记本中评估的未训练的字符图形模式完全不同。它可能会产生有趣或可怕的结果,如果不尝试,就无法判断。)

推荐文章

XYZ · 如何将每行的每个字转换为数据帧的数值

2 年前

August Nilsson · 计算R中两个单词嵌入之间的文本相似性时,`select()`不处理列表'

2 年前

John · 使用R中的单词嵌入从文本变量预测数字变量

2 年前

Mucida · BERT2:如何使用GPT2LMHeadModel开始一个句子,而不是完成它

2 年前

Sab Garduño · w2v_列中出现错误(trainFile=file_列,modelFile=model,stopWordsFile=file_stopwords)(下面是完整的错误文本)

2 年前

Bennet Weber · 有没有办法用python找到一个单词的反义词(意思相反的单词)?你知道数据集或nlp工具包吗?

2 年前

Michael W · 从数据帧创建术语频率矩阵的有效方法

2 年前

Moodhi · 计算GEC的F分数

2 年前

user18628526 · 什么时候使用Word2vec和一大堆单词?

2 年前

Merve · 如果我想返回列表上的一个操作,但当它返回空值时它保持不变,我怎么说呢?

2 年前