代码之家 › 专栏 › 技术社区 › Zoltan Hernyak

C#中的英文文本标记化不是python是可能的吗?

lemmatization stemming nltk nlp c#

Zoltan Hernyak · 技术社区 · 6 月前

在我们的软件中,我们必须分析纯文本文件。首先我们应该把文本分成段落,然后分成句子,然后分成记号。最后的步骤(据我所知)是 stemming 和 lemmatization .

如果我们有这样的文本: We are singing great songs about heroes 我很想看到代币[ we , be , sing , great , song , about , hero ]. 正如我所理解的,为了实现这一点,我们需要一些方法来以某种方式找到原文中的标记,但最困难的部分是对其进行词干/引理。

我知道有一个python项目 NLTK 或 spaCy 他们擅长这些事情,但我们需要在这个项目中使用C#。我搜索了几个小时,但找不到任何可用的包。真不敢相信,所以我必须问——有没有libs,或者必须以某种方式从C#调用这些库才能做到这一点?

1 回复 | 直到 6 月前

ewz93 6 月前

根据我的经验,尝试在Python之外进行NLP是一件非常痛苦的事情,但也有一些库可以实现,例如。 https://github.com/curiosity-ai/catalyst ,这似乎支持旅鼠化。

由于词干通常只是一些基于规则的基本算法的实现,您也可以改编其他编程语言的一些代码,或者复制现有的直接实现,如以下所示: https://github.com/nemec/porter2-stemmer

推荐文章

XYZ · 如何将每行的每个字转换为数据帧的数值

2 年前

August Nilsson · 计算R中两个单词嵌入之间的文本相似性时,`select()`不处理列表'

2 年前

John · 使用R中的单词嵌入从文本变量预测数字变量

2 年前

Mucida · BERT2:如何使用GPT2LMHeadModel开始一个句子,而不是完成它

2 年前

Sab Garduño · w2v_列中出现错误(trainFile=file_列,modelFile=model,stopWordsFile=file_stopwords)(下面是完整的错误文本)

2 年前

Bennet Weber · 有没有办法用python找到一个单词的反义词(意思相反的单词)?你知道数据集或nlp工具包吗?

2 年前

Michael W · 从数据帧创建术语频率矩阵的有效方法

2 年前

Moodhi · 计算GEC的F分数

2 年前

user18628526 · 什么时候使用Word2vec和一大堆单词?

2 年前

Merve · 如果我想返回列表上的一个操作,但当它返回空值时它保持不变,我怎么说呢?

2 年前