代码之家 › 专栏 › 技术社区 › alecxe

将Spacy文档的一部分提取为新文档

spacy document nlp python

alecxe · 技术社区 · 7 年前

我有一个相当长的文本由 Spacy 变成一个 Doc 实例:

import spacy

nlp = spacy.load('en_core_web_lg')
doc = nlp(content)

doc 这里变成了一个 Doc class instance .

现在,由于文本很大,我想在Jupyter笔记本中只使用文档的一部分进行处理、实验和可视化,例如,前100个句子。

如何切片并创建新的 文件 实例是否来自现有文档的一部分?

3 回复 | 直到 7 年前

Sofie VL 5 年前

有一个更好的解决方案,使用 as_doc() 在 Span 对象( https://spacy.io/api/span#as_doc ):

nlp = spacy.load('en_core_web_lg')
content = "This is my sentence. And here's another one."
doc = nlp(content)
for i, sent in enumerate(doc.sents):
    print(i, "a", sent, type(sent))
    doc_sent = sent.as_doc()
    print(i, "b", doc_sent, type(doc_sent))

提供输出:

0 a This is my sentence. <class 'spacy.tokens.span.Span'>   
0 b This is my sentence.  <class 'spacy.tokens.doc.Doc'>   
1 a And here's another one.  <class 'spacy.tokens.span.Span'>   
1 b And here's another one.  <class 'spacy.tokens.doc.Doc'>

(为了清晰起见,代码段完整写出-当然可以进一步缩短)

Uvar 7 年前

达到目的的一种相当丑陋的方法是构建一个句子列表,并从句子子集构建一个新文档。

sentences = [sent.string.strip() for sent in doc.sents][:100]
minidoc = nlp(' '.join(sentences))

感觉应该有更好的解决方案,但我想这至少可行。

Aus_10 6 年前

char_end = 200
subdoc = nlp(doc.text[:char_end])

推荐文章

XYZ · 如何将每行的每个字转换为数据帧的数值

2 年前

August Nilsson · 计算R中两个单词嵌入之间的文本相似性时,`select()`不处理列表'

2 年前

John · 使用R中的单词嵌入从文本变量预测数字变量

2 年前

Mucida · BERT2:如何使用GPT2LMHeadModel开始一个句子,而不是完成它

2 年前

Sab Garduño · w2v_列中出现错误(trainFile=file_列,modelFile=model,stopWordsFile=file_stopwords)(下面是完整的错误文本)

2 年前

Bennet Weber · 有没有办法用python找到一个单词的反义词(意思相反的单词)?你知道数据集或nlp工具包吗?

2 年前

Michael W · 从数据帧创建术语频率矩阵的有效方法

2 年前

Moodhi · 计算GEC的F分数

2 年前

user18628526 · 什么时候使用Word2vec和一大堆单词?

2 年前

Merve · 如果我想返回列表上的一个操作,但当它返回空值时它保持不变,我怎么说呢?

2 年前