使用CountVectorizer为LDA主题模型准备数据集

幸运的是,我找到了 helpful 博客给了我答案。

因为我使用了以下方法来标记文本:

import re
REGEX = re.compile(r",\s*")
def tokenize(text):
    return [tok.strip().lower() for tok in REGEX.split(text)]

并将标记器传递给 CountVectorizer 具体如下:

tf = CountVectorizer(tokenizer=tokenize)