Solr-如何以复合“word-1,word-1+word-2,word-1+word-2…word-n”的方式标记字符串中的单词?

我想标记一个字符串,例如 Best Beat Makers 以类似NGram的方式为每个单词生成标记,例如:

IN:  "Best Beat Makers"
OUT: ["Best", "Beat", "Makers", "Best Beat", "Best Beat Makers"]
                                     ^               ^
                                     |               |
                              How can I generate these tokens?

结果应该 不 包括 "Beat Makers" 因为我只想以复合方式对单词进行标记(例如单词1、单词1+单词2、单词1+单词2+单词3等),而不是组合(例如单词1-单词1+单词2-单词2+单词3-等)。

目前,我只能使用以下方式生成前三个令牌 StandardTokenizerFactory 或 ClassicTokenizerFactory 和传统 NGramTokenizerFactory 仅适用于单词的字符(索引有点贵)。

我考虑过的一个选择是使用 标准化令牌工厂 获取前三个令牌,然后创建 copyField 到另一个使用 PatternTokenizerFactory 定义了一个正则表达式来获取最后两个令牌,但如果可能的话,我更愿意只使用一个字段来获取所需的令牌。

如果你更熟悉ElasticSearch,我仍然想听听你的想法,因为Solr和ES之间的标记器或多或少是相似的,可能会把我推向正确的方向。谢谢!