代码之家 › 专栏 › 技术社区 › Abhishek Ramachandran

通过Nutch Rest API添加URL过滤器regex

nutch web-crawler web-scraping java

Abhishek Ramachandran · 技术社区 · 6 年前

我正在使用Nutch版本1.12来爬网url。我只需要爬网一些特定的url。我知道可以使用 regex-urlfilter 文件。我想知道Nutch REST API中是否有任何选项可以像 nutch-site.xml .

1 回复 | 直到 6 年前

Jorge Luis 6 年前

据我所知,您可以更改配置(更改 urlfilter.regex.file regex-urlfilter.txt 默认情况下)。您可以有不同的文件,然后更改配置以指向不同的文件并重新启动作业。

推荐文章

chans.best · StormCrawler和Hortonworks 1.1.0.2.6.4.0-91之间的Commons日志版本冲突

6 年前

Tae · Python3中方法has\u key的替换

6 年前

Jonas Pohlmann · Stormcrawler没有为elasticsearch获取/索引页面

6 年前

Teslaturing · 在python中从结果中获取指定单词后的动态数字并存储在数据库中

6 年前

Vega · 如何从DOM获取所有链接?

6 年前

Vivek Kumar Sinha · 产生刮痕。请求()无法正常工作以爬网下一页

6 年前

bob9123 · 为什么状态和索引中的文档计数不同?

6 年前

Konstantin · crawler中未启动回调函数,scrapy

6 年前

SY9 · 刮:已爬网并刮取0个项目

6 年前

Vani4ka · Crawler4j、Jsoup和JavaScript:提取用JavaScript修改的属性值

6 年前