网站覆盖率的最佳开源蜘蛛

Solr不是一个爬虫,而是一个搜索引擎(搜索索引以返回结果)。

也就是说,我真的很喜欢 heritrix 因为它的灵活性。大多数爬虫不会执行javascript(但有些爬虫,如heritrix,会尝试从中提取链接),因为即使在今天,这也没有什么意义。问题是,heritrix允许您插入自己的类,以便对已爬网的数据执行您希望的任何操作。

试试HTMLUnit。 http://htmlunit.sourceforge.net/

Solr是一个建立在Lucene之上的搜索引擎。它与爬行无关。看一看 Apache Nutch . 破解javascript可能是一个问题,因为它们通常是集成的,以引导爬行器到达死胡同。

watir 可能对你有用。

使用基于javascript模板创建DOM的页面,您真的需要在spider中执行完整的javascript。看一看 https://github.com/mikeal/spider 对于节点JS。