代码之家 › 专栏 › 技术社区 › slashmais

现场采矿工具

site-mining

2

slashmais · 技术社区 · 16 年前

这里提出的许多问题都与我正在做的研究有关。这些问题和答案分布广泛,并不总是很容易找到,进行手动浏览,有时在不相关的主题中也会出现有见地的答案或评论。

我想自动查找这些相关的Q&基于一组关键字,然后使用这些信息作为进一步深入研究的指针。

4 回复 | 直到 16 年前

1

tamersalama 16 年前

另一种选择是使用 Yahoo! Pipes demo )

您可以使用feedURL、过滤器等组合在线可视化地构建这样的系统。。。与编程相比,学习时间最短。[已编辑:时态]

2

1

Mark Reid 16 年前

如果是后者,并且您使用ruby,我完全可以推荐您 WWW::Mechanize . 它提供了一个很好的API,用于编写脚本来搜索网页(通过DOM或文本)、跟踪链接和填写表单。我已经多次使用它来组织信息,这些信息分布在一个网站的多个网页上。

我相信ruby版本是基于以前的 library for perl 但是我不能保证perl版本,因为我没有使用它。

3

0

tamersalama 16 年前

在这种情况下,人机交互工具可能会很有用(无开发成本,可能会有更一致的结果,以及不断变化的需求)。

4

0

btw 16 年前