代码之家 › 专栏 › 技术社区 › vent

分析随机网页

text-processing html-parsing parsing html

vent · 技术社区 · 14 年前

我需要解析一堆随机页面,并将它们添加到数据库中。我正在考虑使用正则表达式,但我想知道是否有任何“特殊”技术(除了在已知文本/标记之间查找内容)。内容更像(并非总是):

Some Title
Text related to Title

我想我不需要提取完整的文本,但一些方法知道在哪里的标题/段落和提取的内容从那里。内容本身可能有图片/链接,我想保留。

3 回复 | 直到 14 年前

Community frankie liuzzi 7 年前

S.Lott 14 年前

Daniel Cassidy 14 年前

您需要使用适当的HTML解析器,并通过解析器API(或DOM)提取您感兴趣的元素。

因为我不知道你在用什么语言编程,所以很难推荐一个解析器,但是一些著名的解析器是 Jericho 对于Java,以及 Beautiful Soup 对于Python。

推荐文章

user3127554 · Powershell HTML未格式化

7 年前

user1922364 · 从一个页面获取所有链接

7 年前

GonzaloXavier · 提取R中<option>标记的内容

7 年前

Deepa MG · 如何将参数发送到另一个PHP网站的AJAX POST方法并获取JSON信息

7 年前

Anurag Sharma · 从自由流动的文本中删除html标记以形成独立的句子

7 年前

Shafizadeh · 为什么查询与DOM不匹配?

7 年前

Yannis Dran · 提取存储在磁盘上的html文件的url和名称,并分别打印它们-Python

8 年前

Athapali · 如何使用jquery获取变量中元素的文本?

8 年前

Mona G · html中响应头的jmeter正则表达式提取器

8 年前

Paul · Jsoup-从元素中提取html

9 年前