代码之家 › 专栏 › 技术社区 › Vani4ka

Crawler4j、Jsoup和JavaScript:提取用JavaScript修改的属性值

crawler4j jsoup web-crawler css javascript

Vani4ka · 技术社区 · 6 年前

我使用Crawler4j和Jsoup对网站进行爬网,它可以很好地处理HTML文本,但也有一些重要的内容,默认值是用CSS硬编码的,然后用JavaScript动态设置的。例如,我有我需要宽度值,它在CSS中硬编码为10px,但在JavaScript中修改为5px。

有没有一种方法可以在不使用其他爬虫的情况下获取此值?还是一个简单的选择? 我已经有很多代码了,所以如果有可能用Crawler4j重写的话,我不想重写所有的东西。

我希望我的问题足够清楚,并提前感谢您的帮助!

1 回复 | 直到 6 年前

rzo1 6 年前

这是不可能的 crawler4j 也不适用于 jsoup 。它们都只处理静态HTML内容。

在官方GitHub存储库中,有几个与动态JavaScript执行相关的开放问题: #49 ,则, #197 和 #220 。

为了实现您的目标,您需要基于 Selenium ,则, CasperJS 和/或 PhantomJS ,然后可用于高级爬网,包括JavaScript执行。

推荐文章

furkan dogu · 如何使用jsoup获取div标签

7 年前

sandra burgle · 登录网站?(Jsoup)

7 年前

Turgut Tak · JSoup无法解析网站

7 年前

shayan · 使用白名单清除html,并在白名单元素上保留一些属性

7 年前

Fabio C. · 使用jsoup登录Android

7 年前

Tony · 尝试使用jsoup操作网页的数据输入

7 年前

Atalia.d · 如何获取parallelStream()当前索引

7 年前

FireHawk2300 · 多个HTML表行上的Java循环

7 年前

Sudhir Tiwari · 如何使用正则表达式在jsoup文档中获取电话号码

7 年前

syndy1989 · 如何使用groovy解析xml

7 年前