代码之家 › 专栏 › 技术社区 › angelokh

JSoup自动跟踪javascript重定向

jsoup web-crawler web-scraping

angelokh · 技术社区 · 9 年前

我正在使用JSoup抓取一个站点,但它使用javascript重定向到一个新页面。我确信它没有使用302重定向,因为当我关闭浏览器的javascript时,它将停止重定向。有没有方法允许JSoup自动遵循javascript重定向?如果没有,还有哪些替代方案允许javascript重定向?

1 回复 | 直到 9 年前

Alkis Kalogeris 9 年前

Jsoup是一个解析器。它不包含javascript执行引擎,因此无法执行javascript。为了执行javascript,您必须使用 headless browser 喜欢 selenium webdriver .

另一种选择是解析负责重定向的javascript(作为文本)并提取url。在那之后,你只需要做你通常做的事情,就可以浏览网站了。但这是一个“黑客”,它不是自动的,我不知道它是否足以满足您的需要。

推荐文章

Omega500 · AttributeError:ResultSet对象没有属性“find\u all”

2 年前

Christina Norwood · 我需要什么Python技术来获取二进制边距数据?

2 年前

mexicanRmy · Selenium Select不处理下拉元素

2 年前

yash agarwal · Python Selenium-如何基于span标记内的文本提取元素?

2 年前

Amar · 漂亮汤错误:“NoneType”对象没有属性“find\u all”

2 年前

Fadi Ft Ftena · 基于类名的Web抓取

2 年前

Amen Aziz · 熊猫中的数据被覆盖

2 年前

Amen Aziz · csv文件中的数据不提供任何信息

2 年前

Jensen Holm · 在非常大的字符串中查找链接时遇到问题

2 年前

Yungi Jeong · 在使用selenium进行web抓取后,我在csv文件中得到了奇怪的结果。。内容不是特定的内容,而是html代码

2 年前