代码之家 › 专栏 › 技术社区 › ScottieB

Urllib返回html但没有结束段落标记

urllib web-scraping python-3.x html python

ScottieB · 技术社区 · 6 年前

我正在刮总统辩论的记录。我注意到,当我的scraper提取html元素时,它从不提取段落结束标记( </p> ).

在浏览器中检查源代码

url_to_scrape = 'http://www.presidency.ucsb.edu/ws/index.php?pid=119039'
req = urllib.request.Request(url_to_scrape)
resp = urllib.request.urlopen(req)
resp.read()

我想有两件事发生了:

原始源不包括结束标记,浏览器正在填充它们。

我该如何找出它是哪一个,然后纠正它?

1 回复 | 直到 6 年前

David Culbreth 6 年前

你能检查一下Chrome收到的实际数据包吗?在某些情况下,Chrome会检测并纠正像这样的小遗漏,以便显示页面,即使它们不在数据包中。我猜Chrome修复了这个问题,而实际的源代码是不好的。

推荐文章

Aaron Green · 我的python程序无法识别数据库的存在,即使它在那里

1 年前

danial · 如何在多个字符串的每个位置找到最频繁的字符

2 年前

Henry · 使用Python将json重新格式化为键值对

2 年前

eymentakak · json字典类型错误:字符串索引必须是整数

2 年前

Qubix · 从熊猫数据帧创建相对熵矩阵

2 年前

FÄÅ ÛÅ · 字典、列表和字符串

2 年前

OrbitDuster · 如何使用gmail api在python中打印gmail正文?

2 年前

guiguilecodeur · 如何删除我的词汇表中的重复元素

2 年前

Susheel P M · 这是关于if-else语句[关闭]

2 年前

Slartibartfast · 关于Python版本安装

2 年前