我正在刮总统辩论的记录。我注意到,当我的scraper提取html元素时,它从不提取段落结束标记( </p> ).
</p>
在浏览器中检查源代码
url_to_scrape = 'http://www.presidency.ucsb.edu/ws/index.php?pid=119039' req = urllib.request.Request(url_to_scrape) resp = urllib.request.urlopen(req) resp.read()
我想有两件事发生了:
我该如何找出它是哪一个,然后纠正它?
你能检查一下Chrome收到的实际数据包吗?在某些情况下,Chrome会检测并纠正像这样的小遗漏,以便显示页面,即使它们不在数据包中。我猜Chrome修复了这个问题,而实际的源代码是不好的。