代码之家 › 专栏 › 技术社区 › Shyama Sonti

从HTTPS获取最新的XML文件

request beautifulsoup https python

Shyama Sonti · 技术社区 · 7 年前

我试图修改这段代码,但没有成功。请帮忙。

from bs4 import BeautifulSoup
import urllib.request
import requests

url = 'https://www.oasis.oati.com/cgi-bin/webplus.dll?script=/woa/woa-planned-outages-report.html&Provider=MISO'
response = requests.get(url, verify=False)
#html = urllib.request.urlopen(url,verify=False)
soup = BeautifulSoup(response)

我想beautifulsoup不读取响应对象。如果我使用urlopen函数,它会抛出SSL错误。

2 回复 | 直到 7 年前

alecxe 7 年前

BeautifulSoup 不理解 requests 的 Response .content 并将其传递给“soup”进行解析:

soup = BeautifulSoup(response.content, "html.parser")  # you can also use "lxml" or "html5lib" instead of "html.parser"

也理解“类似文件”的对象-这意味着,一旦您解决了SSL错误问题,您可以执行以下操作:

data = urllib.request.urlopen(url)
soup = BeautifulSoup(data, "html.parser")

Shyama Sonti 7 年前

首先,我没有正确地提出我的问题。但在进一步研究之后,我发现我确实在试图提取引用的url标记中的所有url。再加上一些靓汤的背景,我会用汤。查找所有('a')。

推荐文章

yash agarwal · Python Selenium-如何基于span标记内的文本提取元素?

2 年前

Amar · 漂亮汤错误:“NoneType”对象没有属性“find\u all”

2 年前

ihonestlydontKnow · Python(BeautifulSoup)仅1个结果

2 年前

ARH · 如何使用Selenium识别网站中使用的所有标签

2 年前

Kevin Rodgers Jr. · Python BeautifulSoup:在in select语句中排除其他标记

2 年前

Jensen Holm · 在非常大的字符串中查找链接时遇到问题

2 年前

koshiboto · 使用python(bs4)从段落中获取第一个不位于括号之间的常规链接

2 年前

LaddieMawery · Beautifulsoup获取嵌套跨元素时遇到问题

2 年前

Ventorro · Python和Web抓取的新手。抓取一个HTML表格——但是它并没有显示所有的列

2 年前

aphexlog · 正在尝试使用BeautifulSoup将新行附加到表体中的第一行

2 年前