美丽的汤刮桌子与桌子休息

如果您检查HTML响应(soup),您将看到您在这行中得到的表标记 table_regions = soup.find('table', {'class': "t4"}) 它在包含所需信息的行(包含具有类名的td的行:up dn d1和s1)之前关闭。 那么使用这样的原始td标签如何:

from bs4 import BeautifulSoup as bs4
import requests
import pandas as pd

url = 'https://www.eia.gov/todayinenergy/prices.php'
r = requests.get(url)
soup = bs4(r.text, "html.parser")

a = soup.find_all('tr')
rows = []
subel = []

for tr in a[42:50]:
    b = tr.find_all('td')
    for td in b:
        subel.append(td.string)
    rows.append(subel)
    subel = []

df = pd.DataFrame(rows, columns=['Region','Price_1', 'Percent_change_1', 'Price_2', 'Percent_change_2', 'Spark Spread'])

注意我只使用 a[42:50] 由于a包含网站的所有td,所以将结果切片。如果需要的话,你也可以用剩下的。