代码之家 › 专栏 › 技术社区 › Roman

urllib:html到csv错误

urllib pandas python

Roman · 技术社区 · 6 年前

我尝试获取表格数据并保存为csv文件,如下所示:

import urllib, pandas as pd
url = 'https://finance.yahoo.com/quote/BTC-JPY/history?period1=1314403200&period2=1314489600&interval=1d&filter=history&frequency=1d'

fo = 'test.txt'                

response = urllib.request.urlopen(url)
html =  response.read()
data = pd.read_html(html)
data.to_csv(fo, index = False, header=False, sep=',', mode='w')

但出现以下错误:

TypeError: ufunc 'add' did not contain a loop with signature matching types dtype('<U95') dtype('<U95') dtype('<U95')

没有熊猫

lines = html.splitlines()
for l in lines:
    fo.write(str(l) + '\n')

它写入字节,无法读取的格式。

我只需要表格数据

Date    Open    High    Low Close*  Adj Close** Volume
Aug 28, 2011    700.99  700.99  700.99  700.99  700.99  -
Aug 27, 2011    700.99  700.99  700.99  700.99  700.99  700

1 回复 | 直到 6 年前

Rehan Azher 6 年前

下面的代码将生成您要查找的内容:

import urllib
import urllib.request
import html5lib
import pandas as pd
from bs4 import BeautifulSoup
url = 'https://finance.yahoo.com/quote/BTC-JPY/history?period1=1314403200&period2=1314489600&interval=1d&filter=history&frequency=1d'

fo = 'test.txt'
pd.set_option('display.max_colwidth', -1)
response = urllib.request.urlopen(url)
html =  response.read()
soup = BeautifulSoup(html)
table = soup.find("table")
headings = [th.get_text() for th in table.find("tr").find_all("th")]
file = open(fo,"w")
file.write(",".join(headings) + "\n")
for row in table.find_all("tr")[1:]:
    data = [td.get_text() for td in row.find_all("td")]
    if len(data)==len(headings):
        file.write(",".join(data) + "\n")
file.close()

输出:

Date,Open,High,Low,Close*,Adj Close**,Volume
Aug 28, 2011,700.99,700.99,700.99,700.99,700.99,-
Aug 27, 2011,700.99,700.99,700.99,700.99,700.99,700

推荐文章

Mainland · Python数据帧规范化值错误:列的长度必须与键相同

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

rpn · 如何在列[1]中连续第二次出现“0”时返回列[0]的值

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前

Gtoth · 如何分割Pandas DataFrame中包含多个日期的两个时间戳之间的差异

1 年前

Domarius · 使用loc为多行设置多列值

1 年前

Swastik Bhattacharyya · 如何在同一类别类型的多列上运行get_dummies()函数?

1 年前

DrZoidberg09 · 如何在字典列表中创建一个新关键字,该关键字是另一个关键字的总和?

1 年前

armstrong3701 · 如何有效地处理熊猫数据框中缺失的数据并计算条件统计?

1 年前

msts1906 · 大熊猫向乳胶的适当多品种出口

1 年前