代码之家 › 专栏 › 技术社区 › Schwern

从HTTP::响应有效地读取CSV

ruby

Schwern · 技术社区 · 6 年前

HTTP::Response::Body 而不是把所有的内容放入内存。

CSV.new 需要一个 String 或 IO 字符串 ,在解析整个事件之前,将其全部放入内存中。

CSV.new(response.body.to_s, headers: true).each do |row|
    ...
end

我可以逐行读取和解析响应正文吗?

1 回复 | 直到 6 年前

Tarek N. Elsamni 6 年前

根据该基准: https://dalibornasevic.com/posts/68-processing-large-csv-files-with-ruby

从IO读取的内存使用量/占用空间最小,使用 CSV.new .

open-uri 将远程文件/http端点和流读取到 ?

像这样:

require 'open-uri'
require 'csv'

csv = CSV.new(open('https://somesite/data.csv'))

while row = csv.shift # parse one by one with minimal memory footprint
  puts row.inspect
end

推荐文章

Community wiki · 如果我调用Factory.build以使我的控制器测试快速,我如何让Factory Girl永远不会访问数据库?

1 年前

karuhi wairi · 如何解决在尝试运行rake server或rackup config.ru时出现的错误

1 年前

Community wiki · 使用RJB(Ruby java Bridge)的OpenNLP中的java.lang.NullPointerException

1 年前

thesunneversets · 如何使用Nikkou(新手Ruby问题!)

2 年前

Stilian · 存储库设置中没有Github页面部分

2 年前

Kellen · 查看$卷展栏功能列表

2 年前

Akshit Thakur Ak · 我怎样才能把铁轨停下来?

2 年前

Chowlett · Ruby数组#shuffle中的默认随机参数是什么

2 年前

johncssjs · 将数组转换为每个元素的嵌套哈希

2 年前

solidsnake99 · Rails db:如何绕过验证

2 年前