代码之家 › 专栏 › 技术社区 › Bogdan Gusiev

将500万条记录导入rails应用程序

data-import parsing ruby xml ruby-on-rails

Bogdan Gusiev · 技术社区 · 14 年前

我们需要将大量数据(大约500万条记录)导入到postgresqldb underrails应用程序中。数据将以xml格式提供,其中包含用Base64编码的图像。

xml文件的估计大小为40GB。什么样的xml解析器可以在ruby中处理如此多的数据?

谢谢。

3 回复 | 直到 14 年前

Juha Syrjälä 14 年前

你会想用一些 SAX parser . SAX解析器不会一次将所有内容加载到内存中。

googling 给 this blog post . 你可以从那里开始挖掘。

你也可以试着 split 将XML文件分成更小的部分,使其更易于管理。

Sebastian 14 年前

Ryan Bigg Andrés Bonilla 14 年前

您可以使用DBMS CSV加载功能将数据转换为CSV,然后将其加载到数据库中。为了 MySQL it's this PostgreSQL it's this . 我不会用Ruby内置的任何东西来加载40GB的文件,它的内存不太好。最好留给“专业人士”。

推荐文章

batman · 如何用特定模式grep特定行及其子网行?

2 年前

user19251203 · ReactJs:Uncaught TypeError:无法读取未定义的属性(读取“0”)

2 年前

Jensen Holm · 在非常大的字符串中查找链接时遇到问题

2 年前

MBF · PHP导入/解析XML文件内容保存到数据库

2 年前

John Bustos · Javascript——基于字典/对象中的键解析字符串

2 年前

user10717742 · 用java编写的自定义文件解析器需要改进

2 年前

Taj Harris · JSONArray文本必须以“[”开头,位于1[字符2第1行]:需要帮助解析Json

2 年前

Muhsin Muhammed · 向文件中的行添加引号和逗号

2 年前

Felkru · 添加字符串会在Javascript中返回空字符串

2 年前

Mustard Tiger · 熊猫解析文本列

2 年前