代码之家 › 专栏 › 技术社区 › sipsorcery

shell命令将大文件拆分为10个小文件

cygwin shell

sipsorcery · 技术社区 · 14 年前

我有一个csv导入文件,有3300万行需要导入我的数据库。我可以用C控制台应用程序导入它,但是在导入超时之后运行的存储过程。因此,我想将文件拆分为10个较小的文件。

我可以在C中完成,但我怀疑使用shell实用程序有更好的方法。我已经安装了cygwin,可以使用所有常见的Linuxshell实用程序。我是否可以使用一些简单的命令组合来分割文件?

4 回复 | 直到 7 年前

Paul R 14 年前

使用 split -例如,每340万行拆分一个文件(应提供10个文件):

split -l 3400000

m1k3y3 12 年前

按行拆分很好,但也可以按大小拆分

从原始文件创建1MB文件

split -b 1024k <file_name>

从原始文件创建1GB文件

split -b 1024m <file_name>

pixelbeat 14 年前

coreutils 8.8中的split版本(尚未发布)将具有以下命令

split -n l/10

现在,您需要为每个文件指定特定的行数。

selva kumar 7 年前

如果csv文件有500行要拆分为两部分(250+250)

下载并安装“cygwin终端”

放置注释“split-l 250 filename.csv”

推荐文章

lonix · 使用sed从JSON中提取非贪婪正则表达式

1 年前

igbins09 · 在shell bash脚本中使用jq将单行JSON转换为csv

2 年前

g00dds · 如何在bash中从文件中的每一行解码base64?

2 年前

domagaja · Linux—更快地读取或收集文件内容(例如,每秒的cpu温度)

2 年前

Paul · Bash wait命令忽略指定的进程ID

2 年前

Code With Banchi · 在sed命令中使用变量-sed-e异常:“s”的选项未知

2 年前

RafaÅ G. · 如何使用从文件读取的多行参数运行ssh?

2 年前

Hemanth Kumar Talluri · CodeDeploy有时会因自动缩放而失败

2 年前

Priya · 在shell脚本中多次运行python脚本

2 年前

Aravinth Kalai · 如何使用Linux shell命令[duplicate]对两列求和并将值保存到第三列

2 年前