代码之家 › 专栏 › 技术社区 › Alan Featherston

向文本文件添加行号的快速方法

file-manipulation bulkinsert sql-server

Alan Featherston · 技术社区 · 15 年前

我有一个文件,里面有12英里长的线,每一行都是这样的:

070164801648000202000020303000000200907242058CRLF

我要做的是在数据之前添加一个行编号,这些编号的长度应该是固定的。

其背后的思想是能够将此文件大容量插入到SQLServer表中,然后使用它执行某些操作,这些操作要求每行都有一个唯一的标识符。我曾在数据库方面尝试过这样做,但我还没能完成一个良好的性能(至少在4'以下,1'以下是理想的)。

现在我正在尝试用类似于这样的Python解决方案。

file=open('file.cas', 'r')
lines=file.readlines()
file.close()
text = ['%d %s' % (i, line) for i, line in enumerate(lines)]
output = open("output.cas","w")
output.writelines(str("".join(text)))
output.close()

我不知道这是否有效,但它将帮助我了解它将如何执行和副作用,在我继续尝试新事物之前,我还认为在C中这样做,我有一个更好的记忆控制。

它是否有助于使用低级语言?有人知道更好的方法吗?我很肯定已经完成了,但我什么都找不到。

谢谢

3 回复 | 直到 15 年前

David Z 15 年前

哦,天哪,不,不要一次读完1200万行!如果要使用python,至少要这样做:

file = open('file.cas', 'r')
try:
    output = open('output.cas', 'w')
    try:
        output.writelines('%d %s' % tpl for tpl in enumerate(file))
    finally:
        output.close()
finally:
    file.close()

它使用一个生成器表达式,该表达式一次处理一行文件。

Stefano Borini 15 年前

你为什么不试试N类?

Pierre-Antoine LaFayette 15 年前

斯特凡诺是对的:

$time cat-n file.cas>输出.cas

利用时间,这样你就能知道它有多快。因为cat是纯C代码,所以它比python更快。

推荐文章

K.Z · 无法使用ADO获取Insert命令的记录Id。NET 4.0中的NET

2 年前

Duvan · 将逗号(,)替换为点(.)[副本]

2 年前

Yara1994 · 如果另一列具有特定值-SQL Server,则删除具有唯一Id的所有行

2 年前

Simon Worth · 是否可以使用SqlClient自动获取查询字符串中定义的参数列表

2 年前

Mateen Bagheri · 选择表的计数并选择其自身

2 年前

SoT · SQL Server中求和函数的工作方式

2 年前

rapha123 · 如何使用REPLACE函数使用SQL更改这两个单词?

2 年前

NKAT · 将列值聚合到列表中会产生错误

2 年前

deanpillow · 返回两列中有一个匹配值的记录

2 年前

snowflakes74 · 在Dapper中异步查询多个结果

2 年前