如何处理1GB的文本数据?

http://hadoop.apache.org/pig/

首先,使用哪种语言可能并不重要,因为它可能会受到I/O的限制。更重要的是你要使用有效的方法/算法。尤其要避免在可能的情况下将整个文件读入内存,并避免在将结果写入磁盘之前将其连接成一个巨大的字符串。

我会伸手去拿的 sed .

我将如何处理您询问的大量文本数据? perl -p 's/regex/magic/eg' (或一些类似的/更复杂的变化)。

Perl是文本处理的老大师,这是有充分理由的。不过,我相信Perl的很多优点现在都可以在Python中找到,而且更易于访问,所以当涉及到文本解析时,我通常会运行Python(我以前用Python解析过GB文件)。

AWK或sed的速度可能也很快,但不像Perl-och-Python那么容易扩展。在您的特定情况下,除了解析和重新格式化输出之外,您不想做更多的事情,但是如果您想做更多的事情,那么使用Perl/Python就更容易了。

我真的找不到反对Python和其他东西的论据,所以我想这是我的建议。