拆分gzip日志文件而不将未压缩的拆分存储在磁盘上

你可以使用 split --filter 选项,如中所述 the manual

zcat biglogfile.gz | split -l500000 --filter='gzip > $FILE.gz'

编辑:不知道何时 --filter 选项已引入,但根据注释,它在 core utils 8.4 .

像下面这样的脚本就足够了。

#!/usr/bin/perl
use PerlIO::gzip;

$filename = 'out';
$limit = 500000;

$fileno = 1;
$line = 0;

while (<>) {
    if (!$fh || $line >= $limit) { 
        open $fh, '>:gzip', "$filename_$fileno"; 
        $fileno++;
        $line = 0; 
    }
    print $fh $_; $line++;
}

有 zipsplit ,但它使用zip算法,而不是gzip算法。