逐行写入gzip文件

我正在处理大数据(数百万行)。

我有一个COTS脚本来生成这些行,我需要根据内容将这些行注释到不同的文件中。由于文件的大小为纯文本,所以如果数据可以直接以gzip格式写入,这将非常理想。

即。

line_generator | while read line; do
  [[ $line =~ .*0/0.* ]] && { echo "${#line}," | gzip -9 >> REF.out.gz ; }
  [[ $line =~ .*0/1.* ]] && { echo "${line}" | gzip -9 >> MAT.out.gz ; }
  [[ $line =~ .*1/0.* ]] && { echo "${line} | sed 's/X/y/g'" | gzip -9 >> MAT.out.gz ; }
done

同样,由于文件大小和行数非常大,我不确定是否可以先在内存中构建文件,然后再转储到GZIP'ped文件。