简单并行化

:使用 xargs -n 选项!)

find -name \*.xml -print0 | xargs -0 -n 1 -P 3 bzip2

This perl program 非常适合您的需要,您可以这样做:

runN -n 4 bzip2 `find . | grep ".xml$"`

GNUMake有一个很好的并行特性(例如,-j5),可以在您的情况下使用。创建一个Makefile

%.xml.bz2 : %.xml


all: $(patsubt %.xml,%xml.bz2,$(shell find . -name '*.xml') ) 

然后做一个测试

nice make -j 5

将“5”替换为某个数字,可能比CPU的数量多1个。你可能想做的'好'这只是为了防止别人想使用机器,而你在它。

另一方面,出于这个特定目的,您应该使用pbzip2而不是普通的bzip2(pbzip2可能已经安装,或者至少已经安装在存储库或发行版中)。详情请参见此处: http://compression.ca/pbzip2/

我觉得这种做法适得其反。原因是,同时访问磁盘的进程越多,读/写时间就越长,因此最终结果的结束时间就越长。这里的瓶颈不会是CPU问题,不管您有多少个内核。

我知道这项任务涉及到一些CPU能力(bzip2是一种要求很高的压缩方法),但在走“具有挑战性”的道路之前,请尝试测量第一个CPU负载,我们所有技术人员都倾向于选择比需要更多的路径。

我为bash做了这样的事。parallel make技巧可能一次性快得多,但下面是在bash中实现类似内容的主要代码部分,您需要根据自己的目的对其进行修改:

#!/bin/bash

# Replace NNN with the number of loops you want to run through
# and CMD with the command you want to parallel-ize.

set -m

nodes=`grep processor /proc/cpuinfo | wc -l`
job=($(yes 0 | head -n $nodes | tr '\n' ' '))

isin()
{
  local v=$1

  shift 1
  while (( $# > 0 ))
  do
    if [ $v = $1 ]; then return 0; fi
    shift 1
  done
  return 1
}

dowait()
{
  while true
  do
    nj=( $(jobs -p) )
    if (( ${#nj[@]} < nodes ))
    then
      for (( o=0; o<nodes; o++ ))
      do
        if ! isin ${job[$o]} ${nj[*]}; then let job[o]=0; fi
      done
      return;
    fi
    sleep 1
  done
}

let x=0
while (( x < NNN ))
do
  for (( o=0; o<nodes; o++ ))
  do
    if (( job[o] == 0 )); then break; fi
  done

  if (( o == nodes )); then
    dowait;
    continue;
  fi

  CMD &
  let job[o]=$!

  let x++
done

wait

for i in `find . | grep ".xml$"`; do bzip2 $i&; done

如果您必须在今天解决这个问题,您可能会使用像GNU Parallel这样的工具(除非有专门的并行化工具用于您的任务,如 pbzip2

find . | grep ".xml$" | parallel bzip2

• 观看简介视频,快速介绍: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• 带着对你的爱。