GNU/Linux中两个文件(作为行集)的笛卡尔积

下面是执行此操作的shell脚本

while read a; do while read b; do echo "$a, $b"; done < file2; done < file1

虽然那会很慢。 速度的下一步是在awk/perl中完成上述操作。

awk 'NR==FNR { a[$0]; next } { for (i in a) print i",", $0 }' file1 file2

paste -d, <(sed -n "$(yes 'p;' | head -n $(wc -l < file2))" file1) \
          <(cat $(yes 'file2' | head -n $(wc -l < file1)))

join :

$ join -j 2 file1 file2
 a c
 a d
 a e
 b c
 b d
 b e

在shell中执行此操作的机械方法(不使用Perl或Python)是:

while read line1
do
    while read line2
    do echo "$line1, $line2"
    done < file2
done < file1

这个 join 命令有时可以用于这些操作-但是,我不清楚它是否可以作为退化情况进行笛卡尔积。

从双回路向上的一个步骤是:

while read line1
do
    sed "s/^/$line1, /" file2
done < file1

我不会假装这很漂亮,但是。。。

join -t, -j 9999 -o 2.1,1.1 /tmp/file1 /tmp/file2

--加入(GNU coreutils)8.4

编辑 :

DVK 的尝试激发了我的灵感 eval

script='1{x;d};${H;x;s/\n/\,/g;p;q};H'
eval "echo {$(sed -n $script file1)}\,\ {$(sed -n $script file2)}$'\n'"|sed 's/^ //'

还是更简单的 sed 脚本:

script=':a;N;${s/\n/,/g;b};ba'

如果没有 -n 转换

其中:

a, c
a, d
a, e
b, c
b, d
b, e

在Bash中,您可以这样做。它不会读取文件,但这是一个巧妙的技巧:

$ echo {a,b}\,\ {c,d,e}$'\n'
a, c
 a, d
 a, e
 b, c
 b, d
 b, e

更简单地说:

$ echo {a,b}{c,d,e}
ac ad ae bc bd be

通用递归BASH函数可以是这样的:

foreachline() {

    _foreachline() {

        if [ $#  -lt 2 ]; then
            printf "$1\n"
            return
        fi

        local prefix=$1
        local file=$2
        shift 2

        while read line; do
            _foreachline "$prefix$line, " $*
        done <$file
    }

    _foreachline "" $*
}

foreachline file1 file2 file3

当做

解决方案1:

perl -e '{use File::Slurp; @f1 = read_file("file1"); @f2 = read_file("file2"); map { chomp; $v1 = $_; map { print "$v1,$_"; } @f2 } @f1;}'

from itertools import product
print('\n'.join((', '.join(elt) for elt in (product(*((line.strip() for line in fh) for fh in (open('file1','r'), open('file2','r'))))))))

a, c
a, d
a, e
b, c
b, d
b, e

如果您有python 2.6之前的版本:

def product(*args, **kwds):
    '''
    Source: http://docs.python.org/library/itertools.html#itertools.product
    '''
    # product('ABCD', 'xy') --> Ax Ay Bx By Cx Cy Dx Dy
    # product(range(2), repeat=3) --> 000 001 010 011 100 101 110 111
    pools = map(tuple, args) * kwds.get('repeat', 1)
    result = [[]]
    for pool in pools:
        result = [x+[y] for x in result for y in pool]
    for prod in result:
        yield tuple(prod)
print('\n'.join((', '.join(elt) for elt in (product(*((line.strip() for line in fh) for fh in (open('file1','r'), open('file2','r'))))))))

使用 join , awk 和过程替代:

join <(xargs -I_ echo 1 _ < setA) <(xargs -I_ echo 1 _ < setB)
  | awk '{ printf("%s, %s\n", $2, $3) }'

awk 'FNR==NR{ a[++d]=$1; next}
{
  for ( i=1;i<=d;i++){
    print $1","a[i]
  }
}' file2 file1

# ./shell.sh
a,c
a,d
a,e
b,c
b,d
b,e

好的,这是上面丹尼斯·威廉姆森解决方案的推导,因为他注意到他的解决方案不从文件中读取:

$ echo {`cat a | tr "\012" ","`}\,\ {`cat b | tr "\012" ","`}$'\n'
a, c
 a, d
 a, e
 b, c
 b, d
 b, e

GNU并行:

parallel echo "{1}, {2}" :::: file1 :::: file2

输出:

a, c
a, d
a, e
b, c
b, d
b, e

当然 perl 有一个模块用于:

#!/usr/bin/perl

use File::Slurp;
use Math::Cartesian::Product;

use v5.10;
$, = ", ";

@file1 = read_file("file1", chomp => 1);
@file2 = read_file("file2", chomp => 1);

cartesian { say @_ } \@file1, \@file2;

输出:

a, c
a, d
a, e
b, c
b, d
b, e

在里面 fish 这是一条单行线

printf '%s\n' (cat file1)", "(cat file2)