基于唯一值的列字符串转换

你好像想做一个 label encoding .

我可以想到两种选择: pandas.factorize 和 sklearn.preprocessing.LabelEncoder .

使用 LabelEncoder

from sklearn.preprocessing import LabelEncoder

b = np.zeros_like(a, np.int) 
for column in range(a.shape[1]):
    b[:, column] = LabelEncoder().fit_transform(a[:, column])

然后 b 将:

array([[0, 0, 1],
       [0, 1, 0],
       [1, 2, 2]])

如果您希望能够返回到原始值,则需要保存编码器。你可以这样做:

from sklearn.preprocessing import LabelEncoder

encoders = {}
b = np.zeros_like(a, np.int)
for column in range(a.shape[1]):
    encoders[column] = LabelEncoder()
    b[:, column] = encoders[column].fit_transform(a[:, column])

现在 encoders[0].classes_ 将有:

array(['A', 'D'], dtype='<U3')

这意味着“a”被映射到 0 和“D” 1 .

最后,如果您执行编码覆盖 a 而不是使用新的矩阵 c ,您将获得整数作为字符串( "1" 而不是 一 )你可以用 astype(int ):

encoders = {}
for column in range(a.shape[1]):
    encoders[column] = LabelEncoder()
    a[:, column] = encoders[column].fit_transform(a[:, column])

# At this point, a will have strings instead of ints because a had type str
# array([['0', '0', '1'],
#       ['0', '1', '0'],
#       ['1', '2', '2']], dtype='<U3')

a = a.astype(int)

# Now `a` is of type int
# array([[0, 0, 1],
#        [0, 1, 0],
#        [1, 2, 2]])

使用 pd.factorize

factorize 返回编码列和编码映射,因此如果不关心它,可以避免保存它:

for column in range(a.shape[1]):
    a[:, column], _ = pd.factorize(a[:, column]) # Drop mapping

a = a.astype(int) # same as above, it's of type str
# a is
# array([[0, 0, 1],
#        [0, 1, 0],
#        [1, 2, 2]])

如果要保留编码映射:

mappings = []
for column in range(a.shape[1]):
    a[:, column], mapping = pd.factorize(a[:, column])
    mappings.append(mapping)

a = a.astype(int)

现在 mappings[0] 将具有以下数据:

array(['A', 'D'], dtype=object)

其语义与 编码器[0].类_ 关于sklearn的labelencoder解决方案。

你可以用一种有效的方式去做你想做的事情。

基本上,在跟踪集合或dict中观察到的字母的同时,对输入的每一列中的值进行迭代。这与您已经拥有的内容类似,但效率稍高(避免调用 np.where 一方面)

这是一个函数 charToIx 这将满足您的需求:

from collections import defaultdict
from string import ascii_letters

class Ix:
    def __init__(self):
        self._val = 0

    def __call__(self):
        val = self._val
        self._val += 1
        return val

def charToIx(arr, dtype=None, out=None):
    if dtype is None:
        dtype = arr.dtype

    if out is None:
        out = np.zeros(arr.shape, dtype=dtype)

    for incol,outcol in zip(arr.T, out.T):
        ix = Ix()
        cixDict = defaultdict(lambda: ix())
        for i,x in enumerate(incol):
            if x in cixDict or x in ascii_letters:
                outcol[i] = cixDict[x]
            else:
                outcol[i] = x

    return out

调用函数时指定输出数组的类型。所以输出:

a = np.array([['A',0,'C'],['A',0.3,'B'],['D',1,'D']])
print(charToIx(a, dtype=float))

将是 float 数组:

array([[0. , 0. , 0. ],
       [0. , 0.3, 1. ],
       [1. , 1. , 2. ]])