代码之家  ›  专栏  ›  技术社区  ›  Arne

如何获得任意编码的所有字符?

  •  7
  • Arne  · 技术社区  · 6 年前

    如果我想知道哪些字母是ascii字符集的一部分,我可以简单地问python,这很好:

    >>> import string
    >>> string.ascii_letters
    'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'
    

    我搜索了一段时间,但找不到返回任意编码字符集的泛型函数。像这样:

    >>> import string
    >>> string.get_charset('latin1')  # doesn't exist =(
    'abc ... äöü ...'
    

    1 回复  |  直到 6 年前
        1
  •  4
  •   Aran-Fey Kevin    6 年前

    据我所知,标准库中不存在这样的函数。

    由于缺乏更好的想法,这里有一个丑陋的黑客试图用指定的编码对utf8范围内的每个字符进行编码,并删除那些无法编码的字符:

    def get_charset(encoding):
        all_chars = ''.join(chr(x) for x in range(0x110000))
        return all_chars.encode(encoding, errors='ignore').decode(encoding)
    

    >>> get_charset('latin-1')
    '\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0¡¢£¤¥¦§¨©ª«¬\xad®¯°±²³´µ¶·¸¹º»¼½¾¿ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ'
    

    速度测试:

    In [2]: %timeit get_charset('latin1')
    306 ms ± 8.34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)