获取Python可以编码为的所有编码的列表

一尘不染

获取Python可以编码为的所有编码的列表

python

我正在编写一个脚本，尝试在Python 2.6中尝试将字节编码为许多不同的编码。有什么方法可以获取可供迭代的可用编码列表？

我尝试执行此操作的原因是因为用户的某些文本编码不正确。有有趣的人物。我知道将它弄乱的Unicode字符。我希望能够给他们一个答案，例如“您的文本编辑器将该字符串解释为X编码，而不是Y编码”。我以为我会尝试使用一种编码对该字符进行编码，然后使用另一种编码再次对其进行解码，然后看看我们是否得到相同的字符序列。

即是这样的：

for encoding1, encoding2 in itertools.permutation(encodinglist(), 2):
  try:
    unicode_string = my_unicode_character.encode(encoding1).decode(encoding2)
  except:
    pass

阅读 137

2020-12-20

共1个答案

一尘不染

不幸的encodings.aliases.aliases.keys()是，这不是一个适当的答案。

aliases（正如一个人所期望的那样）包含几种情况，其中不同的键被映射到相同的值，例如1252并且windows_1252都被映射到cp1252。如果不aliases.keys()使用，可以节省时间set(aliases.values())。

但是存在一个更糟糕的问题：aliases不包含没有别名的编解码器（例如cp856，cp874，cp875，cp737和koi8_u）。

>>> from encodings.aliases import aliases
>>> def find(q):
...     return [(k,v) for k, v in aliases.items() if q in k or q in v]
...
>>> find('1252') # multiple aliases
[('1252', 'cp1252'), ('windows_1252', 'cp1252')]
>>> find('856') # no codepage 856 in aliases
[]
>>> find('koi8') # no koi8_u in aliases
[('cskoi8r', 'koi8_r')]
>>> 'x'.decode('cp856') # but cp856 is a valid codec
u'x'
>>> 'x'.decode('koi8_u') # but koi8_u is a valid codec
u'x'
>>>

另外值得一提的是，无论你获得的编解码器的完整列表，它可能是一个好主意，忽略/是不是编码解码字符集的编解码器，但做一些其他的改造如zlib，quopri和base64。

这使我们想到了为什么要“尝试将字节编码为许多不同的编码”的问题。如果我们知道，我们也许可以引导您走向正确的方向。

首先，这是模棱两可的。一种将字节DE编码成unicode，另一种EN编码unicode成字节。您想做什么？

您真正要实现的目标是：您是否要确定要使用哪个编解码器来解码某些传入字节，并计划尝试使用所有可能的编解码器？[注意：latin1将解码任何内容]您是否正在尝试通过尝试使用所有可能的编解码器对其进行编码来确定某些unicode文本的语言？[注意：utf8将对任何内容进行编码]。

2020-12-20