使用起始字节确定项目的编码

如何解决使用起始字节确定项目的编码

我最近遇到了这个字符串：b'\xd5\xa3Lk\xd4\xad\xaeH\xb8\xae\xab\xd8EL3\xd1RR\x17\x0c\xea~\xfa\xd0\xc9\xfeJ\x9aq\xd0\xc57\xfd\xfa\x1d}\x8f\x99?*\xef\x88\x1e\x99\x8d\x81t`1\x91\xebh\xc5\x9d\xa7\xa5\x8e\xb9X'，我想解码它。 现在我知道使用带有 string.decode() 的 python 是可能的，但它需要编码。如何确定解码此字符串的编码？

解决方法

我之前对您的问题的评论，部分准确，部分错误。来自 Standard Encodings 的文档：

如果没有外部信息，就不可能可靠地确定使用哪种编码对字符串进行编码。每个charmap 编码可以解码任何随机字节序列。然而，这对于 UTF-8 来说是不可能的，因为 UTF-8 字节序列的结构不允许任意字节序列。

因此，您应该尝试使用“utf-8-sig”进行解码（对于字节顺序标记或 BOM 可能作为前 3 个字节出现的一般情况——不是你的例子的情况，所以你可以只使用'utf-8'）。但是，如果失败，则不能保证您知道使用试错解码使用了哪种编码，因为根据上述文档，尝试使用其他编解码器进行解码可能会成功（并且可能会给您带来垃圾）。如果 `utf-8' 解码成功，可能就是使用的编码。见下文。

s = 'abcde'
print(s.encode('utf-32').decode('utf-16'))
print(s.encode('cp500').decode('latin-1'))

打印：

 a b c d e
�����

当然，“utf-8”编码也可以成功解码使用“ascii”编解码器编码的字符串，因此存在这种不确定性。