编码问题在 Python 中一直是个巨坑。关于 Python 2 的编码问题，之前写过一篇文章：

在 Python 3 中，编码问题得到了改进，str 类型直接使用 unicode 进行存储，不带有编码。但真的就一劳永逸了吗？事实上，虽然填上了一些坑，但也会带来新的坑。尤其结合 Windows 使用，那酸爽……真是谁用谁知道😂。

Crossin编程教室的 WooDumpling 同学在学习中做了一点总结，分享 Python 3 的学习者。

相关概念

bytes unicode str
encode decode

bytes

相当于Python2中的str类型，从网页上抓取下来的数据流也是该类型的
在Python3中，要得到一个byte类型的变量，可以在字符串内容前面加入b得到，但前提是该字符串的内容是可以完全由ascii码表示的，否则会出现语法错误

>>>s1 = "你好"
>>>s1
'你好'
>>>type(s1)
<class 'str'>

>>>s2 = b'你好'
>>>  
    File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

>>>s2 = b'abc'
>>>s2
b'abc'
>>>type(s2)
<class 'bytes'>

unicode

unicode为解决传统字符编码的局限性而产生，为每一种语言的每一个字符设置了统一且唯一的二进制码，Python内部用于记录的也是该编码方式
上面的例子中s1就是通过unicode码来进行存储的

str

在Python3中的str类型对应的就是Python2中的unicode类型，即以统一的unicode码保存。而且，在Python3中，程序中所设置的字符串即直接保存为统一的str类型（unicode）
上面的例子中s1就是str类型的变量

encode与decode

由于存在着这两种不同的类型，势必要牵涉到二者的互相转化。bytes通过某一种编码方式（encode）得到str，而str通过某一种解码方式（decode）得到bytes

问题：为何会出现乱码的情况

unicode是表示了世界上所有的字符的, 但是其内部的存储是以二进制位存储的，比如你好的unicode编码为\u4f60\u597d
但是我们所见到的并不是\u4f60\u597d这一串编码，而是你好这两个汉字
这是由于控制台环境本身提供一个编码方式，比如uft-8，gbk，cp936等，通过这些编码方式，unicode码就转换成了我们可识别的字符了
但是，不同的编码方式之间是存在区别的，当得到一个通过A方式编码得到的bytes类型，如果用B方式去进行解码的话，它就会按照B的标准去解读，那样就会出现乱码的现象

s = "你好"
print(s)
s1 = s.encode("utf-8").decode("gbk")
print(s1)

# output
# 你好
# 浣犲ソ

因此，开发的时候要弄清楚输入来源的编码以及输出环境的编码，尽可能保证一致性，或者做好转换的工作，可以减少出现乱码的可能性

问题：如何获取编码方式的信息？

获取目标bytes的编码方式

这一情况可以通过chardet模块的detect()函数来获取信息，chardet是第三方库，可以通过pip来安装

# b是待检测的bytes变量
import chardet
print(chardet.detect(b))

# output
# {'confidence': 1.0, 'encoding': 'ascii'}

confidence是指匹配程度，encoding是指可能的编码方式

获取当前环境的编码方式

这一情况可以使用sys模块下的getdefaultencoding()函数来获取信息

import sys
print(sys.getdefaultencoding())

# output
# utf-8

问题：在控制台上看到的到底是什么？

写上面的东西的时候产生了一个疑问，现在已经知道Python内部存储str的方式是使用unicode字符集，但是我们在屏幕上看到的并不是unicode字符集

s = "你好"
print(s)

# output
# 你好
# s's unicode is \u4f60\u597d

那么，这中间应该是进行了某种转换
实际上，在执行print(str)的时候，python内部执行了encoding操作，控制台拿到的其实是一个bytes变量
之后，控制台又根据环境内部的编码方式，将所得到的bytes内容进行decoding的操作，就显示了原先str的内容

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。