python3中的编码与解码原理

>>> a = '中文'

>>>a

'中文'

>>> print(a)

中文

 

>>> b = 'English'

>>>b

'English'

>>> print(b)

English

>>> aa = a.encode('utf-8')
>>>aa
b'xe4xb8xadxe6x96x87'
>>> a.encode('gbk')
b'xd6xd0xcexc4'
>>> aa.decode('utf-8')
'中文' 
>>>type(a)
<class 'str'>
>>>type(aa)
<class 'bytes'>
 >>> 'u4e2du6587''中文'
>>> print('u4e2du6587')
中文 
>>> b.encode('ascii')
b'English'
>>> b.encode('utf-8')
b'English'
>>> b.encode('gbk')
b'English'

1.编码与解码

首先要知道python3中涉及到编码与解码的主要只有两个方法：编码encode和解码decode
编码(encode)过程是将Unicode形式转化为utf-8等其他形式
解码(decode)过程是将utf-8等其他形式转化为Unicode形式
这里一定一定要注意，要把Unicode和utf-8等其他形式区分来看待，Unicode自己是一类，其他形式合在一起是一类
Unicode形式的字符串的type是str，utf-8等其他形式的字符串的type是bytes
可以理解成Uincode就是我们看到的字符本身，utf-8等其他形式是存储进文件时的格式
Unicode形式的字符串用print打印出来就是我们看到的字符，其他格式print都是一些16进制数
在python3中不涉及与文件、网页交互时，不涉及到编码解码，也不会涉及到乱码之类的问题，上面展示的只供学习使用（而python2是涉及的，因此很多人会说弃用py2改用py3就没有编码问题了，说的就是这里）
python3中a = '中文'这样赋值默认a的编码方式是Unicode，encode之后得到的aa是二进制格式（二进制和16进制本质上是一样的）
编码和解码过程是这样的：比如一串字符，最初以GBK编码格式存在文件中，我们想将其变成UTF-8编码。需要先用GBK编码将原始的二进制数翻译成字符，即由GBK编码向Unicode编码进行转换，这是解码过程；得到字符之后再去找这些字符在UTF-8编码下对应什么二进制数，这些二进制数就是我们要的结果，这是编码过程，由Unicode向UTF-8编码的转换。所以Unicode相当于一个中介，所有编码的相互转化都要经过它。