11-14序列化模块之json、pickle、shelve

摘要:
序列化的目的:1。用户定义对象在某种形式的存储中的持久性;2.将物体从一个地方转移到另一个地方。如果字典或序列被转换为json文件,那么也可以使用java代码或js代码。

序列化的目的

1、以某种存储形式使自定义对象持久化
2、将对象从一个地方传递到另一个地方。
3、使程序更具维护性。
序列化--转向一个字符串数据类型
序列--及时字符串

何处用到:
  数据存储
  网络上传输的时候


从数据类型到字符串的过程,叫做序列化
从字符串到数据类型的过程,叫做反序列化

分类
json *****
pickle ****
shelve ***

特点
json(可以进行序列化的有:数字,字符串,列表,字典,元组(将元组转成序列表进行序列化))
通用的序列化格式
只有很少的一部分数据类型能够通过json转化成字符串
pickle
所有Python中的数据类型都可以转化成字符串形式
pickle序列化的内容只有Python能够理解
且反序列化依赖代码
shelve
序列化句柄
使用句柄直接操作,非常方便

jsonhe和pickle的选择

json是一种所有的语言都可以识别的数据结构。
如果将一个字典或者序列化成了一个json存在文件里,那么java代码或者js代码也可以拿来用。
但是如果我们用pickle进行序列化,其他语言就不能读懂这是什么了~
所以,如果序列化的内容是列表或者字典,非常推荐使用json模块
但如果出于某种原因你不得不序列化其他的数据类型,而未来还会用python对这个数据进行反序列化的话,那么就可以使用pickle
 

1.Json模块

提供了四个功能:dumps(序列化方法)、dump、loads(反序列方法)、load
对于json来说,可以分步的dump和load
dumps、loads:对内存中的数据进行操作,数据操作完成后还在内存中
dic = {'k1':'v1'}
# dic = (1,2,3)
print(type(dic),dic)    #<class 'dict'> {'k1': 'v1'}
import json
str_d = json.dumps(dic)
print(type(str_d),str_d)    #<class 'str'> {"k1": "v1"}
dic_new = json.loads(str_d)
print(type(dic_new),dic_new)    #<class 'dict'> {'k1': 'v1'}
print(dic==dic_new) #True

dump、load:是与文件相关的操作
import json
dic = {1:'a',2:'b'}
f = open('fff','w',encoding='utf-8')
json.dump(dic,f)  #写入文件
# json.dump(dic,f)  #写入文件
f.close()

f = open('fff')
res=json.load(f)    #从文件读
f.close()
print(type(res),res)


import json
dic = {1:'中国',2:'b'}
f = open('fff','w',encoding='utf-8')
# json.dump(dic,f)  #写入文件
json.dump(dic,f,ensure_ascii=False)  # 写入文件
f.close()

f = open('fff',encoding='utf-8')
res=json.load(f)    #从文件读
f.close()
print(type(res),res)

#分次写入
l = [{'k1':'v1'},{'k2':'v2'},{'k3':'v3'}]
f = open('file','w')
import json
for dic in l:
    str_d = json.dumps(dic)
    f.write(str_d+'
')
f.close()

#分次读出
f = open('file')
import json
l = []
for line in f:
    dic_new = json.loads(line.strip())
    l.append(dic_new)
print(l)  #[{'k1': 'v1'}, {'k2': 'v2'}, {'k3': 'v3'}]
f.close()

2.pickle模块

pickle序列化之后看不出来有何内容(文件必须以wb或者rb文件打开)
对于pickle来说,可以分步的dump和load
dic = {'k1':'v1','k2':'v2'}
print(type(dic),dic)    #<class 'dict'> {'k1': 'v1', 'k2': 'v2'}
import pickle
str_d = pickle.dumps(dic)
print(type(str_d),str_d)    #<class 'bytes'> b'x80x03}qx00(Xx02x00x00x00k1qx01Xx02x00x00x00v1qx02Xx02x00x00x00k2qx03Xx02x00x00x00v2qx04u.
dic_new = pickle.loads(str_d)
print(type(dic_new),dic_new)    #<class 'dict'> {'k1': 'v1', 'k2': 'v2'}
print(dic==dic_new) #True

import pickle
import time
struct_time1  = time.localtime(1000000000)
struct_time2  = time.localtime(2000000000)
print(struct_time1)  #time.struct_time(tm_year=2001, tm_mon=9, tm_mday=9, tm_hour=9, tm_min=46, tm_sec=40, tm_wday=6, tm_yday=252, tm_isdst=0)
print(struct_time2) #time.struct_time(tm_year=2033, tm_mon=5, tm_mday=18, tm_hour=11, tm_min=33, tm_sec=20, tm_wday=2, tm_yday=138, tm_isdst=0)
f = open('pickle_file','wb')
pickle.dump(struct_time1,f)  #写入文件
pickle.dump(struct_time2,f)  #写入文件
f.close()

f = open('pickle_file','rb')
struct_time1_new = pickle.load(f)   #读文件
struct_time2_new = pickle.load(f)   #读文件
print(struct_time1_new.tm_year) #2001
print(struct_time2_new.tm_year) #2033
f.close() 

3.shelve模块

只提供了一个open方法,用key进行访问,使用起来与字典类似
存文件的方式也是不透明的
import shelve
f = shelve.open('shelve_file')
f['key']={'int':1,'float':0.1,'String':'Sample data'} #直接对文件句柄进行操作就可以直接存入数据
f.close()

import shelve
f1 = shelve.open('shelve_file')
context = f1['key'] #取出数据的时候也只需要直接用key获取即可,但是如果key不存则会报错
f1.close()
print(context)

 由于shelve在默认情况下是不会记录待持久化对象的任何修改的,所以在shelve.open()的时候需要修改默认参数,否则对象的修改不会保存

import shelve
f1 = shelve.open('shelve_file')
# print(f1['key'])
f1['key']['new_value'] = 'this was not here before'
f1.close()

f2 = shelve.open('shelve_file',writeback=True)
# print(f2['key'])
f2['key']['new_value'] = 'this was not here before'
print(f2['key'])
f2.close()

  

免责声明:文章转载自《11-14序列化模块之json、pickle、shelve》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Oracle修改监听端口教程Node.js Express博客项目实战 之 项目需求分析下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Java安全之RMI协议分析

Java安全之RMI协议分析 0x00 前言 在前面其实有讲到过RMI,但是只是简单描述了一下RMI反序列化漏洞的利用。但是RMI底层的实现以及原理等方面并没有去涉及到,以及RMI的各种攻击方式。在其他师傅们的文章中发现RMI的攻击方式很多。 所以在此去对RMI的底层做一个分析,后面再去对各种攻击方式去做一个了解。 0x01 底层协议概述 RPC RPC(...

C# Xml序列化与反序列化

Xml文本的序列化与反序列化: public static class XmlSerializeHelper { // 序列化:对象 -> Xml文本 public static string SerializeToXmlString(object obj) {...

C# XML序列化实例学习

代码         /// <summary>        /// 反序列化        /// </summary>        /// <param name="type">对象类型</param>        /// <param name="filename">文件路径<...

JSON反序列化接口的问题

今天在使用JSON序列化类时出现问题,原来类中有一个接口,在反序列化时不知道接口的实体是什么 public class Device : IComparer { private string _deviceid; private string _devicename; private string _deviceaddr = "01"; private s...

java反序列化-ysoserial-调试分析总结篇(6)

前言: 这篇记录CommonsCollections6的调试,外层也是新的类,换成了hashset,即从hashset触发其readObject(),yso给的调用链如下图所示 利用链分析: 首先在hashset内部首先获取器容量与负载因子等操作,然后创建hashmap,将ObjectinputStream中的对象放到hashmap中,即调用hashm...

为什么java使用对象序列化到文件,打开之后是乱码,而且更换编码格式查看也不能正常显示呢

因为乱码才是正常的,序列化和反序列话是基于二进制流的,这个二进制流不受制于任何字符编码格式 序列化是把Student对象的信息以二进制存储在文件obj.bat中,不是以特定的字符编码格式输出的 用文本编辑器打开自然是乱码。只有通过反序列话才能将存储的二进制读取出来,然后显示在控制台上。 要是想不是乱码,需要自己实现序列化(俺不会)...