浅谈python处理json和redis hash的坑
1、使用MySQLdb读取出来的数据是unicode字符串,如果要写入redis的hash中会变成
"{u'eth0_outFlow':2.5,u'eth1_inFlow':3.44}"
无法使用json.loads,需要提前将unicode转成str:
str(eth0_outFlow)
2、单引号包围的key不是规范的json格式
"{'eth0_outFlow':2.5,'eth1_inFlow':3.44}"
需要转成规范的格式才能使用json.loads()
replace('\'','"')=>'{"eth0_outFlow":2.5,"eth1_inFlow":3.44}'
3、None写入redis的hash是直接变成'None',需要转成'null'才能使用json.loads()
"{'eth0_outFlow':None,'eth1_inFlow':None}"
replace('\'','"').replace("None","null")=>'{"eth0_outFlow":null,"eth1_inFlow":null}'
4、json.loads()会把key的类型从str转成unicode,之后写进redis后就变成了
"{u'eth0_outFlow':None,u'eth1_inFlow':None}"
需要将其转成str的key才能写进redis
value=json.loads(cache) items=value.iteritems() value={k.encode('utf8'):vfork,vinitems} redisCli.hmset(key,value)
5、json.loads如果要保持字典的顺序则可以使用
fromcollectionsimportOrderedDict
json.loads(data,object_pairs_hook=OrderedDict)
6、json.dumps中文乱码解决方法
>>>js=json.loads('{"haha":"哈哈"}') >>>printjson.dumps(js) {"haha":"\u54c8\u54c8"} >>>printjson.dumps(js,ensure_ascii=False) {"haha":"哈哈"}
7、解码出错,使用json.loads会报错'utf8'codeccan'tdecodebyte...则使用忽略错误的方法
json.loads(unicode(str,errors='ignore'))
8、redishash在存入redis后所有key都会变成字符串
9、使用redis的时候尽量减少网络IO操作,有时候可以使用hash代替key-value字符串,会得到事半功倍的效果
10、redis最大内存maxmemory达到设置的最大值时会随机删除设置了expire时间的key,这个让我调试了几个钟
补充知识:redis的hash与string区别
Redishash是一个string类型的field和value的映射表。它的添加、删除操作都是0(1)(平均操作)。
hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型(string类型可以存储对象序列化)。
将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。
(省内存的原因是新建一个hash对象时开始是用zipmap(又称为smallhash)来存储的。
这个zipmap其实并不是hashtable,但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。
对比软件:BeyondCompare3
以上这篇浅谈python处理json和redishash的坑就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。