Redis获取某个大key值的脚本实例
1、前言
工作中，经常有些Redis实例使用不恰当，或者对业务预估不准确，或者key没有及时进行处理等等原因，导致某些KEY相当大。
那么大Key会带来哪些问题呢？
如果是集群模式下，无法做到负载均衡，导致请求倾斜到某个实例上，而这个实例的QPS会比较大，内存占用也较多；对于Redis单线程模型又容易出现CPU瓶颈，当内存出现瓶颈时，只能进行纵向库容，使用更牛逼的服务器。
涉及到大key的操作，尤其是使用hgetall、lrange0-1、get、hmget等操作时，网卡可能会成为瓶颈，也会到导致堵塞其它操作，qps就有可能出现突降或者突升的情况，趋势上看起来十分不平滑，严重时会导致应用程序连不上，实例或者集群在某些时间段内不可用的状态。
假如这个key需要进行删除操作，如果直接进行DEL操作，被操作的实例会被Block住，导致无法响应应用的请求，而这个Block的时间会随着key的变大而变长。
在redis中，对于一个很大的key，例如hash类型，直接查看其值会非常慢，于是想到写个脚本通过增量迭代来获取，下面话不多说了，来一起看看详细的介绍吧。
2、具体的脚本如下：
功能：扫描redis某个key里面的所有元素
使用方法：pythonbigkey_save_values.py"zyyset""*"100
3、python脚本实现如下：
#!/usr/bin/envpython
#-*-coding:UTF-8-*-
#功能：扫描某个key里面的所有元素
#使用方法：pythonbigkey_save_values.py"zyyset""m*"100
#如需获取全部的元素：pythonbigkey_save_values.py"zyyset""*"100
__author__="lcl"
importsys
importredis
importos
pool=redis.ConnectionPool(host='192.168.225.128',port=6379,db=0)
r=redis.StrictRedis(connection_pool=pool)
#指定key
key=sys.argv[1]
#扫描匹配值
match=sys.argv[2]
#每次匹配数量
count=sys.argv[3]
#总数量
total=0
#获取当前路径
path=os.getcwd()
keytype=r.type(key)
print"key的类型为%s"%(keytype)
#扫描到的key输出的文件
txt=path+"/%s.txt"%(key)
#打开文件
#f=open(txt,"w")
deflist_iter(name):
list_count=r.llen(key)
forindexinrange(list_count):
yieldr.lindex(key,index)
ifkeytype=='list':
f=open(txt,"w")
foriteminlist_iter(key):
#将匹配到对应key中的member/score输出到文件中
f.write("%s%s"%(item,"\n"))
total=total+1
f.close
elifkeytype=='hash':
f=open(txt,"w")
foriteminr.hscan_iter(key,match=match,count=count):
#将匹配到对应key中的member/score输出到文件中
f.write("%s%s"%(item,"\n"))
total=total+1
f.close
elifkeytype=='set':
f=open(txt,"w")
foriteminr.sscan_iter(key,match=match,count=count):
f.write("%s%s"%(item,"\n"))
total=total+1
f.close
elifkeytype=='zset':
f=open(txt,"w")
foriteminr.zscan_iter(key,match=match,count=count):
f.write("%s%s"%(item,"\n"))
total=total+1
f.close
else:
print("key的类型为string，value为："+r.get(key))
print"key:%s的match：%s的数量为：%d"%(key,match,total)
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。