Python通过Manager方式实现多个无关联进程共享数据的实现
Python实现多进程间通信的方式有很多种,例如队列,管道等。
但是这些方式只适用于多个进程都是源于同一个父进程的情况。
如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。
Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。
它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。
manager.py代码,实现server和client两个类
#encoding=utf-8
__author__='kevinlu1010@qq.com'
'''
进程间通信
'''
frommultiprocessing.managersimportBaseManager
frommultiprocessingimportRLock
MANAGER_PORT=6000
MANAGER_DOMAIN='0.0.0.0'
MANAGER_AUTH_KEY='aaaaaaaaaaaaaaa'
#定义一个Manager类
classInfoManager(BaseManager):pass
classDictItem():
def__init__(self,):
self.items=dict()
defset(self,key,value):
self.items[key]=value
defget(self,key):
returnself.items.get(key)
def__setitem__(self,key,value):
self.set(key,value)
#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,
#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以
#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改
d=DictItem()
lock=RLock()
InfoManager.register('dict',callable=lambda:d)
InfoManager.register('open_qq_login_lock',callable=lambda:lock)
classManagerServer():
'''
multiprocessManager服务类
'''
def__init__(self,domain,port,auth_key):
self.domain=domain
self.port=port
self.auth_key=auth_key
defstart_manager_server(self):
self.queue_manager=InfoManager(address=('',self.port),authkey=self.auth_key)
#self.dict=self.queue_manager.dict()
self.server=self.queue_manager.get_server()
defrun(self):
self.start_manager_server()
self.server.serve_forever()
defstop(self):
self.server.shutdown()
self.is_stop=1
classManagerClient():
'''
访问mutiprocessManager的类
'''
def__init__(self,domain,port,auth_key):
self.domain=domain
self.port=port
self.auth_key=auth_key
#self.get_share_dict()
self.info_manager=InfoManager(address=(self.domain,self.port),authkey=self.auth_key)
self.info_manager.connect()
defget_dict(self):
#self.dict=m.dict()
self.dict=self.info_manager.dict()
returnself.dict
defget_open_qq_login_lock(self):
self.open_qq_login_lock=self.info_manager.open_qq_login_lock()
returnself.open_qq_login_lock
if__name__=='__main__':
pass
用法
1.启动一个ManagerServer,这个进程是阻塞的
importmanager defrun(): manager_server=manager.ManagerServer(manager.MANAGER_DOMAIN,manager.MANAGER_PORT,manager.MANAGER_AUTH_KEY) manager_server.run() if__name__=='__main__': run()
2.实例化一个client,获取共享的变量
#进程间共享变量 manager_client=manager.ManagerClient(manager.MANAGER_DOMAIN,manager.MANAGER_PORT,manager.MANAGER_AUTH_KEY) share_dict=manager_client.get_dict() open_qq_login_lock=manager_client.get_open_qq_login_lock()
注意:
对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。