Python通过Manager方式实现多个无关联进程共享数据的实现
Python实现多进程间通信的方式有很多种,例如队列,管道等。
但是这些方式只适用于多个进程都是源于同一个父进程的情况。
如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。
Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。
它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。
manager.py代码,实现server和client两个类
#encoding=utf-8 __author__='kevinlu1010@qq.com' ''' 进程间通信 ''' frommultiprocessing.managersimportBaseManager frommultiprocessingimportRLock MANAGER_PORT=6000 MANAGER_DOMAIN='0.0.0.0' MANAGER_AUTH_KEY='aaaaaaaaaaaaaaa' #定义一个Manager类 classInfoManager(BaseManager):pass classDictItem(): def__init__(self,): self.items=dict() defset(self,key,value): self.items[key]=value defget(self,key): returnself.items.get(key) def__setitem__(self,key,value): self.set(key,value) #为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量, #这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以 #这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改 d=DictItem() lock=RLock() InfoManager.register('dict',callable=lambda:d) InfoManager.register('open_qq_login_lock',callable=lambda:lock) classManagerServer(): ''' multiprocessManager服务类 ''' def__init__(self,domain,port,auth_key): self.domain=domain self.port=port self.auth_key=auth_key defstart_manager_server(self): self.queue_manager=InfoManager(address=('',self.port),authkey=self.auth_key) #self.dict=self.queue_manager.dict() self.server=self.queue_manager.get_server() defrun(self): self.start_manager_server() self.server.serve_forever() defstop(self): self.server.shutdown() self.is_stop=1 classManagerClient(): ''' 访问mutiprocessManager的类 ''' def__init__(self,domain,port,auth_key): self.domain=domain self.port=port self.auth_key=auth_key #self.get_share_dict() self.info_manager=InfoManager(address=(self.domain,self.port),authkey=self.auth_key) self.info_manager.connect() defget_dict(self): #self.dict=m.dict() self.dict=self.info_manager.dict() returnself.dict defget_open_qq_login_lock(self): self.open_qq_login_lock=self.info_manager.open_qq_login_lock() returnself.open_qq_login_lock if__name__=='__main__': pass
用法
1.启动一个ManagerServer,这个进程是阻塞的
importmanager defrun(): manager_server=manager.ManagerServer(manager.MANAGER_DOMAIN,manager.MANAGER_PORT,manager.MANAGER_AUTH_KEY) manager_server.run() if__name__=='__main__': run()
2.实例化一个client,获取共享的变量
#进程间共享变量 manager_client=manager.ManagerClient(manager.MANAGER_DOMAIN,manager.MANAGER_PORT,manager.MANAGER_AUTH_KEY) share_dict=manager_client.get_dict() open_qq_login_lock=manager_client.get_open_qq_login_lock()
注意:
对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。