Python多进程编程常用方法解析
python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU资源,在python中大部分情况需要使用多进程。python提供了非常好用的多进程包Multiprocessing,只需要定义一个函数,python会完成其它所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、LocK等组件
一、Process
语法:Process([group[,target[,name[,args[,kwargs]]]]])
参数含义:target表示调用对象;args表示调用对象的位置参数元祖;kwargs表示调用对象的字典。name为别名,groups实际上不会调用。
方法:is_alive():
join(timeout):
run():
start():
terminate():
属性:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为-N,表示被信号N结束)、name、pid。其中daemon是父进程终止后自动终止,且自己不能产生新的进程,必须在start()之前设置。
1.创建函数,并将其作为单个进程
frommultiprocessingimportProcess
deffunc(name):
print("%s曾经是好人"%name)
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
p.start()#start()通知系统开启这个进程
2.创建函数并将其作为多个进程
frommultiprocessingimportProcess
importrandom,time
defhobby_motion(name):
print('%s喜欢运动'%name)
time.sleep(random.randint(1,3))
defhobby_game(name):
print('%s喜欢游戏'%name)
time.sleep(random.randint(1,3))
if__name__=="__main__":
p1=Process(target=hobby_motion,args=('付婷婷',))
p2=Process(target=hobby_game,args=('科比',))
p1.start()
p2.start()
执行结果:
付婷婷喜欢运动
科比喜欢游戏
3.将进程定义为类(开启进程的另一种方法,并不是很常用)
frommultiprocessingimportProcess
classMyProcess(Process):
def__init__(self,name):
super().__init__()
self.name=name
defrun(self):#start()时,run自动调用,而且此处只能定义为run。
print("%s曾经是好人"%self.name)
if__name__=="__main__":
p=MyProcess('kebi')
p.start()#将Process当作父类,并且自定义一个函数。
4.daemon程序对比效果
不加daemon属性
importtime
deffunc(name):
print("workstart:%s"%time.ctime())
time.sleep(2)
print("workend:%s"%time.ctime())
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
p.start()
print("thisisover")
#执行结果
thisisover
workstart:ThuNov3016:12:002017
workend:ThuNov3016:12:022017
加上daemon属性
frommultiprocessingimportProcess
importtime
deffunc(name):
print("workstart:%s"%time.ctime())
time.sleep(2)
print("workend:%s"%time.ctime())
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
p.daemon=True#父进程终止后自动终止,不能产生新进程,必须在start()之前设置
p.start()
print("thisisover")
#执行结果
thisisover
设置了daemon属性又想执行完的方法:
importtime
deffunc(name):
print("workstart:%s"%time.ctime())
time.sleep(2)
print("workend:%s"%time.ctime())
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
p.daemon=True
p.start()
p.join()#执行完前面的代码再执行后面的
print("thisisover")
#执行结果
workstart:ThuNov3016:18:392017
workend:ThuNov3016:18:412017
thisisover
5.join():上面的代码执行完毕之后,才会执行后i面的代码。
先看一个例子:
frommultiprocessingimportProcess
importtime,os,random
deffunc(name,hour):
print("Alifelongfriend:%s,%s"%(name,os.getpid()))
time.sleep(hour)
print("Goodbother:%s"%name)
if__name__=="__main__":
p=Process(target=func,args=('kebi',2))
p1=Process(target=func,args=('maoxian',1))
p2=Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
print("thisisover")
执行结果:
thisisover#最后执行,最先打印,说明start()只是开启进程,并不是说一定要执行完
Alifelongfriend:kebi,12048
Alifelongfriend:maoxian,8252
Alifelongfriend:xiaoniao,6068
Goodbother:maoxian#最先打印,第二位执行
Goodbother:kebi
Goodbother:xiaoniao
添加join()
frommultiprocessingimportProcess
importtime,os,random
deffunc(name,hour):
print("Alifelongfriend:%s,%s"%(name,os.getpid()))
time.sleep(hour)
print("Goodbother:%s"%name)
start=time.time()
if__name__=="__main__":
p=Process(target=func,args=('kebi',2))
p1=Process(target=func,args=('maoxian',1))
p2=Process(target=func,args=('xiaoniao',3))
p.start()
p.join()#上面的代码执行完毕之后,再执行后面的
p1.start()
p1.join()
p2.start()
p2.join()
print("thisisover")
print(time.time()-start)
#执行结果
Alifelongfriend:kebi,14804
Goodbother:kebi
Alifelongfriend:maoxian,11120
Goodbother:maoxian
Alifelongfriend:xiaoniao,10252#每个进程执行完了,才会执行下一个
Goodbother:xiaoniao
thisisover
6.497815370559692#2+1+3+主程序执行时间
改变一下位置
frommultiprocessingimportProcess
importtime,os,random
deffunc(name,hour):
print("Alifelongfriend:%s,%s"%(name,os.getpid()))
time.sleep(hour)
print("Goodbother:%s"%name)
start=time.time()
if__name__=="__main__":
p=Process(target=func,args=('kebi',2))
p1=Process(target=func,args=('maoxian',1))
p2=Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
p.join()#需要2秒
p1.join()#到这时已经执行完
p2.join()#已经执行了2秒,还要1秒
print("thisisover")
print(time.time()-start)
#执行结果
Alifelongfriend:kebi,13520
Alifelongfriend:maoxian,11612
Alifelongfriend:xiaoniao,17064#几乎是同时开启执行
Goodbother:maoxian
Goodbother:kebi
Goodbother:xiaoniao
thisisover
3.273620367050171#以最长时间的为主
6.其它属性和方法
frommultiprocessingimportProcess
importtime
deffunc(name):
print("workstart:%s"%time.ctime())
time.sleep(2)
print("workend:%s"%time.ctime())
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
p.start()
p.terminate()#将进程杀死,而且必须放在start()后面,与daemon的功能类似
#执行结果
thisisover
frommultiprocessingimportProcess
importtime
deffunc(name):
print("workstart:%s"%time.ctime())
time.sleep(2)
print("workend:%s"%time.ctime())
if__name__=="__main__":
p=Process(target=func,args=('kebi',))
#p.daemon=True
print(p.is_alive())
p.start()
print(p.name)#获取进程的名字
print(p.pid)#获取进程的pid
print(p.is_alive())#判断进程是否存在
print("thisisover")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。