python线程池(threadpool)模块使用笔记详解
最近在做一个视频设备管理的项目,设备包括(摄像机,DVR,NVR等),包括设备信息补全,设备状态推送,设备流地址推送等,如果同时导入的设备数量较多,如果使用单线程进行设备检测,那么由于设备数量较多,会带来较大的延时,因此考虑多线程处理此问题。
可以使用python语言自己实现线程池,或者可以使用第三方包threadpool线程池包,本主题主要介绍threadpool的使用以及其里面的具体实现。
一、安装与简介
pipinstallthreadpool pool=ThreadPool(poolsize) requests=makeRequests(some_callable,list_of_args,callback) [pool.putRequest(req)forreqinrequests] pool.wait()
第一行定义了一个线程池,表示最多可以创建poolsize这么多线程;
第二行是调用makeRequests创建了要开启多线程的函数,以及函数相关参数和回调函数,其中回调函数可以不写,default是无,也就是说makeRequests只需要2个参数就可以运行;
第三行用法比较奇怪,是将所有要运行多线程的请求扔进线程池,[pool.putRequest(req)forreqinrequests]等同于
forreqinrequests: pool.putRequest(req)
第四行是等待所有的线程完成工作后退出。
二、代码实例
importtime defsayhello(str): print"Hello",str time.sleep(2) name_list=['xiaozi','aa','bb','cc'] start_time=time.time() foriinrange(len(name_list)): sayhello(name_list[i]) print'%dsecond'%(time.time()-start_time)
改用线程池代码,花费时间更少,更效率
importtime importthreadpool defsayhello(str): print"Hello",str time.sleep(2) name_list=['xiaozi','aa','bb','cc'] start_time=time.time() pool=threadpool.ThreadPool(10) requests=threadpool.makeRequests(sayhello,name_list) [pool.putRequest(req)forreqinrequests] pool.wait() print'%dsecond'%(time.time()-start_time)
当函数有多个参数的情况,函数调用时第一个解包list,第二个解包dict,所以可以这样:
defhello(m,n,o): """""" print"m=%s,n=%s,o=%s"%(m,n,o) if__name__=='__main__': #方法1 lst_vars_1=['1','2','3'] lst_vars_2=['4','5','6'] func_var=[(lst_vars_1,None),(lst_vars_2,None)] #方法2 dict_vars_1={'m':'1','n':'2','o':'3'} dict_vars_2={'m':'4','n':'5','o':'6'} func_var=[(None,dict_vars_1),(None,dict_vars_2)] pool=threadpool.ThreadPool(2) requests=threadpool.makeRequests(hello,func_var) [pool.putRequest(req)forreqinrequests] pool.wait()
需要把所传入的参数进行转换,然后带人线程池。
defgetuserdic(): username_list=['xiaozi','administrator'] password_list=['root','','abc123!','123456','password','root'] userlist=[] forusernameinusername_list: user=username.rstrip() forpasswordinpassword_list: pwd=password.rstrip() userdic={} userdic['user']=user userdic['pwd']=pwd tmp=(None,userdic) userlist.append(tmp) returnuserlist
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。