pytorch多进程加速及代码优化方法
目标：优化代码，利用多进程，进行近实时预处理、网络预测及后处理：
本人尝试了pytorch的multiprocessing，进行多进程同步处理以上任务。
fromtorch.multiprocessingimportPool,Manager
为了进行各进程间的通信，使用Queue，作为数据传输载体。
manager=Manager() input_queue=manager.Queue() output_queue=manager.Queue() show_queue=manager.Queue()
即将预处理进程处理后的图像放进input_queue，而网络预测进程实时获取input_queue队列中的数据，一旦放入，就从中取出，输入网络：
while1： input=input_queue.get()
同理，将网络输出放入output_queue，再由后处理进程实时获取并进行后处理，处理后，放入show_queue
从而实现了多进程同步进行预处理、网络预测及后处理，加速了网络实时预测的表现。
问题及解决方案：
1.pytorchcuda报错，re-initialization报错问题：
习惯了在一开始将模型先加载进来放入gpu中，所以模型在主线程就完成了初始化，但是调用网络是在网络预测子进程进行的，就会导致跨进程重复初始化失败。
解决方案：
直接在子进程开始时初始化，其他进程可以设置个延时，等网络初始化好后再开始运行。
同理，数据输入网络也是同样的在子进程进行。
2.python3多进程编程，子进程不报错问题：
一开始总是代码运行起来什么都不出现，就开始各种debug，但因为python3中子进程不报错，出错了就卡在那里，就每次自己找bug很麻烦，所以就急需子进程的报错信息。
解决方案：
用tryexcept组合，来打印子进程中某段程序错误，如下：
try: out=forward(input_img,model,1) exceptExceptionaserror: print(error)
3.进程完全不运行时，考虑是否是输入设置的问题，即当单变量输入时，后面要加都好，如：
pool.apply_async(load_frame,args=(input_queue,))
如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。
4.一开始想优化cv2.resize，想用gpu下的tensor的resize_代替，但发现这种方式和numpy.resize一脉相承啊，根本不是我们想要的resize，如果是变大的话，这种resize会直接按顺序填，然后剩下的就填0，实在是太草率了。。。
解决方案：还没有很好的替代方案，只找了一下，cuda::resize，但是好像貌似没有python接口，要是混合编程好像有点小题大做，得不偿失了。如果各位有较好的方案，欢迎指点迷津。
以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。