解决Python3.7.0 SSL低版本导致Pip无法使用问题
终于下决心把python从2.7升到了3.7。懒人安装当然使用Anaconda。
安装成功,编译成功。但是用pip安装包的时候提示:
pipisconfiguredwithlocationsthatrequireTLS/SSL,howeverthesslmoduleinPythonisnotavailable。
原因是python3.7为了安全性考虑,要求使用openssl1.0.2之后的版本。但是自带的openssl,版本是1.0.1。
解决办法:
重装一下openssl
进入
AnacondaPrompt:
condainstall-canacondaopenssl
就一切解决了哈啊哈!完美!
补充知识:Python3使用multiprocessing多进程模块共享变量
在使用Python用CPU跑一个人脸识别的模块,神经网络的计算比较耗时,因为PythonGIL的限制,因此这里使用多进程来并行跑数据集。
在多个进程之间共享简单变量
有很多张人脸图片,现在使用8个进程来分别对人脸图片进行识别,但是要知道总的进度和正确率,因此这里要在各个进程之间共享变量。这里需要的只是整型无符号变量。
在对总的进度和准确率进行计算的时候要加锁,防止别的进程改变
在使用print输出的时候要加锁,因为控制台也是资源,要防止抢占
加锁了之后要记得释放锁
假设8个进程共识别了count张图片,然后正确的图片有correct张。思路如下:
在主进程中声明要共享的count和correct变量,初始化进程的时候传入
在各个进程中识别一张图片count就自增1,识别正确的话correct也要自增1,自增的时候要加锁
控制台输出相关信息的时候也要加锁
#l代表长整型无符号变量
count=multiprocessing.Value('l',0)
correct=multiprocessing.Value('l',0)
lock=multiprocessing.Lock()
#要运行的函数为run(),lis为划分给每个进程的识别图片列表
p=[multiprocessing.Process(target=run,args=(lock,i,count,correct))foriinlis]
foriinp:
i.start()
foriinp:
i.join()
在run函数中:
#多个线程对共享变量进行操作,加锁
lock.acquire()
#图片已经识别完毕,总数加一
count.value+=1
#下面两个if分别为识别正确的情况
ifi[0]==3anddis>=threshold:
correct.value+=1
print("正确率:{0:.5f}总数:{1}正确数:{2}错误数:{3}参数个数:{4}向量夹角:{5:.5f}图片1:{6}图片2:{7}".format(correct.value/count.value,count.value,correct.value,count.value-correct.value,i[0],dis[0],i[1],i[2]))
lock.release()
continue
ifi[0]==4anddis
在多个进程中共享字典dict
准备把识别过的照片特征缓存起来,因此这里使用字典,key就是照片名称,value就是特征值。在此使用mutiprocessing.Manage()来实现。
manager=multiprocessing.Manager()
#这个是用来在多个进程中间共享的字典
sync_dict=manager.dict()
#这个是使用pickle序列化到文件中用的临时字典变量
mem_dict=dict()
#如果存在字典就载入,使用临时字典中转是因为sysnc_dict直接序列化会在下次加载时导致Manager在多个进程中的连接出现问题
ifos.path.exists("./muti_thread_mem.pkl"):
withopen("./muti_thread_mem.pkl","rb")asf:
mem_dict=pickle.load(f)
foriinmem_dict:
sync_dict[i]=mem_dict[i]
使用multiprocessing.Manager()时就不用加锁了,它本身带有同步的功能。在run函数中直接使用就好了。
ifi[1]insync_dict:
#有记录就直接读取缓存
encoding1=sync_dict[i[1]]
else:
#没记录就计算出来再缓存一下
face.file=Image.open(prefix+i[1])
encoding1=face.encodings
sync_dict[i[1]]=encoding1
ifi[2]insync_dict:
encoding2=sync_dict[i[2]]
else:
face.file=Image.open(prefix+i[2])
encoding2=face.encodings
sync_dict[i[2]]=encoding2
如果缓存过就直接读取,如果没有缓存过就计算后然后再缓存一下,便于下次读取。大多都是业务的逻辑,没有什么意思。算完了之后在主程序退出之前再缓存到本地就好了。
withopen("./muti_thread_mem.pkl",'wb')asf:
fork,vinenumerate(sync_dict):
mem_dict[v]=sync_dict[v]
iflen(mem_dict):
#传入的4就是想试一下Python新版本的特性而已,没啥其他意思
pickle.dump(mem_dict,f,4)
坑
在Pycharm里面运行代码的时候会碰到一些问题。
使用Pycharm的Pythonconsole运行代码的时候会导致一个进程完成任务之后,join等待主线程退出的时候,所有进程都报错pipebroken连接不到Manager的共享字典。但是使用本地Terminal运行的时候,一个进程完成任务后是不会导致其他进程报错的,因此推断这里是Pycharm的坑。
关键字:multiprocessing.Manager()报错pipebroken,进程获取共享变量时异常,导致所有进程退出
调试代码(Pycharmdebug模式)的时候也会导致调试过程中进程连接不到Manager的共享字典变量。
这些坑都涉及到Manager在共享变量时使用的客户端/服务端模式,最后socket连接报错,所有进程读取共享变量时报错退出。我这次的解决方式是不要启用Pycharm的Pythonconsole来运行代码就好了。
以上这篇解决Python3.7.0SSL低版本导致Pip无法使用问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。