微客导航 » 文章资讯 » 对python使用http、https代理的实例讲解

对python使用http、https代理的实例讲解

2023-09-13 05:28:05 375

在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：

（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：

importurllib.requestasurlreq
#设置https代理
ph=urlreq.ProxyHandler({'https':'https://127.0.0.1:1080'})
oper=urlreq.build_opener(ph)
#将代理安装到全局环境，这样所有请求都会自动使用代理
urlreq.install_opener(oper)
res=oper.open("https://www.google.com")
print(res.read())

importrequestsasreq
print(req.get("https://www.google.com",proxies={'https':'https://127.0.0.1:1080'}).content)

（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：

importos
os.environ['http_proxy']='http://127.0.0.1:1080'
os.environ['https_proxy']='https://127.0.0.1:1080'

（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

返回顶部
3162201930
czq8825@qq.com

对python使用http、https代理的实例讲解

热门推荐

随机推荐