Python爬虫常用小技巧之设置代理IP
设置代理IP的原因
我们在使用Python爬虫爬取一个网站时，通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，这样便不会出现因为频繁访问而导致禁止访问的现象。
我们在学习Python爬虫的时候，也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，所以下面这篇文章讲述一个爬虫技巧，设置代理IP
这里介绍一下免费获取代理IP的方法，这个方法的优点就是免费，但是缺点就是爬取后存在很多不能用的
IP地址取自国内髙匿代理IP网站，西刺代理，我们爬取首页IP地址就足够一般使用，或者你也可以爬取第一页，第二页…的
配置环境
- 安装requests库
- 安装bs4库
- 安装lxml库
具体代码
话不多说直接上代码吧
frombs4importBeautifulSoup
importrequests
importrandom
defget_ip_list(url,headers):
web_data=requests.get(url,headers=headers)
soup=BeautifulSoup(web_data.text,'lxml')
ips=soup.find_all('tr')
ip_list=[]
foriinrange(1,len(ips)):
ip_info=ips[i]
tds=ip_info.find_all('td')
ip_list.append(tds[1].text+':'+tds[2].text)
returnip_list
defget_random_ip(ip_list):
proxy_list=[]
foripinip_list:
proxy_list.append('http://'+ip)
proxy_ip=random.choice(proxy_list)
proxies={'http':proxy_ip}
returnproxies
if__name__=='__main__':
url='http://www.xicidaili.com/nn/'
headers={
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.17(KHTML,likeGecko)Chrome/24.0.1312.60Safari/537.17'
}
ip_list=get_ip_list(url,headers=headers)
proxies=get_random_ip(ip_list)
print(proxies)
函数get_ip_list(url,headers)传入url和headers，最后返回一个IP列表，列表的元素类似122.114.31.177:808格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口
函数get_random_ip(ip_list)传入第一个函数得到的列表，返回一个随机的proxies，这个proxies可以传入到requests的get方法中，这样就可以做到每次运行都使用不同的IP访问被爬取的网站，有效地避免了真实IP被封的风险
proxies的格式是一个字典：{‘http':‘http://122.114.31.177:808‘}，可以将下面的执行也封装为方法
对于抓取IP这个，西刺代理的服务器做了反爬处理，如果你频繁去抓取的话，服务器会主动返回503错误，提示block，所以在请求的时候可以先一次请求完保存一个文件，来读取这个文件，或者爬取一个ip使用几分钟后，再去爬取一次，相当于加一个定时功能
代理IP的使用
运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可
res=requests.get(url,headers=headers,proxies=proxies)
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。