python获取代理IP的实例分享
平时当我们需要爬取一些我们需要的数据时，总是有些网站禁止同一IP重复访问，这时候我们就应该使用代理IP，每次访问前伪装自己，让“敌人”无法察觉。
oooooooooooooooOK，让我们愉快的开始吧！
这个是获取代理ip的文件，我将它们模块化，分为三个函数
注：文中会有些英文注释，是为了写代码方便，毕竟英文一两个单词就ok了
#!/usr/bin/python #-*-coding:utf-8-*- """ author:dasuda """ importurllib2 importre importsocket importthreading findIP=[]#获取的原始IP数据 IP_data=[]#拼接端口后的IP数据 IP_data_checked=[]#检查可用性后的IP数据 findPORT=[]#IP对应的端口 available_table=[]#可用IP的索引 defgetIP(url_target): patternIP=re.compile(r'(?<=)[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}') patternPORT=re.compile(r'(?<= )[\d]{2,5}(?= )') print"now,starttorefreshproxyIP..." forpageinrange(1,4): url='http://www.xicidaili.com/nn/'+str(page) headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)"} request=urllib2.Request(url=url,headers=headers) response=urllib2.urlopen(request) content=response.read() findIP=re.findall(patternIP,str(content)) findPORT=re.findall(patternPORT,str(content)) #assembletheipandport foriinrange(len(findIP)): findIP[i]=findIP[i]+":"+findPORT[i] IP_data.extend(findIP) print('getpage',page) print"refreshdone!!!" #usemultithreading mul_thread_check(url_target) returnIP_data_checked defcheck_one(url_check,i): #getlock lock=threading.Lock() #settingtimeout socket.setdefaulttimeout(8) try: ppp={"http":IP_data[i]} proxy_support=urllib2.ProxyHandler(ppp) openercheck=urllib2.build_opener(proxy_support) urllib2.install_opener(openercheck) request=urllib2.Request(url_check) request.add_header('User-Agent',"Mozilla/5.0(WindowsNT10.0;WOW64)") html=urllib2.urlopen(request).read() lock.acquire() print(IP_data[i],'isOK') #getavailableipindex available_table.append(i) lock.release() exceptExceptionase: lock.acquire() print('error') lock.release() defmul_thread_check(url_mul_check): threads=[] foriinrange(len(IP_data)): #creatthread... thread=threading.Thread(target=check_one,args=[url_mul_check,i,]) threads.append(thread) thread.start() print"newthreadstart",i forthreadinthreads: thread.join() #gettheIP_data_checked[] forerror_cntinrange(len(available_table)): aseemble_ip={'http':IP_data[available_table[error_cnt]]} IP_data_checked.append(aseemble_ip) print"availableproxyip:",len(available_table)
一、getIP(url_target):主要函数传入参数是：验证代理IP可用性的网址，推荐ipchina
获取代理IP，从http://www.xicidaili.com/nn/网站获取，它是一个提供免费代理IP的网站，但是里面的IP不是全都能用，而且结合你的实际地理位置、网络情况、访问的目标服务器等情况，能用的大概不到20%，至少我的情况是这样。
访问http://www.xicidaili.com/nn/网站使用正常方式，返回的网页内容通过正则查询获得需要的IP和对应端口，代码如下：
patternIP=re.compile(r'(?<=)[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}') patternPORT=re.compile(r'(?<= )[\d]{2,5}(?= )') ... findIP=re.findall(patternIP,str(content)) findPORT=re.findall(patternPORT,str(content))
关于如何构造正则表达式，可以参考其他的文章：
获取的IP保存在findIP中，对应的端口在findPORT中，两者按索引对应，获取一页IP正常数量为100.
接下来进行IP和端口拼接
最后进行可用性检查
二、check_one(url_check,i):线程函数
本次访问url_check还是使用正常方式访问，当访问网页有返回时，则说明本代理IP可用，则记录下当前索引值，用于后面将所有可用IP取出。
三、mul_thread_check(url_mul_check):多线程生成
本函数开启多线程检查代理IP可用性，每个IP开启一个线程进行检查。
本工程直接调用getIP(),并传入用于检查可用性的网址，即可返回一个列表，里面是经可用性检查的ip列表，格式为
['ip1:port1','ip2:port2',....]
以上这篇python获取代理IP的实例分享就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。