Python爬虫抓取代理IP并检验可用性的实例
经常写爬虫,难免会遇到ip被目标网站屏蔽的情况,银次一个ip肯定不够用,作为节约的程序猿,能不花钱就不花钱,那就自己去找吧,这次就写了下抓取西刺代理上的ip,但是这个网站也反爬!!!
至于如何应对,我觉得可以通过增加延时试试,可能是我抓取的太频繁了,所以被封IP了。
但是,还是可以去IP巴士试试的,条条大路通罗马嘛,不能吊死在一棵树上。
不废话,上代码。
#!/usr/bin/envpython #-*-coding:utf8-*- importurllib2 importtime frombs4importBeautifulSoup importsys reload(sys) sys.setdefaultencoding("utf-8") req_header={'User-Agent':'Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.11(KHTML,likeGecko)Chrome/23.0.1271.64Safari/537.11', 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', #'Accept-Language':'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3', 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 'Accept-Encoding':'en-us', 'Connection':'keep-alive', 'Referer':'http://www.baidu.com/' } req_timeout=5 testUrl="http://www.baidu.com/" testStr="wahaha" file1=open('proxy.txt','w') #url="" #req=urllib2.Request(url,None,req_header) #jsondatas=urllib2.urlopen(req,None,req_timeout).read() cookies=urllib2.HTTPCookieProcessor() checked_num=0 grasp_num=0 forpageinrange(1,160): req=urllib2.Request('http://www.xici.net.co/nn/'+str(page),None,req_header) html_doc=urllib2.urlopen(req,None,req_timeout).read() #html_doc=urllib2.urlopen('http://www.xici.net.co/nn/'+str(page)).read() soup=BeautifulSoup(html_doc) trs=soup.find('table',id='ip_list').find_all('tr') fortrintrs[1:]: tds=tr.find_all('td') ip=tds[1].text.strip() port=tds[2].text.strip() protocol=tds[5].text.strip() ifprotocol=='HTTP'orprotocol=='HTTPS': #of.write('%s=%s:%s\n'%(protocol,ip,port)) print'%s=%s:%s'%(protocol,ip,port) grasp_num+=1 proxyHandler=urllib2.ProxyHandler({"http":r'http://%s:%s'%(ip,port)}) opener=urllib2.build_opener(cookies,proxyHandler) opener.addheaders=[('User-Agent', 'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/31.0.1650.63Safari/537.36')] t1=time.time() try: req=opener.open(testUrl,timeout=req_timeout) result=req.read() timeused=time.time()-t1 pos=result.find(testStr) ifpos>1: file1.write(protocol+"\t"+ip+"\t"+port+"\n") checked_num+=1 printchecked_num,grasp_num else: continue exceptException,e: continue file1.close() printchecked_num,grasp_num
个人感觉代码里没有太复杂的,就没有加注释,相信大家基本可以理解,如有问题也请多批评指正,共同进步!
以上这篇Python爬虫抓取代理IP并检验可用性的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。