python实现带验证码网站的自动登陆实现代码
早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。
本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登录网站并处理网站的Cookie。
Cookie的工作原理：
Cookie由服务端生成，然后发送给浏览器，浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时，会发送该Cookie给服务器，这样服务器就知道该用户是否合法以及是否需要重新登录。
Python提供了基本的cookielib库，在首次访问某页面时，cookie便会自动保存下来，之后访问其它页面便都会带有正常登录的Cookie了。
原理：
（1）激活cookie功能
（2）反“反盗链”，伪装成浏览器访问
（3）访问验证码链接，并将验证码图片下载到本地
（4）验证码的识别方案网上较多，python也有自己的图像处理库，此例调用了火车头采集器的OCR识别接口。
（5）表单的处理，可用fiddler等抓包工具获取需要提交的参数
（6）生成需要提交的数据，生成http请求并发送
（7）根据返回的js页面判断是否登陆成功
（8）登陆成功后下载其它页面
此例中使用多个账号轮询登陆，每个账号下载3个页面。
下载网址因为某些问题，就不透露了。
以下是部分代码：
#!usr/bin/envpython
#-*-coding:utf-8-*-
importos
importurllib2
importurllib
importcookielib
importxml.etree.ElementTreeasET
#-----------------------------------------------------------------------------
#Logininwww.***.com.cn
defChinaBiddingLogin(url,username,password):
#Enablecookiesupportforurllib2
cookiejar=cookielib.CookieJar()
urlopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
urllib2.install_opener(urlopener)
urlopener.addheaders.append(('Referer','http://www.chinabidding.com.cn/zbw/login/login.jsp'))
urlopener.addheaders.append(('Accept-Language','zh-CN'))
urlopener.addheaders.append(('Host','www.chinabidding.com.cn'))
urlopener.addheaders.append(('User-Agent','Mozilla/5.0(compatible;MISE9.0;WindowsNT6.1);Trident/5.0'))
urlopener.addheaders.append(('Connection','Keep-Alive'))
print'XXXLogin......'
imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'
DownloadFile(imgurl,urlopener)
authcode=raw_input('Pleaseentertheauthcode:')
#authcode=VerifyingCodeRecognization(r"http://192.168.0.106/images/code.jpg")
#Sendlogin/passwordtothesiteandgetthesessioncookie
values={'login_id':username,'opl':'op_login','login_passwd':password,'login_check':authcode}
urlcontent=urlopener.open(urllib2.Request(url,urllib.urlencode(values)))
page=urlcontent.read(500000)
#Makesureweareloggedin,checkthereturnedpagecontent
ifpage.find('login.jsp')!=-1:
print'Loginfailedwithusername=%s,password=%sandauthcode=%s'\
%(username,password,authcode)
returnFalse
else:
print'Loginsucceeded!'
returnTrue
#-----------------------------------------------------------------------------
#DownloadfromfileUrlthensavetofileToSave
#Note:thefileUrlmustbeavalidfile
defDownloadFile(fileUrl,urlopener):
isDownOk=False
try:
iffileUrl:
outfile=open(r'/var/www/images/code.jpg','w')
outfile.write(urlopener.open(urllib2.Request(fileUrl)).read())
outfile.close()
isDownOK=True
else:
print'ERROR:fileUrlisNULL!'
except:
isDownOK=False
returnisDownOK
#------------------------------------------------------------------------------
#Verifyingcoderecoginization
defVerifyingCodeRecognization(imgurl):
url=r'http://192.168.0.119:800/api?'
user='admin'
pwd='admin'
model='ocr'
ocrfile='cbi'
values={'user':user,'pwd':pwd,'model':model,'ocrfile':ocrfile,'imgurl':imgurl}
data=urllib.urlencode(values)
try:
url+=data
urlcontent=urllib2.urlopen(url)
exceptIOError:
print'***ERROR:invalidURL(%s)'%url
page=urlcontent.read(500000)
#Parsethexmldataandgettheverifyingcode
root=ET.fromstring(page)
node_find=root.find('AddField')
authcode=node_find.attrib['data']
returnauthcode
#------------------------------------------------------------------------------
#Readusersfromconfigurefile
defReadUsersFromFile(filename):
users={}
foreachLineinopen(filename,'r'):
info=[wforwineachLine.strip().split()]
iflen(info)==2:
users[info[0]]=info[1]
returnusers
#------------------------------------------------------------------------------
defmain():
login_page=r'http://www.***.com.cnlogin/login.jsp'
download_page=r'http://www.***.com.cn***/***?record_id='
start_id=8593330
end_id=8595000
now_id=start_id
Users=ReadUsersFromFile('users.conf')
whileTrue:
forkeyinUsers:
ifChinaBiddingLogin(login_page,key,Users[key]):
foriinrange(3):
pageUrl=download_page+'%d'%now_id
urlcontent=urllib2.urlopen(pageUrl)
filepath='./download/%s.html'%now_id
f=open(filepath,'w')
f.write(urlcontent.read(500000))
f.close()
now_id+=1
else:
continue
#------------------------------------------------------------------------------
if__name__=='__main__':
main()