Python requests获取网页常用方法解析
这篇文章主要介绍了Pythonrequests获取网页常用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
主要记录使用requests模块获取网页源码的方法
classCrawler(object):
"""
采集类
"""
def__init__(self,base_url):
self._base_url=base_url
self._cookie=None
self._getCookie()
def_getCookie(self):
"""
获取站点cookie
:return:
"""
try:
res=requests.get(self._base_url)
res.raise_for_status()
#TODOresponse.cookies获取到的是一个cookiejar对象，需要使用requests.utils.dict_from_cookiejar来
#TODO将cookiejar对象转换为一个字典，这个字典后续使用的时候，在请求时直接传入就可以了，
#如requests.get(url,cookies=cookies)
self._cookie=requests.utils.dict_from_cookiejar(res.cookies)
printself._cookie
exceptExceptionase:
printe
defget_html_text(self,url,**kwargs):
"""
爬取网页的通用代码框架
:paramurl:
:parammethod:
:paramkwargs:
:return:
"""
try:
kwargs.setdefault('cookies',self._cookie)
res=requests.get(url,**kwargs)
#TODO若响应状态码不是200,抛出HTTPError异常
res.raise_for_status()
res.encoding=res.apparent_encoding
#printrequests.utils.dict_from_cookiejar(res.cookies)
returnres.text
exceptExceptionase:
printtraceback.print_exc()
return
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。