python爬虫添加请求头代码实例
这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
request
importrequests
headers={
#'Accept':'application/json,text/javascript,*/*;q=0.01',
#'Accept':'*/*',
#'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
#'Cache-Control':'no-cache',
#'accept-encoding':'gzip,deflate,br',
'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.97Safari/537.36',
'Referer':'https://www.google.com/'
}
resp=requests.get('http://httpbin.org/get',headers=headers)
print(resp.content)
urllib
importurllib,urllib2
defget_page_source(url):
headers={'Accept':'*/*',
'Accept-Language':'en-US,en;q=0.8',
'Cache-Control':'max-age=0',
'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/48.0.2564.116Safari/537.36',
'Connection':'keep-alive',
'Referer':'http://www.baidu.com/'
}
req=urllib2.Request(url,None,headers)
response=urllib2.urlopen(req)
page_source=response.read()
returnpage_source
phantomjs请求页面
fromseleniumimportwebdriver
fromselenium.webdriver.common.desired_capabilitiesimportDesiredCapabilities
defget_headers_driver():
desire=DesiredCapabilities.PHANTOMJS.copy()
headers={'Accept':'*/*',
'Accept-Language':'en-US,en;q=0.8',
'Cache-Control':'max-age=0',
'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/48.0.2564.116Safari/537.36',
'Connection':'keep-alive',
'Referer':'http://www.baidu.com/'
}
forkey,valueinheaders.iteritems():
desire['phantomjs.page.customHeaders.{}'.format(key)]=value
driver=webdriver.PhantomJS(desired_capabilities=desire,service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
returndriver
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。