python获取百度热榜链接的实例方法
目标网址：
https://www.baidu.com/
要获取的内容：
链接分析：
从下图可以看出只需要获取关键字，再构建就可以了。
完整代码：
import requests
import pprint
import re
import urllib.parse
url = 'https://www.baidu.com/'
headers = {
'Host': 'www.baidu.com',
'Referer': 'https://www.baidu.com/',
'User-Agent': 你的User-Agent,
'Cookie': 你的Cookie
}
response = requests.get(url, headers=headers).content.decode('utf-8')
# 获取关键字
pat = '"pure_title": "(.*?)"'
keyword = re.findall(pat, response, re.S)
print(len(keyword))
for hot_word in keyword:
# 汉字不符合url标准，所以这里需要进行url编码
i = urllib.parse.quote(hot_word, encoding='utf-8', errors='replace')
# url构建
link = f'https://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd={i}&rsv_idx=2&rsv_dl=fyb_n_homepage&hisfilter=1'
print(link)
你会发现结果很长：
但其实关键字后面的几个参数是可以去掉的，这样url就没有那么长了。
内容扩展：
python爬取简单的百度搜索结果
爬取百度搜索结果
主要还要借助xpathhelper谷歌浏览器的插件来操作更容易找到需要查找信息的xpath位置
还要首先了解一下百度搜索请求的参数lm默认为0，天数限制，但是好像只有1有用。
默认每页10条信息，rn
pn是页码
fromlxmlimportetree
importre
importrequests
importstring
importjson
headers={
"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36"
}
response=requests.get('https://www.baidu.com/s?wd=腾讯视频优惠&lm=1',headers=headers)
r=response.text
html=etree.HTML(r,etree.HTMLParser())
r1=html.xpath('//h3')
r2=html.xpath('//*[@class="c-abstract"]')
r3=html.xpath('//a[@class="c-showurl"]')
foriinrange(10):
r11=r1[i].xpath('string(.)')
r22=r2[i].xpath('string(.)')
r33=r3[i].xpath('string(.)')
#withopen('test.txt','a',encoding='utf-8')asf:
#f.write(json.dumps(r11,ensure_ascii=False)+'\n')
#f.write(json.dumps(r22,ensure_ascii=False)+'\n')
#f.write(json.dumps(r33,ensure_ascii=False)+'\n')
print(r11,end='\n')
print(r22,end='\n')
print(r33)
print()
到此这篇关于python获取百度热榜链接的实例方法的文章就介绍到这了,更多相关教你用python获取百度热榜链接内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
热门推荐
10 新人红包祝福语简短精辟
11 幼师给毕业祝福语简短
12 生日高考祝福语妹妹简短
13 下飞机祝福语简短英文
14 元宵发客户祝福语简短
15 爸妈金婚文案祝福语简短
16 新郎朋友红包祝福语简短
17 虎年五一祝福语大全简短
18 出阁宴祝福语姐姐简短