python使用webdriver爬取微信公众号
本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码，供大家参考，具体内容如下
#-*-coding:utf-8-*-
fromseleniumimportwebdriver
importtime
importjson
importrequests
importre
importrandom
#微信公众号账号
user=""
#公众号密码
password=""
#设置要爬取的公众号列表
gzlist=['香河微服务']
#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中
defweChat_login():
#定义一个空的字典，存放cookies内容
post={}
#用webdriver启动谷歌浏览器
print("启动浏览器，打开微信公众号登录界面")
driver=webdriver.Chrome(executable_path='E:\\program\\chromedriver.exe')
#打开微信公众号登录页面
driver.get('https://mp.weixin.qq.com/')
#等待5秒钟
time.sleep(5)
print("正在输入微信公众号登录账号和密码......")
#清空账号框中的内容
driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").clear()
#自动填入登录用户名
driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").send_keys(user)
#清空密码框中的内容
driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").clear()
#自动填入登录密码
driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").send_keys(password)
#在自动输完密码之后需要手动点一下记住我
print("请在登录界面点击:记住账号")
time.sleep(10)
#自动点击登录按钮进行登录
driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[4]/a").click()
#拿手机扫二维码！
print("请拿手机扫码二维码登录公众号")
time.sleep(20)
print("登录成功")
#重新载入公众号登录页，登录之后会显示公众号后台首页，从这个返回内容中获取cookies信息
driver.get('https://mp.weixin.qq.com/')
#获取cookies
cookie_items=driver.get_cookies()
#获取到的cookies是列表形式，将cookies转成json形式并存入本地名为cookie的文本中
forcookie_itemincookie_items:
post[cookie_item['name']]=cookie_item['value']
cookie_str=json.dumps(post)
withopen('cookie.txt','w+')asf:
f.write(cookie_str)
print("cookies信息已保存到本地")
#爬取微信公众号文章，并存在本地文本中
defget_content(query):
#query为要爬取的公众号名称
#公众号主页
url='https://mp.weixin.qq.com'
#设置headers
header={
"HOST":"mp.weixin.qq.com",
"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64;rv:53.0)Gecko/20100101Firefox/53.0"
}
#读取上一步获取到的cookies
withopen('cookie.txt','r')asf:
cookie=f.read().decode("UTF-8")
cookies=json.loads(cookie)
#登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，从这里获取token信息
response=requests.get(url=url,cookies=cookies)
token=re.findall(r'token=(\d+)',str(response.url))[0]
#搜索微信公众号的接口地址
search_url='https://mp.weixin.qq.com/cgi-bin/searchbiz?'
#搜索微信公众号接口需要传入的参数，有三个变量：微信公众号token、随机数random、搜索的微信公众号名字
query_id={
'action':'search_biz',
'token':token,
'lang':'zh_CN',
'f':'json',
'ajax':'1',
'random':random.random(),
'query':query,
'begin':'0',
'count':'5'
}
#打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers
search_response=requests.get(search_url,cookies=cookies,headers=header,params=query_id)
#取搜索结果中的第一个公众号
lists=search_response.json().get('list')[0]
#获取这个公众号的fakeid，后面爬取公众号文章需要此字段
fakeid=lists.get('fakeid')
#微信公众号文章接口地址
appmsg_url='https://mp.weixin.qq.com/cgi-bin/appmsg?'
#搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random
query_id_data={
'token':token,
'lang':'zh_CN',
'f':'json',
'ajax':'1',
'random':random.random(),
'action':'list_ex',
'begin':'0',#不同页，此参数变化，变化规则为每页加5
'count':'5',
'query':'',
'fakeid':fakeid,
'type':'9'
}
#打开搜索的微信公众号文章列表页
appmsg_response=requests.get(appmsg_url,cookies=cookies,headers=header,params=query_id_data)
#获取文章总数
max_num=appmsg_response.json().get('app_msg_cnt')
#每页至少有5条，获取文章总的页数，爬取时需要分页爬
num=int(int(max_num)/5)
#起始页begin参数，往后每页加5
begin=0
whilenum+1>0:
query_id_data={
'token':token,
'lang':'zh_CN',
'f':'json',
'ajax':'1',
'random':random.random(),
'action':'list_ex',
'begin':'{}'.format(str(begin)),
'count':'5',
'query':'',
'fakeid':fakeid,
'type':'9'
}
print('正在翻页：--------------',begin)
#获取每一页文章的标题和链接地址，并写入本地文本中
query_fakeid_response=requests.get(appmsg_url,cookies=cookies,headers=header,params=query_id_data)
fakeid_list=query_fakeid_response.json().get('app_msg_list')
foriteminfakeid_list:
content_link=item.get('link')
content_title=item.get('title')
fileName=query+'.txt'
#withopen('e://xhwfw.txt','a')asfh:
#fh.write(content_title+":\n"+content_link+"\n")
printcontent_title+":\n"+content_link+"\n"
num-=1
begin=int(begin)
begin+=5
time.sleep(2)
if__name__=='__main__':
try:
#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中
weChat_login()
#登录之后，通过微信公众号后台提供的微信公众号文章接口爬取文章
forqueryingzlist:
#爬取微信公众号文章，并存在本地文本中
print("开始爬取公众号："+query)
get_content(query)
print("爬取完成")
exceptExceptionase:
print(str(e))
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。