Python 爬虫实现增加播客访问量的方法实现
一、序言：
世界1024程序猿节日不加班，闲着没事儿。。。随手写了个播客访问量爬虫玩玩，访问量过万不是事儿！！！每个步骤注释都很清晰，代码仅供学习参考！
----Nick.Peng
二、所需环境：
Python3.x
相关模块：requests、json、lxml、urllib、bs4、fake_useragent
三、增加Blog访问量代码如下：
#!/usr/bin/envpython
#-*-coding:utf-8-*-
#@Author:Nick
#@Date:2019-10-2415:40:58
#@LastModifiedby:Nick
#@LastModifiedtime:2019-10-2416:54:31
importrandom
importre
importtime
importurllib
importrequests
frombs4importBeautifulSoup
fromfake_useragentimportUserAgent
try:
fromlxmlimportetree
exceptExceptionase:
importlxml.html
#实例化一个etree对象（解决通过fromlxmlimportetree导包失败）
etree=lxml.html.etree
#实例化UserAgent对象，用于产生随机UserAgent
ua=UserAgent()
classBlogSpider(object):
"""
IncreasethenumberofCSDNblogvisits.
"""
def__init__(self):
self.url="https://blog.csdn.net/PY0312/article/list/{}"
self.headers={
"Referer":"https://blog.csdn.net/PY0312/",
"User-Agent":ua.random
}
self.firefoxHead={
"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64;rv:61.0)Gecko/20100101Firefox/61.0"}
self.IPRegular=r"(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])"
defsend_request(self,num):
"""
模拟浏览器发起请求
:paramnum:num
:return:html_str
"""
html_str=requests.get(self.url.format(
num),headers=self.headers).content.decode()
#print(html_str)
returnhtml_str
defparse_data(self,html_str):
"""
用于解析发起请求返回的数据
:paramhtml_str:
:return:each_page_urls
"""
#将返回的html字符串转换为element对象，用于xpath操作
element_obj=etree.HTML(html_str)
#print(element_obj)
#获取每一页所有blog的url
each_page_urls=element_obj.xpath(
'//*[@id="mainBox"]/main/div[2]/div/h4/a/@href')
#print(each_page_urls)
returneach_page_urls
defparseIPList(self,url="http://www.xicidaili.com/"):
"""
爬取最新代理ip，来源：西刺代理
注意：西刺代理容易被封，如遇到IP被封情况，采用以下两种方法即可解决：
方法一：请参考我上一篇博客《Python实现快代理IP爬虫》===>喜欢研究的同学，可参考对接此接口
方法二：直接屏蔽掉此接口，不使用代理也能正常使用
:paramurl:"http://www.xicidaili.com/"
:return:代理IP列表ips
"""
ips=[]
request=urllib.request.Request(url,headers=self.firefoxHead)
response=urllib.request.urlopen(request)
soup=BeautifulSoup(response,"lxml")
tds=soup.find_all("td")
fortdintds:
string=str(td.string)
ifre.search(self.IPRegular,string):
ips.append(string)
#print(ips)
returnips
defmain(self,total_page,loop_times,each_num):
"""
调度方法
:paramtotal_page:设置博客总页数
:paramloop_times:设置循环次数
:parameach_num:设置每一页要随机挑选文章数
:return:
"""
i=0
#根据设置次数，打开循环
whilei
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。