Python常用爬虫代码总结方便查询
beautifulsoup解析页面
frombs4importBeautifulSoup
soup=BeautifulSoup(htmltxt,"lxml")
#三种装载器
soup=BeautifulSoup("","html.parser")
###只有起始标签的会自动补全，只有结束标签的会自动忽略
###结果为：
soup=BeautifulSoup("","lxml")
###结果为：
soup=BeautifulSoup("","html5lib")
###html5lib则出现一般的标签都会自动补全
###结果为：
#根据标签名、id、class、属性等查找标签
###根据class、id、以及属性alog-action的值和标签类别查询
soup.find("a",class_="title",id="t1",attrs={"alog-action":"qb-ask-uname"}))
###查询标签内某属性的值
pubtime=soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content']
###获取所有class为title的标签
foriinsoup.find_all(class_="title"):
print(i.get_text())
###获取特定数量的class为title的标签
foriinsoup.find_all(class_="title",limit=2):
print(i.get_text())
###获取文本内容时可以指定不同标签之间的分隔符，也可以选择是否去掉前后的空白。
soup=BeautifulSoup('TheDormousesstoryTheDormousesstory',"html5lib")
soup.find(class_="title").get_text("|",strip=True)
#结果为：TheDormousesstory|TheDormousesstory
###获取class为title的p标签的id
soup.find(class_="title").get("id")
###对class名称正则：
soup.find_all(class_=re.compile("tit"))
###recursive参数，recursive=False时，只find当前标签的第一级子标签的数据
soup=BeautifulSoup('abc','lxml')
soup.html.find_all("title",recursive=False)</pre>
<p><strong>unicode编码转中文</strong></p>
<pre>
content="\u65f6\u75c7\u5b85"
content=content.encode("utf8","ignore").decode('unicode_escape')</pre>
<p><strong>urlencode的解码与解码</strong></p>
<pre>
fromurllibimportparse
#编码
x="中国你好"
y=parse.quote(x)
print(y)
#解码
x=parse.unquote(y)
print(x)</pre>
<p><strong>html转义字符的解码</strong></p>
<pre>
fromhtml.parserimportHTMLParser
htmls="<div><p>"
txt=HTMLParser().unescape(htmls)
print(txt).#输出<div><p></pre>
<p><strong>base64的编码与解码</strong></p>
<pre>
importbase64
#编码
content="测试转码文本123"
contents_base64=base64.b64encode(content.encode('utf-8','ignore')).decode("utf-8")
#解码
contents=base64.b64decode(contents_base64)</pre>
<p><strong>过滤emoji表情</strong></p>
<pre>
deffilter_emoji(desstr,restr=''):
try:
co=re.compile(u'[\U00010000-\U0010ffff]')
exceptre.error:
co=re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
returnco.sub(restr,desstr)</pre>
<p><strong>完全过滤script和style标签</strong></p>
<pre>
importrequests
frombs4importBeautifulSoup
soup=BeautifulSoup(htmls,"lxml")
forscriptinsoup(["script","style"]):
script.extract()
print(soup)</pre>
<p><strong>过滤html的标签，但保留标签里的内容</strong></p>
<pre>
importre
htmls="<p>abc</p>"
dr=re.compile(r'<[^>]+>',re.S)
htmls2=dr.sub('',htmls)
print(htmls2)#abc
正则提取内容（一般处理json）
rollback({
"response":{
"code":"0",
"msg":"Success",
"dext":""
},
"data":{
"count":3,
"page":1,
"article_info":[{
"title":"“小库里”：适应比赛是首要任务投篮终会找到节奏",
"url":"http:\/\/sports.qq.com\/a\/20180704\/035378.htm",
"time":"2018-07-0416:58:36",
"column":"NBA",
"img":"",
"desc":""
},{
"title":"首钢体育助力国家冰球集训队中国冰球联赛年底启动",
"url":"http:\/\/sports.qq.com\/a\/20180704\/034698.htm",
"time":"2018-07-0416:34:44",
"column":"综合体育",
"img":"",
"desc":""
}...]
}
})
importre
#提取这个json中的每条新闻的title、url
#(.*?)为要提取的内容，可以在正则字符串中加入.*？表示中间省略若干字符
reg_str=r'"title":"(.*?)",.*?"url":"(.*?)"'
pattern=re.compile(reg_str,re.DOTALL)
items=re.findall(pattern,htmls)
foriinitems:
tilte=i[0]
url=i[1]</pre>
<p><strong>时间操作</strong></p>
<pre>
#获取当前日期
today=datetime.date.today()
print(today)#2018-07-05
#获取当前时间并格式化
time_now=time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time()))
print(time_now)#2018-07-0514:20:55
#对时间戳格式化
a=1502691655
time_a=time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(int(a)))
print(time_a)#2017-08-1414:20:55
#字符串转为datetime类型
str="2018-07-0100:00:00"
datetime.datetime.strptime(st,"%Y-%m-%d%H:%M:%S")
#将时间转化为时间戳
time_line="2018-07-1610:38:50"
time_tuple=time.strptime(time_line,"%Y-%m-%d%H:%M:%S")
time_line2=int(time.mktime(time_tuple))
#明天的日期
today=datetime.date.today()
tomorrow=today+datetime.timedelta(days=1)
print(tomorrow)#2018-07-06
#三天前的时间
today=datetime.datetime.today()
tomorrow=today+datetime.timedelta(days=-3)
print(tomorrow)#2018-07-0213:37:00.107703
#计算时间差
start="2018-07-0300:00:00"
time_now=datetime.datetime.now()
b=datetime.datetime.strptime(start,'%Y-%m-%d%H:%M:%S')
minutes=(time_now-b).seconds/60
days=(time_now-b).days
all_minutes=days*24*60+minutes
print(minutes)#821.7666666666667
print(days)#2
print(all_minutes)#3701.7666666666664</pre>
<p><strong>数据库操作</strong></p>
<pre>
importpymysql
conn=pymysql.connect(host='10.0.8.81',port=3306,user='root',passwd='root',db='xxx',charset='utf8')
cur=conn.cursor()
insert_sql="insertintotbl_name(id,name,age)values(%s,%s,%s)
id=1
name="like"
age=26
data_list=[]
data=(id,name,age)
#单条插入
cur.execute(insert_sql,data)
conn.commit()
#批量插入
data_list.append(data)
cur.executemany(insert_sql,data_list)
conn.commit()
#特殊字符处理(name中含有特殊字符)
data=(id,pymysql.escape_string(name),age)
#更新
update_sql="updatetbl_namesetcontent='%s'whereid="+str(id)
cur.execute(update_sql%(pymysql.escape_string(content)))
conn.commit()
#批量更新
update_sql="UPDATEtbl_recieveSETcontent=%s,title=%s,is_spider=%sWHEREid=%s"
update_data=(contents,title,is_spider,one_new[0])
update_data_list.append(update_data)
iflen(update_data_list)>500:
try:
cur.executemany(update_sql,update_data_list)
conn.commit()</pre>
<p><strong>总结</strong></p>
<p>以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。如果你想了解更多相关内容请查看下面相关链接</p></section>
</div>
</div>
<!--文章阅读上下按钮-->
<nav>
<span class="meta-nav"><a href="/article/194957.html" title="C语言和C++的6点区别" se_prerender_url="complete">上一篇<br>C语言和C++的6点区别</a></span>
<span class="meta-nav"><a href="/article/194954.html" title="Python使用paramiko操作linux的方法讲解" se_prerender_url="complete">下一篇<br>Python使用paramiko操作linux的方法讲解</a></span>
<div class="clear"></div>
</nav>
<!-- 文章推荐 -->
<div class="article-recommend">
<h3>热门推荐</h3>
<div class="title"><span class="s-1">1</span> <a href="/article/10835.html" title="毛坯房验收经验和常识 看了之后再验房心里有底">毛坯房验收经验和常识 看了之后再验房心里有底</a></div>
<div class="title"><span class="s-2">2</span> <a href="/article/10697.html" title="二手房收房如何交接 二手房收房注意问题">二手房收房如何交接 二手房收房注意问题</a></div>
<div class="title"><span class="s-3">3</span> <a href="/article/10605.html" title="专业验收毛坯房的价格 商品房验收合格的标准">专业验收毛坯房的价格 商品房验收合格的标准</a></div>
<div class="title"><span class="s-4">4</span> <a href="/article/10568.html" title="精装房怎么验收 精装房请验房师有用吗">精装房怎么验收 精装房请验房师有用吗</a></div>
<div class="title"><span class="s-5">5</span> <a href="/article/10567.html" title="一般要到哪里找验房师 验房师有哪些作用呢">一般要到哪里找验房师 验房师有哪些作用呢</a></div>
<div class="title"><span class="s-6">6</span> <a href="/article/10566.html" title="请人验房一般是多少钱 验房师费用是多少">请人验房一般是多少钱 验房师费用是多少</a></div>
<div class="title"><span class="s-7">7</span> <a href="/article/10553.html" title="怎样测量房子面积 建筑面积和使用面积怎么算">怎样测量房子面积 建筑面积和使用面积怎么算</a></div>
<div class="title"><span class="s-8">8</span> <a href="/article/10550.html" title="收房需要注意什么 仔细检查不松懈">收房需要注意什么 仔细检查不松懈</a></div>
<div class="title"><span class="s-9">9</span> <a href="/article/10548.html" title="收房时三书一证一表是什么 主要作用介绍">收房时三书一证一表是什么 主要作用介绍</a></div>
<div class="title"><span class="s-10">10</span> <a href="/article/10547.html" title="交房时交房税费有哪些 本文为你一一讲解">交房时交房税费有哪些 本文为你一一讲解</a></div>
<div class="title"><span class="s-11">11</span> <a href="/article/10526.html" title="验房都需要验什么 要做哪些准备呢">验房都需要验什么 要做哪些准备呢</a></div>
<div class="title"><span class="s-12">12</span> <a href="/article/10525.html" title="毛坯房验房师有必要请吗 毛坯房装修完如何验收">毛坯房验房师有必要请吗 毛坯房装修完如何验收</a></div>
<div class="title"><span class="s-13">13</span> <a href="/article/7820.html" title="地下室防水工程质量验收规范详解">地下室防水工程质量验收规范详解</a></div>
<div class="title"><span class="s-14">14</span> <a href="/article/4947.html" title="水性涂料、油性涂料区别介绍">水性涂料、油性涂料区别介绍</a></div>
<div class="title"><span class="s-15">15</span> <a href="/article/4517.html" title="零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包">零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包</a></div>
<div class="title"><span class="s-16">16</span> <a href="/article/4438.html" title="三棵树漆怎么样？三棵树漆官方网站">三棵树漆怎么样？三棵树漆官方网站</a></div>
<div class="title"><span class="s-17">17</span> <a href="/article/4258.html" title="家庭“装修套餐”中猫腻你知道吗？">家庭“装修套餐”中猫腻你知道吗？</a></div>
<div class="title"><span class="s-18">18</span> <a href="/article/4051.html" title="小空间大浴望 卫浴间装修巧支招">小空间大浴望 卫浴间装修巧支招</a></div>
</div>
<div class="add-gg">
<!-- 文章内页广告 -->
<ins class="adsbygoogle"
style="display:block"
data-ad-client="ca-pub-4387516810452807"
data-ad-slot="9131157744"
data-ad-format="auto"
data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</div>
</div>
<!--侧边栏-->
<div id="sidebar">
<li class="sidebar-box">
<h3 class="widget-title">随机推荐</h3>
<ul>
<li>
<a href="/article/197283.html" title="Python读取csv文件分隔符设置方法">Python读取csv文件分隔符设置方法</a>
</li>
<li>
<a href="/article/197284.html" title="python实时获取外部程序输出结果的方法">python实时获取外部程序输出结果的方法</a>
</li>
<li>
<a href="/article/197285.html" title="python实现控制台打印的方法">python实现控制台打印的方法</a>
</li>
<li>
<a href="/article/197286.html" title="python 自定义对象的打印方法">python 自定义对象的打印方法</a>
</li>
<li>
<a href="/article/197288.html" title="用Python实现大文本文件切割的方法">用Python实现大文本文件切割的方法</a>
</li>
<li>
<a href="/article/197293.html" title="python中使用 xlwt 操作excel的常见方法与问题">python中使用 xlwt 操作excel的常见方法与问题</a>
</li>
<li>
<a href="/article/197296.html" title="如何利用Kotlin实现极简回调">如何利用Kotlin实现极简回调</a>
</li>
<li>
<a href="/article/197303.html" title="Spring Boot整合Swagger测试api构建全纪录">Spring Boot整合Swagger测试api构建全纪录</a>
</li>
<li>
<a href="/article/197304.html" title="Android实现百度地图两点画弧线">Android实现百度地图两点画弧线</a>
</li>
<li>
<a href="/article/197316.html" title="C#实现鼠标裁剪图像功能">C#实现鼠标裁剪图像功能</a>
</li>
<li>
<a href="/article/197319.html" title="python交换两个变量的值方法">python交换两个变量的值方法</a>
</li>
<li>
<a href="/article/197320.html" title="python设定并获取socket超时时间的方法">python设定并获取socket超时时间的方法</a>
</li>
<li>
<a href="/article/197321.html" title="python 限制函数执行时间,自己实现timeout的实例">python 限制函数执行时间,自己实现timeout的实例</a>
</li>
<li>
<a href="/article/197322.html" title="Python构建图像分类识别器的方法">Python构建图像分类识别器的方法</a>
</li>
<li>
<a href="/article/197323.html" title="使用python opencv对目录下图片进行去重的方法">使用python opencv对目录下图片进行去重的方法</a>
</li>
<li>
<a href="/article/197324.html" title="spring中bean的生命周期详解">spring中bean的生命周期详解</a>
</li>
</ul>
</li>
<li class="sidebar-box">
<!-- google文章侧边 -->
<ins class="adsbygoogle"
style="display:block"
data-ad-client="ca-pub-4387516810452807"
data-ad-slot="8604338277"
data-ad-format="auto"
data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</li>
</div>
</div>
</div>
<ul class="suspend">
<li class="back-top" onclick="backTop()">
<i class="fa fa-chevron-up"></i>
<span class="more">返回顶部</span>
</li>
<li>
<a href="http://wpa.qq.com/msgrd?v=3&uin=3162201930&site=qq&menu=yes">
<i class="fa fa-qq"></i>
<span class="more">3162201930</span>
</a>
</li>
<li>
<a href="mailto:czq8825@qq.com">
<i class="fa fa-envelope"></i>
<span class="more">czq8825@qq.com</span>
</a>
</li>
<!-- <li>
<i class="fa fa-weixin"></i>
<span class="more weixin"><img src="https://www.haoziyuan.cc/Uploads/20210427/6087c019e1f1f.jpg" alt="微信二维码"></span>
</li> -->
</ul>
<footer class="footer clearfix">
<p>免责声明：网站资源来源于网络，如有侵权，请及时联系删除。</p>
<p>Copyright © 2024 <a href="/">微客导航网</a>. All Rights Reserved.</p>
<p>
<a href="https://beian.miit.gov.cn">蜀ICP备2021004611号-4</a>
<a href="/sitemap.html">网站地图</a>
<script>
var _hmt = _hmt || [];
(function() {
var hm = document.createElement("script");
hm.src = "https://hm.baidu.com/hm.js?78e2f1027b3a17750580941ea594d61e";
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(hm, s);
})();
</script> </p>
</footer>
<script src="/Public/Home/js/main.js"></script>
<script type="text/javascript" src="/Public/Home/js/z_stat.js"></script>
</body>
</html>