python递归下载文件夹下所有文件
最近想备份网站，但是php下载文件的大小是有大小限制的，而我也懒得装ftp再下载了，就想着暂时弄个二级域名站，然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。（0-0就是这么任性）
1.安装requests库
pipinstallrequests
这里需要处理的地方主要是文件夹，这里我们判断出该链接是文件夹时，自动创建文件夹，并递归继续进行操作，否则判断该链接是文件，直接使用requestsget方法下载，话不多说，看代码
####春江暮客www.bobobk.com
importrequests
importre
importos
importsys
defhelp(script):
text='python3%shttps://www.bobobk.com./'%script
print(text)
defget_file(url,path):##文件下载函数
content=requests.get(url)
print("write%sin%s"%(url,path))
filew=open(path+url.split("/")[-1],'wb')
forchunkincontent.iter_content(chunk_size=512*1024):
ifchunk:#filteroutkeep-alivenewchunks
filew.write(chunk)
filew.close()
defget_dir(url,path):#文件夹处理逻辑
content=requests.get(url).text
if"Indexof"incontent:
sub_url=re.findall('href="(.*?)"rel="externalnofollow"',content)
print(sub_url)
foriinsub_url:
if"/"ini:
i=i.split("/")[0]
print(i)
ifi!="."andi!="..":
ifnotos.direxists(path+i):
os.mkdir(path+i)
get_dir(url+"/"+i,path+i+"/")
print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/")
else:
get_file(url+"/"+i,path)
else:
get_file(url,path)
if__name__=='__main__':
ifnotsys.argv[1]:
help(sys.argv[0])
exit(0)
else:
get_dir(sys.argv[1],"./")</pre>
<p>至此，就在本地目录完全还原下载原网站的路径和文件了。</p>
<p>以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。</p></section>
</div>
</div>
<!--文章阅读上下按钮-->
<nav>
<span class="meta-nav"><a href="/article/182913.html" title="python或C++读取指定文件夹下的所有图片" se_prerender_url="complete">上一篇<br>python或C++读取指定文件夹下的所有图片</a></span>
<span class="meta-nav"><a href="/article/182911.html" title="Python实现Restful API的例子" se_prerender_url="complete">下一篇<br>Python实现Restful API的例子</a></span>
<div class="clear"></div>
</nav>
<!-- 文章推荐 -->
<div class="article-recommend">
<h3>热门推荐</h3>
<div class="title"><span class="s-1">1</span> <a href="/article/10835.html" title="毛坯房验收经验和常识 看了之后再验房心里有底">毛坯房验收经验和常识 看了之后再验房心里有底</a></div>
<div class="title"><span class="s-2">2</span> <a href="/article/10697.html" title="二手房收房如何交接 二手房收房注意问题">二手房收房如何交接 二手房收房注意问题</a></div>
<div class="title"><span class="s-3">3</span> <a href="/article/10605.html" title="专业验收毛坯房的价格 商品房验收合格的标准">专业验收毛坯房的价格 商品房验收合格的标准</a></div>
<div class="title"><span class="s-4">4</span> <a href="/article/10568.html" title="精装房怎么验收 精装房请验房师有用吗">精装房怎么验收 精装房请验房师有用吗</a></div>
<div class="title"><span class="s-5">5</span> <a href="/article/10567.html" title="一般要到哪里找验房师 验房师有哪些作用呢">一般要到哪里找验房师 验房师有哪些作用呢</a></div>
<div class="title"><span class="s-6">6</span> <a href="/article/10566.html" title="请人验房一般是多少钱 验房师费用是多少">请人验房一般是多少钱 验房师费用是多少</a></div>
<div class="title"><span class="s-7">7</span> <a href="/article/10553.html" title="怎样测量房子面积 建筑面积和使用面积怎么算">怎样测量房子面积 建筑面积和使用面积怎么算</a></div>
<div class="title"><span class="s-8">8</span> <a href="/article/10550.html" title="收房需要注意什么 仔细检查不松懈">收房需要注意什么 仔细检查不松懈</a></div>
<div class="title"><span class="s-9">9</span> <a href="/article/10548.html" title="收房时三书一证一表是什么 主要作用介绍">收房时三书一证一表是什么 主要作用介绍</a></div>
<div class="title"><span class="s-10">10</span> <a href="/article/10547.html" title="交房时交房税费有哪些 本文为你一一讲解">交房时交房税费有哪些 本文为你一一讲解</a></div>
<div class="title"><span class="s-11">11</span> <a href="/article/10526.html" title="验房都需要验什么 要做哪些准备呢">验房都需要验什么 要做哪些准备呢</a></div>
<div class="title"><span class="s-12">12</span> <a href="/article/10525.html" title="毛坯房验房师有必要请吗 毛坯房装修完如何验收">毛坯房验房师有必要请吗 毛坯房装修完如何验收</a></div>
<div class="title"><span class="s-13">13</span> <a href="/article/7820.html" title="地下室防水工程质量验收规范详解">地下室防水工程质量验收规范详解</a></div>
<div class="title"><span class="s-14">14</span> <a href="/article/4947.html" title="水性涂料、油性涂料区别介绍">水性涂料、油性涂料区别介绍</a></div>
<div class="title"><span class="s-15">15</span> <a href="/article/4517.html" title="零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包">零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包</a></div>
<div class="title"><span class="s-16">16</span> <a href="/article/4438.html" title="三棵树漆怎么样？三棵树漆官方网站">三棵树漆怎么样？三棵树漆官方网站</a></div>
<div class="title"><span class="s-17">17</span> <a href="/article/4258.html" title="家庭“装修套餐”中猫腻你知道吗？">家庭“装修套餐”中猫腻你知道吗？</a></div>
<div class="title"><span class="s-18">18</span> <a href="/article/4051.html" title="小空间大浴望 卫浴间装修巧支招">小空间大浴望 卫浴间装修巧支招</a></div>
</div>
<div class="add-gg">
<!-- 文章内页广告 -->
<ins class="adsbygoogle"
style="display:block"
data-ad-client="ca-pub-4387516810452807"
data-ad-slot="9131157744"
data-ad-format="auto"
data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</div>
</div>
<!--侧边栏-->
<div id="sidebar">
<li class="sidebar-box">
<h3 class="widget-title">随机推荐</h3>
<ul>
<li>
<a href="/article/365290.html" title="祝长辈中秋祝福语简短">祝长辈中秋祝福语简短</a>
</li>
<li>
<a href="/article/365289.html" title="老板离职了简短祝福语">老板离职了简短祝福语</a>
</li>
<li>
<a href="/article/365287.html" title="酸奶店开业祝福语简短">酸奶店开业祝福语简短</a>
</li>
<li>
<a href="/article/365286.html" title="天冷祝福语简短暖心">天冷祝福语简短暖心</a>
</li>
<li>
<a href="/article/365285.html" title="蛋糕祝福语简短给老公">蛋糕祝福语简短给老公</a>
</li>
<li>
<a href="/article/365284.html" title="初中老师结婚祝福语简短">初中老师结婚祝福语简短</a>
</li>
<li>
<a href="/article/365283.html" title="历史老师结婚祝福语简短">历史老师结婚祝福语简短</a>
</li>
<li>
<a href="/article/365282.html" title="不同的生日祝福语简短">不同的生日祝福语简短</a>
</li>
<li>
<a href="/article/365281.html" title="医师节晚宴祝福语简短">医师节晚宴祝福语简短</a>
</li>
<li>
<a href="/article/365279.html" title="祝别人99祝福语简短">祝别人99祝福语简短</a>
</li>
<li>
<a href="/article/365277.html" title="装修开工祝福语简短霸气">装修开工祝福语简短霸气</a>
</li>
<li>
<a href="/article/365275.html" title="过年祝福语简短走心">过年祝福语简短走心</a>
</li>
<li>
<a href="/article/365272.html" title="去读大学祝福语简短">去读大学祝福语简短</a>
</li>
<li>
<a href="/article/365271.html" title="砸墙祝福语简短霸气">砸墙祝福语简短霸气</a>
</li>
<li>
<a href="/article/365270.html" title="生日恩爱祝福语简短精辟">生日恩爱祝福语简短精辟</a>
</li>
<li>
<a href="/article/365266.html" title="好的结婚祝福语简短">好的结婚祝福语简短</a>
</li>
</ul>
</li>
<li class="sidebar-box">
<!-- google文章侧边 -->
<ins class="adsbygoogle"
style="display:block"
data-ad-client="ca-pub-4387516810452807"
data-ad-slot="8604338277"
data-ad-format="auto"
data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</li>
</div>
</div>
</div>
<ul class="suspend">
<li class="back-top" onclick="backTop()">
<i class="fa fa-chevron-up"></i>
<span class="more">返回顶部</span>
</li>
<li>
<a href="http://wpa.qq.com/msgrd?v=3&uin=3162201930&site=qq&menu=yes">
<i class="fa fa-qq"></i>
<span class="more">3162201930</span>
</a>
</li>
<li>
<a href="mailto:czq8825@qq.com">
<i class="fa fa-envelope"></i>
<span class="more">czq8825@qq.com</span>
</a>
</li>
<!-- <li>
<i class="fa fa-weixin"></i>
<span class="more weixin"><img src="https://www.haoziyuan.cc/Uploads/20210427/6087c019e1f1f.jpg" alt="微信二维码"></span>
</li> -->
</ul>
<footer class="footer clearfix">
<p>免责声明：网站资源来源于网络，如有侵权，请及时联系删除。</p>
<p>Copyright © 2024 <a href="/">微客导航网</a>. All Rights Reserved.</p>
<p>
<a href="https://beian.miit.gov.cn">蜀ICP备2021004611号-4</a>
<a href="/sitemap.html">网站地图</a>
<script>
var _hmt = _hmt || [];
(function() {
var hm = document.createElement("script");
hm.src = "https://hm.baidu.com/hm.js?78e2f1027b3a17750580941ea594d61e";
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(hm, s);
})();
</script> </p>
</footer>
<script src="/Public/Home/js/main.js"></script>
<script type="text/javascript" src="/Public/Home/js/z_stat.js"></script>
</body>
</html>