Python实现新浪博客备份的方法
本文实例讲述了Python实现新浪博客备份的方法。分享给大家供大家参考，具体如下：
Python2.7.2版本实现，推荐在IDE中运行。
#-*-coding:UTF-8-*-＃
'''
Createdon2011-12-18
@author:Ahan
'''
importre
importsys
importos
importtime
importsocket
importlocale
importdatetime
importcodecs
fromurllibimporturlopen
#正则表达式定义
#匹配博文目录链接
pattern1=u"""<ahref="(http:.*?)">博文目录</a>"""
prog1=re.compile(pattern1)
#匹配博文标题链接
pattern2=u"""<atitle="(.*?)"target="_blank"href="(.*?)">.*?</a>"""
prog2=re.compile(pattern2)
#匹配下一页链接
pattern3=u"""<ahref="([^"]+)"title="[^"]+">下一页"""
prog3=re.compile(pattern3)
#匹配正文部分
pattern4=u"""<!--博文正文begin-->[\\s\\S]*?<!--正文结束-->"""
prog4=re.compile(pattern4)
#匹配正文图片链接
pattern5=u"""(src="[^"]+"(real_src="([^"]+)"))"""
prog5=re.compile(pattern5)
defread_date_from_url(url):
"""以Unicode形式返回从url上读取的所有数据
"""
try:
data=""
request=urlopen(url)
whileTrue:
s=request.read(1024)
ifnots:
break
data+=s
returnunicode(data)
except:
print'读取数据时出错'
print"Unexpectederror:",sys.exc_info()[0],sys.exc_info()[1]
returnNone
finally:
ifrequest:
request.close()
defsave_to_file(url,filename,blog_address):
"""url为博文地址，filename为要保存的文件名，默认后缀为html
"""
#如果文件夹不存在则创建文件夹
ifos.path.exists(blog_address)==False:
os.makedirs(blog_address)
#去掉文件名中的非法字符
filename=ReplaceBadCharOfFileName(filename)
file_no=0
whileos.path.isfile(blog_address+'/'+filename+'.html')==True:
filename=filename+'('+file_no.__str__()+')'
file_no+=1
text=read_date_from_url(url)
text=_filter(text)
#将图片保存到本地
result=prog5.findall(text)
i=1
forpicinresult:
folder=blog_address+'/'+filename+'/'
pic_name='image'+i.__str__()+'.gif'
ifos.path.exists(folder)==False:
os.makedirs(folder)
try:
url_file=urlopen(pic[2])
pic_file=codecs.open(folder+pic_name,'wb')
whileTrue:
s=url_file.read(1024)
ifnots:
break
pic_file.write(s)
pic_file.close()
url_file.close()
except:
print'噢，保存图片的时候出现问题了，跳过此张图片...'
print"Unexpectederror:",sys.exc_info()[0],sys.exc_info()[1]
else:
print'保存图片成功...'
#替换正文中的图片地址
text=text.replace(pic[0],unicode("src=\""+filename+"/"+pic_name+"\""+pic[1]),1)
i=i+1
blog_file=codecs.open(blog_address+'/'+filename+'.html','wb')
blog_file.write(text)
blog_file.close()
#提取文本中的正文部分
def_filter(t):
"""提取文本中的正文部分，返回Unicode形式的字符串
"""
result=prog4.search(t)
ifresultisnotNone:
returnu'<html><head></head><body>'+unicode(result.group())+u'</dody></html>'
else:
raiseException('噢，提取正文出错了……')
#去掉文件名的不合法字符
defReplaceBadCharOfFileName(filename):
filename=filename.replace(" ","")
filename=filename.replace("\\","")
filename=filename.replace("/","")
filename=filename.replace(":","")
filename=filename.replace("*","")
filename=filename.replace("?","")
filename=filename.replace("<","")
filename=filename.replace(">","")
filename=filename.replace("|","")
filename=filename.replace("&","")
filename=filename.replace(";","")
returnfilename
#主函数
if__name__=='__main__':
#准备阶段
blog_no=1#博文编号
begin=1#起始博文
end=0#结束博文
page=0#页码
saved=0#成功保存的篇数
timeout=60*5#超时设为5分钟
socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket，不必再设置
blog_address=raw_input("请输入您的博客地址（输入最后部分即可，比如您的博客地址是http://blog.sina.com.cn/jiangafu，只要输入jiangafu）：")
blog_address=blog_address.replace('\r','')
begin=raw_input('从第几篇开始：')
begin=locale.atoi(begin)
whilebegin<=0:
begin=raw_input('请输入大于0的数：')
begin=locale.atoi(begin)
end=raw_input('到第几篇结束（到最后请输入0）：')
end=locale.atoi(end)
whileend<0:
end=raw_input('请输入大于等于0的数：')
end=locale.atoi(end)
ifend==0:
print'您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到最后一篇博文'
else:
print'您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到第'\
+end.__str__()+'篇的博文'
starttime=datetime.datetime.now()
text=read_date_from_url('http://blog.sina.com.cn/'+blog_address)
time.sleep(0.5)
#提取“博文目录”的url
result=prog1.search(text)
ifresultisnotNone:
print'博文目录地址：',result.group(1)
text=read_date_from_url(result.group(1))
time.sleep(0.4)
else:
print'提取博文目录地址失败'
#终止程序运行
sys.exit()
#查找每一页的全部博文，分析、提取、保存
whileTrue:
page+=1
print'开始备份第',page,'页'
#匹配该页的所有博文地址
result=prog2.findall(text)
#循环下载本页每篇博文
forbloginresult:
ifblog_no<begin:
blog_no+=1
elifend!=0andblog_no>end:
break
else:
try:
save_to_file(blog[1],unicode(blog[0]),blog_address)
except:
print'噢，保存第',blog_no,'篇博文',blog[0],'的时候出现问题了，跳过...'
blog_no+=1
print"Unexpectederror:",sys.exc_info()[0],sys.exc_info()[1]
else:
print'成功保存了第',blog_no,'篇博文:',blog[0]
blog_no+=1
saved+=1
time.sleep(0.4)
#判断是否有下一页
result=prog3.search(text)
ifresultisnotNone:
text=read_date_from_url(result.group(1))
else:
print'这是最后一页'
break
print'博客备份完成一共备份',saved,'篇博文'
print'共用时:',datetime.datetime.now()-starttime
raw_input('按回车键退出...')
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python数据结构与算法教程》、《PythonSocket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。