Python实现检测文件的MD5值来查找重复文件案例
平时学生交上机作业的时候经常有人相互复制，直接改文件名了事，为了能够简单的检测这种作弊行为，想到了检测文件的MD5值，虽然对于抄袭来说作用不大，但是聊胜于无，以后可以做一个复杂点的。
#coding:utf8
importhashlib
importos
fromcollectionsimportCounter
importsys
reload(sys)
sys.setdefaultencoding('utf-8')
defget_md5_01(file_path):
md5=None
ifos.path.isfile(file_path):
f=open(file_path,'rb')
md5_obj=hashlib.md5()
md5_obj.update(f.read())
hash_code=md5_obj.hexdigest()
f.close()
md5=str(hash_code).lower()
returnmd5
defget_md5_02(file_path):
f=open(file_path,'rb')
md5_obj=hashlib.md5()
whileTrue:
d=f.read(8096)
ifnotd:
break
md5_obj.update(d)
hash_code=md5_obj.hexdigest()
f.close()
md5=str(hash_code).lower()
returnmd5
if__name__=="__main__":
output_list=[]
#input_path=r"e:\xx\新建文件夹"
#output_path=unicode(input_path,"utf8")
output_path=os.getcwd()
g=os.walk(output_path)
forpath,dir_list,file_listing:
forfile_nameinfile_list:
output_list.append(os.path.join(path,file_name))
md5_list=[get_md5_01(i)foriinoutput_list]
Counter_list=Counter(md5_list)
foriinCounter_list.items():
ifi[1]>1:
duplicate_list=[aforainrange(len(md5_list))ifmd5_list[a]==i[0]]
print'-'*50
printi[0]
forjinduplicate_list:
withopen('duplicate.log',mode='a+')asf:
f.write(i[0]+'\t'+output_list[j]+'\n')
printoutput_list[j]
补充知识：python一句话校验文件哈希值
MD5
python-c"importhashlib,sys;printhashlib.md5(open(sys.argv[1],'rb').read()).hexdigest()"文件名
SHA-1
python-c"importhashlib,sys;printhashlib.sha1(open(sys.argv[1],'rb').read()).hexdigest()"文件名
SHA-256
python-c"importhashlib,sys;printhashlib.sha256(open(sys.argv[1],'rb').read()).hexdigest()"文件名
SHA-512
python-c"importhashlib,sys;printhashlib.sha512(open(sys.argv[1],'rb').read()).hexdigest()"文件名
以上这篇Python实现检测文件的MD5值来查找重复文件案例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。