微客导航 » 文章资讯 » python筛选出两个文件中重复行的方法

python筛选出两个文件中重复行的方法

2023-09-12 02:08:07 140

本文实例为大家分享了python脚本筛选出两个文件中重复的行数，供大家参考，具体内容如下

'''
查找A文件中，与B文件中内容不重复的内容
'''
#!usr/bin/python

importsys
importos

'''
字符串查找函数，使用二分查找法在列表中进行查询
'''
defbinarySearch(value,lines):
right=len(lines)-1
left=0
a=value.strip()
whileleft<=right:
middle=int((right+left+1)/2)
b=lines[middle].strip()
ifa==b:
return1

ifa=DPT:
fTemp.flush()
fTemp.close()
tempFileNo=tempFileNo+1
tempFileName="temp{0}".format(tempFileNo)
fTemp=open(tempFileName,"w+")
lineCount=0
fTemp.write(line)
lineCount=lineCount+1
line=fB.readline()

fTemp.flush()
fTemp.close()

fB.close()
print("拆分完成，一共{0}个临时文件，{1}条数据。\n".format(tempFileNo,(tempFileNo-1)*DPT+lineCount))

#STEP2：把A文件与B文件拆出来的临时文件逐个进行比较，将结果轮流写入文件result0,result1
#最后写入的result文件就是最终结果
fA=open(fileAName)
resultTempFile={"result0","result1"};
tempIndex=0
fOut=open("repeat","w+")
repeatCount=0
foriinrange(1,tempFileNo+1):
print("比较第{0}个临时文件...\n".format(i))
if0==tempIndex:
resultTempFile="result0"
tempIndex=1
else:
resultTempFile="result1"
tempIndex=0
fResult=open(resultTempFile,"w+")

fTemp=open("temp{0}".format(i))
lineSet=fTemp.readlines()
fTemp.close()
lineList=list(lineSet)
lineList.sort()

line=fA.readline()
whileline:
if0==binarySearch(line,lineList):
fResult.write(line)
else:
fOut.write(line)
repeatCount=repeatCount+1
line=fA.readline()
fA.close()

fResult.flush()
fResult.close()

fA=open(resultTempFile)

fA.close()
fOut.flush()
fOut.close()

print("比较完成，重复数据{0}条".format(repeatCount))

os.rename(resultTempFile,"result")

#STEP3：结束后把临时文件都删掉
print("删除临时文件...\n")
whiletempFileNo>0:
tempFileName="temp{0}".format(tempFileNo)
os.remove(tempFileName)
tempFileNo=tempFileNo-1

print("脚本结束。\n")

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

返回顶部
3162201930
czq8825@qq.com

python筛选出两个文件中重复行的方法

热门推荐

随机推荐