Python做文本按行去重的实现方法
文本:
每行在promotion后面包含一些数字,如果这些数字是相同的,则认为是相同的行,对于相同的行,只保留一行。
思路:
根据字典和字符串切割。
建立一个空字典。
读入文本,并对每行切割前半部分,在读入文本的过程中循环在这个字典中查找,如果没找到,则写入该行到字典。否则,则表示该行已经被写入过字典了(即出现重复的行了),不再写入字典,这就实现了对于重复的行只保留一行的目的。
文本如下:
/promotion/232utm_source /promotion/237LandingPage/borrowExtend/?; /promotion/25113LandingPage/mhd /promotion/25113LandingPage/mhd /promotion/25199com/LandingPage /promotion/254LandingPage/mhd/mhd4/?; /promotion/259LandingPage/ydy/?; /promotion/25113LandingPage/mhd /promotion/25199com/LandingPage /promotion/25199com/LandingPage
程序如下:
line_dict_uniq=dict() withopen('1.txt','r')asfd: forlineinfd: key=line.split('')[0] ifkeynotinline_dict_uniq.values(): line_dict_uniq[key]=line else: continue printline_dict_uniq printlen(line_dict_uniq) #这里是打印了不重复的行(重复的只打印一次),实际再把这个结果写入文件就可以了, #就不写这段写入文件的代码了
上面这个程序执行效率比较低,改成如下会提高一些:
line_dict_uniq=dict() withopen('1.txt','r')asfd: forlineinfd: key=line.split('')[0] ifkeynotinline_dict_uniq.keys(): line_dict_uniq[key]=line else: continue printline_dict_uniq printlen(line_dict_uniq)
继续补充一个函数
#-*-coding:utf-8-*- ''' 只使用与较小的文件,比较大的文件运行时间长 ''' defquchong(infile,outfile): infopen=open(infile,'r',encoding='utf-8') outopen=open(outfile,'w',encoding='utf-8') lines=infopen.readlines() list_1=[] forlineinlines: iflinenotinlist_1: list_1.append(line) outopen.write(line) infopen.close() outopen.close() quchong("源文件路径","目标文件路径")
以上所述是小编给大家介绍的Python做文本按行去重,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持!