python3大文件解压和基本操作
先说下:所谓的大文件并不是压缩文件有多大,几十兆的文件而是解压后几百兆。其中就遇到解压不成功的情况.、读小文件时成功,大文件时失败等
defunzip_to_txt_plus(zipfilename): zfile=zipfile.ZipFile(zipfilename,'r') forfilenameinzfile.namelist(): data=zfile.read(filename) #data=data.decode('gbk').encode('utf-8') data=data.decode('gbk','ignore').encode('utf-8') file=open(filename,'w+b') file.write(data) file.close() if__name__=='__main__': zipfilename="E:\\share\\python_excel\\zip_to_database\\20171025.zip" unzip_to_txt_plus(zipfilename)
注意参数:‘ignore',因为默认是严格编码,如果不加这个参数就会报错。
因为该函数已经把文件编成utf-8所以后面读取文件时成功,下面贴出读取大文件代码(忽略数据库相关)
#-coding:utf-8- importcsv importlinecache importxlrd importMySQLdb deftxt_todatabase(filename,linenum): #withopen(filename,"r",encoding="gbk")ascsvfile: #Read=csv.reader(csvfile) #count=0 #foriinRead: ##print(i) #count+=1 ##print('hello') #print(count) count=linecache.getline(filename,linenum) print(count) #withopen("new20171028.csv","w",newline="")asdatacsv: ##dialect为打开csv文件的方式,默认是excel,delimiter="\t"参数指写入的时候的分隔符 #csvwriter=csv.writer(datacsv,dialect=("excel")) ##csv文件插入一行数据,把下面列表中的每一项放入一个单元格(可以用循环插入多行) #csvwriter.writerow(["A","B","C","D"]) defbigtxt_read(filename): withopen(filename,'r',encoding='utf-8')asdata: count=0 while1: count+=1 line=data.readline() if1000000==count: print(line) ifnotline: break print(count) if__name__=='__main__': filename='20171025.txt' txt_todatabase(filename,1000000) bigtxt_read(filename)
经过对比,发现两个速度基本一样快。两百万行的数据是没压力的。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。