python3大文件解压和基本操作
先说下：所谓的大文件并不是压缩文件有多大，几十兆的文件而是解压后几百兆。其中就遇到解压不成功的情况.、读小文件时成功，大文件时失败等
defunzip_to_txt_plus(zipfilename):
zfile=zipfile.ZipFile(zipfilename,'r')
forfilenameinzfile.namelist():
data=zfile.read(filename)
#data=data.decode('gbk').encode('utf-8')
data=data.decode('gbk','ignore').encode('utf-8')
file=open(filename,'w+b')
file.write(data)
file.close()
if__name__=='__main__':
zipfilename="E:\\share\\python_excel\\zip_to_database\\20171025.zip"
unzip_to_txt_plus(zipfilename)
注意参数：‘ignore'，因为默认是严格编码，如果不加这个参数就会报错。
因为该函数已经把文件编成utf-8所以后面读取文件时成功，下面贴出读取大文件代码(忽略数据库相关)
#-coding:utf-8-
importcsv
importlinecache
importxlrd
importMySQLdb
deftxt_todatabase(filename,linenum):
#withopen(filename,"r",encoding="gbk")ascsvfile:
#Read=csv.reader(csvfile)
#count=0
#foriinRead:
##print(i)
#count+=1
##print('hello')
#print(count)
count=linecache.getline(filename,linenum)
print(count)
#withopen("new20171028.csv","w",newline="")asdatacsv:
##dialect为打开csv文件的方式，默认是excel，delimiter="\t"参数指写入的时候的分隔符
#csvwriter=csv.writer(datacsv,dialect=("excel"))
##csv文件插入一行数据，把下面列表中的每一项放入一个单元格（可以用循环插入多行）
#csvwriter.writerow(["A","B","C","D"])
defbigtxt_read(filename):
withopen(filename,'r',encoding='utf-8')asdata:
count=0
while1:
count+=1
line=data.readline()
if1000000==count:
print(line)
ifnotline:
break
print(count)
if__name__=='__main__':
filename='20171025.txt'
txt_todatabase(filename,1000000)
bigtxt_read(filename)
经过对比，发现两个速度基本一样快。两百万行的数据是没压力的。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。