利用pandas向一个csv文件追加写入数据的实现示例
我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)
pandasto_csv()只能在新文件写数据?当然不是!
pandasto_csv()是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv',mode='a',header=False)
to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。
pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
#-*-coding:utf-8-*-
importos
importtime
importpandasaspd
frommultiprocessingimportPool
defmerge(filename):
returnpd.read_csv('./fun_data/'+filename)
if__name__=="__main__":
file_list=os.listdir('./fun_data')
e1=time.time()
pool=Pool(20)
result=pool.map(merge,file_list)
pool.close()
pool.join()
e2=time.time()
print(e2-e1)
foriinresult:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3=time.time()
print(e3-e2)
到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandascsv追加写入内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票!
热门推荐
10 新年门口花束祝福语简短
11 盘锦结婚祝福语大全简短
12 父母生日祝福语 简短独特
13 家庭恩爱祝福语简短英文
14 高考俄语祝福语大全简短
15 虎年祝福语 诗句唯美简短
16 生日婚礼祝福语简短精辟
17 虎年喝酒拜年祝福语简短
18 教师闺蜜祝福语简短