在Python的Django框架中用流响应生成CSV文件的教程
在Django里,流式响应StreamingHttpResponse是个好东西,可以快速、节省内存地产生一个大型文件。
目前项目里用于流式响应的一个是Eventsource,用于改善跨系统通讯时用户产生的慢速的感觉。这个不细说了。
还有一个就是生成一个大的csv文件。
当Django进程处于gunicorn或者uwsgi等web容器中时,如果响应超过一定时间没有返回,就会被web容器终止掉,虽然我们可以通过加长web容器的超时时间来绕过这个问题,但是毕竟还是治标不治本。要根本上解决这个问题,Python的生成器、Django框架提供的StreamingHttpResponse这个流式响应很有帮助
而在csv中,中文的处理也至关重要,要保证用excel打开csv不乱码什么的。。为了节约空间,我就把所有代码贴到一起了。。实际使用按照项目的规划放置哈
上代码:
from__future__importabsolute_import
importcsv
importcodecs
importcStringIO
classEcho(object):
defwrite(self,value):
returnvalue
classUnicodeWriter:
"""
ACSVwriterwhichwillwriterowstoCSVfile"f",
whichisencodedinthegivenencoding.
"""
def__init__(self,f,dialect=csv.excel,encoding="utf-8",**kwds):
#Redirectoutputtoaqueue
self.queue=cStringIO.StringIO()
self.writer=csv.writer(self.queue,dialect=dialect,**kwds)
self.stream=f
self.encoder=codecs.getincrementalencoder(encoding)()
defwriterow(self,row):
self.writer.writerow([handle_column(s)forsinrow])
#FetchUTF-8outputfromthequeue...
data=self.queue.getvalue()
data=data.decode("utf-8")
#...andreencodeitintothetargetencoding
data=self.encoder.encode(data)
#writetothetargetstream
value=self.stream.write(data)
#emptyqueue
self.queue.truncate(0)
returnvalue
defwriterows(self,rows):
forrowinrows:
self.writerow(row)
fromdjango.views.genericimportView fromdjango.http.responseimportStreamingHttpResponse classExampleView(View): headers=['一些','表头'] defget(self,request): result=[['第一行','数据1'], ['第二行','数据2']] echoer=Echo() writer=UnicodeWriter(echoer) defcsv_itertor(): yieldcodecs.BOM_UTF8 yieldwriter.writerow(self.headers) forcolumninresult: yieldwriter.writerow(column) response=StreamingHttpResponse( (rowforrowincsv_itertor()), content_type="text/csv;charset=utf-8") response['Content-Disposition' ]='attachment;filename="example.csv"' returnresponse
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下