golang HTTP 服务器 处理 日志/Stream流的操作
目前，我开发HTTP服务，用的是beego框架，方便了很多。
但是，有时候，还是会遇到一些特殊的场景。
比如：过滤日志。
这应该是一种典型的stream，同时数据量也适中，不会有人，为了这个，就用一些很重的框架。
可以这样直观的描述这个逻辑
其他组件产生log
||
\/
我的组件，业务处理
||
\/
用户，httpclient
这种情景下，有几个特殊点：
1.难以用string，或者byte数组收集数据
2.数据Source端，不断的有数据产生
3.数据缓冲，如果占有的内存太多，可能导致服务崩溃
通常情况下，我们准备好数据，然后调用Beego框架的方法，将数据发送到客户端，就不管了。
而如果，我们需要根据处理的情况，多次写数据到客户端，该怎么办呢？
首先，对于这种简单的流数据，golang提供了一个结构。
pipeReader,pipeWriter:=io.Pipe()
这个方法的原型是这样的
funcPipe()(*PipeReader,*PipeWriter)
它返回紧密相连的一对Reader和Writer。他们的“生命周期”相同。
任何写到Writer中的数据，直接流到了Reader中。这个和Linux命令行中“管道|”很像。
我们先开个goroutine接收日志数据
gofunc(){
for{
varlog[]byte
//log=
pipeWriter.Write(log)
//break;
}
pipeWriter.CloseWithError(io.EOF)
}
主逻辑中，处理日志
deferpipeReader.Close()
rr:=bufio.NewReader(io.Reader(pipeReader))
for{
line,err:=rr.ReadBytes('\n')
ifio.EOF==err{
break
}
........
}
最后，输出到客户端
varout[]byte ctl.Ctx.ResponseWriter.Write(out) ctl.Ctx.ResponseWriter.Flush()
总结：
iopipe直接对接了日志输出，缓冲很小，
处理后的结果，直接输出到http客户端。
尤其是第二点，很重要，我在处理这个逻辑的时候，发现服务器，有几次意外崩溃，后来，才意识到，beego的controller如果缓冲处理后的数据，有可能仍然占有大量内存。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持毛票票。如有错误或未考虑完全的地方，望不吝赐教。