如何使用C#将Tensorflow训练的.pb文件用在生产环境详解
前言
TensorFlow是Google开源的一款人工智能学习系统。为什么叫这个名字呢？Tensor的意思是张量，代表N维数组；Flow的意思是流，代表基于数据流图的计算。把N维数字从流图的一端流动到另一端的过程，就是人工智能神经网络进行分析和处理的过程。
训练了很久的Tf模型，终于要到生产环境中去考研一番了。今天花费了一些时间去研究tf的模型如何在生产环境中去使用。大概整理了这些方法。
继续使用分步骤保存了的ckpt文件
这个貌似脱离不了tensorflow框架，而且生成的ckpt文件比较大，发布到生产环境的时候，还得把python的算法文件一起搞上去，如何和其他程序交互，可能还得自己去写服务。估计很少有人这么做，貌似性能也很一般。
使用tensorflowServing
tfServing貌似是大家都比较推崇的方法。需要编译tfServing，然后把模型导出来。直接执行tfServing的进程，就可以对外提供服务了。具体调用的时候，还得自己写客户端，使用人gRPC去调用Serving，然后再对外提供服务，听上去比较麻烦。而且我今天没太多的时间去研究gRPC，网络上关于客户端很多都是用python写的，我感觉自己的python水平比较菜，没信心能写好。所以这个方式就先没研究。
生产.pb文件，然后写程序去调用.pb文件
生成了.pb文件以后，就可以被程序去直接调用，传入参数，然后就可以传出来参数，而且生成的.pb文件非常的小。而我又有比较丰富的.net开发经验。在想，是否可以用C#来解析.pb文件，然后做一个.netcore的对外服务的API，这样貌似更加高效，关键是自己熟悉这款的开发，不用花费太多的时间去摸索。、
具体的思路
使用.net下面的TensorFlow框架tensorflowSharp（貌似还是没脱离了框架）.去调用pb文件，然后做成.netcorewebAPI对外提供服务。
具体的实现
直接上代码，非常简单，本身设计到tensorflowsharp的地方非常的少
vargraph=newTFGraph();
//重点是下面的这句，把训练好的pb文件给读出来字节，然后导入
varmodel=File.ReadAllBytes(model_file);
graph.Import(model);
Console.WriteLine("请输入一个图片的地址");
varsrc=Console.ReadLine();
vartensor=ImageUtil.CreateTensorFromImageFile(src);
using(varsess=newTFSession(graph))
{
varrunner=sess.GetRunner();
runner.AddInput(graph["Cast_1"][0],tensor);
varr=runner.Run(graph.softmax(graph["softmax_linear/softmax_linear"][0]));
varv=(float[,])r.GetValue();
Console.WriteLine(v[0,0]);
Console.WriteLine(v[0,1]);
}
ImageUtil这个类库是tensorflowSharp官方的例子中一个把图片转成tensor的类库，我直接copy过来了，根据我的网络，修改了几个参数。
publicstaticclassImageUtil
{
publicstaticTFTensorCreateTensorFromImageFile(byte[]contents,TFDataTypedestinationDataType=TFDataType.Float)
{
vartensor=TFTensor.CreateString(contents);
TFOutputinput,output;
//Constructagraphtonormalizetheimage
using(vargraph=ConstructGraphToNormalizeImage(outinput,outoutput,destinationDataType))
{
//Executethatgraphtonormalizethisoneimage
using(varsession=newTFSession(graph))
{
varnormalized=session.Run(
inputs:new[]{input},
inputValues:new[]{tensor},
outputs:new[]{output});
returnnormalized[0];
}
}
}
//ConverttheimageinfilenametoaTensorsuitableasinputtotheInceptionmodel.
publicstaticTFTensorCreateTensorFromImageFile(stringfile,TFDataTypedestinationDataType=TFDataType.Float)
{
varcontents=File.ReadAllBytes(file);
//DecodeJpegusesascalarString-valuedtensorasinput.
vartensor=TFTensor.CreateString(contents);
TFOutputinput,output;
//Constructagraphtonormalizetheimage
using(vargraph=ConstructGraphToNormalizeImage(outinput,outoutput,destinationDataType))
{
//Executethatgraphtonormalizethisoneimage
using(varsession=newTFSession(graph))
{
varnormalized=session.Run(
inputs:new[]{input},
inputValues:new[]{tensor},
outputs:new[]{output});
returnnormalized[0];
}
}
}
//TheinceptionmodeltakesasinputtheimagedescribedbyaTensorinavery
//specificnormalizedformat(aparticularimagesize,shapeoftheinputtensor,
//normalizedpixelvaluesetc.).
//
//ThisfunctionconstructsagraphofTensorFlowoperationswhichtakesas
//inputaJPEG-encodedstringandreturnsatensorsuitableasinputtothe
//inceptionmodel.
privatestaticTFGraphConstructGraphToNormalizeImage(outTFOutputinput,outTFOutputoutput,TFDataTypedestinationDataType=TFDataType.Float)
{
//Someconstantsspecifictothepre-trainedmodelat:
//https://storage.googleapis.com/download.tensorflow.org/models/inception5h.zip
//
//-Themodelwastrainedafterwithimagesscaledto224x224pixels.
//-Thecolors,representedasR,G,Bin1-byteeachwereconvertedto
//floatusing(value-Mean)/Scale.
constintW=128;
constintH=128;
constfloatMean=0;
constfloatScale=1f;
vargraph=newTFGraph();
input=graph.Placeholder(TFDataType.String);
output=graph.Cast(
graph.Div(x:graph.Sub(x:graph.ResizeBilinear(images:graph.ExpandDims(input:graph.Cast(graph.DecodeJpeg(contents:input,channels:3),DstT:TFDataType.Float),
dim:graph.Const(0,"make_batch")),
size:graph.Const(newint[]{W,H},"size")),
y:graph.Const(Mean,"mean")),
y:graph.Const(Scale,"scale")),destinationDataType);
returngraph;
}
}
搞定
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。