C/C++实现对STORM运行信息查看及控制的方法
本文所述程序实例主要实现在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制。对此,通过对STORMUI和CMD源码的分析,得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后,从STORM源码中将storm.thrift拷贝到thrift目录下。输入:
hrift-gencppstorm.thrift
会得到一个gen-cpp目录,里面就是thrift先关脚本的C++实现。我们先看storm.thrift文件接口:
serviceNimbus { //TOPOLOGY上传接口 voidsubmitTopology(1:stringname,2:stringuploadedJarLocation,3:stringjsonConf,4:StormTopologytopology); voidsubmitTopologyWithOpts(1:stringname,2:stringuploadedJarLocation,3:stringjsonConf,4:StormTopologytopology,5:SubmitOptionsoptions); voidkillTopology(1:stringname); voidkillTopologyWithOpts(1:stringname,2:KillOptionsoptions)throws(1:NotAliveExceptione); voidactivate(1:stringname); voiddeactivate(1:stringname); voidrebalance(1:stringname,2:RebalanceOptionsoptions); //TOPOLOGYJAR包上传接口 stringbeginFileUpload(); voiduploadChunk(1:stringlocation,2:binarychunk); voidfinishFileUpload(1:stringlocation); stringbeginFileDownload(1:stringfile); binarydownloadChunk(1:stringid); //获取NIMBUS的配置信息 stringgetNimbusConf(); //获取STORM集群运行信息 ClusterSummarygetClusterInfo(); //获取TOPOLOGY的运行状态信息 TopologyInfogetTopologyInfo(1:stringid); //获取TOPOLOGY对象信息 stringgetTopologyConf(1:stringid); StormTopologygetTopology(1:stringid); StormTopologygetUserTopology(1:stringid); }
生成C++文件后,我们就可以对其接口进行调用,由于thriftc++框架是使用boost库实现的,必须安装boost库依赖。实现的代码如下:
#defineHAVE_NETDB_H//使用网络模块的宏必须打开 #include"Nimbus.h" #include"storm_types.h" #include<string> #include<iostream> #include<set> #include<transport/TSocket.h> #include<transport/TBufferTransports.h> #include<protocol/TBinaryProtocol.h> inttest_storm_thrift() { boost::shared_ptr<TSocket>tsocket(newTSocket("storm-nimbus-server",6627)); boost::shared_ptr<TTransport>ttransport(newTFramedTransport(tsocket,1024*512));//此处必须使用TFramedTransport boost::shared_ptr<TProtocol>tprotocol(newTBinaryProtocol(ttransport)); try{ //创建一个nimbus客户端对象 NimbusClientclient(tprotocol); //打开通道 ttransport->open(); ClusterSummarysumm; std::stringconf; //对STORM的RPC调用,直接获取信息,同步进行的。 client.getNimbusConf(conf); client.getClusterInfo(summ); //关闭通道 ttransport->close(); }catch(TException&tx){ printf("InvalidOperation:%s ",tx.what()); } }
以上代码就可以直接获取nimbus的配置和集群信息,其他接口以此类推。值得注意的是storm.thrifttoC++生成的storm_types.h文件里其中operator<函数都未实现,所以必须手动进行添加实现,否则编译会有问题。
此外,不仅仅C++可以实现STORM的控制,PHP和其他的语言也可以实现,只要thrift支持就OK。感兴趣的读者可以自己实现一下试试看。