C/C++实现对STORM运行信息查看及控制的方法
本文所述程序实例主要实现在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制。对此,通过对STORMUI和CMD源码的分析,得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后,从STORM源码中将storm.thrift拷贝到thrift目录下。输入:
hrift-gencppstorm.thrift
会得到一个gen-cpp目录,里面就是thrift先关脚本的C++实现。我们先看storm.thrift文件接口:
serviceNimbus
{
//TOPOLOGY上传接口
voidsubmitTopology(1:stringname,2:stringuploadedJarLocation,3:stringjsonConf,4:StormTopologytopology);
voidsubmitTopologyWithOpts(1:stringname,2:stringuploadedJarLocation,3:stringjsonConf,4:StormTopologytopology,5:SubmitOptionsoptions);
voidkillTopology(1:stringname);
voidkillTopologyWithOpts(1:stringname,2:KillOptionsoptions)throws(1:NotAliveExceptione);
voidactivate(1:stringname);
voiddeactivate(1:stringname);
voidrebalance(1:stringname,2:RebalanceOptionsoptions);
//TOPOLOGYJAR包上传接口
stringbeginFileUpload();
voiduploadChunk(1:stringlocation,2:binarychunk);
voidfinishFileUpload(1:stringlocation);
stringbeginFileDownload(1:stringfile);
binarydownloadChunk(1:stringid);
//获取NIMBUS的配置信息
stringgetNimbusConf();
//获取STORM集群运行信息
ClusterSummarygetClusterInfo();
//获取TOPOLOGY的运行状态信息
TopologyInfogetTopologyInfo(1:stringid);
//获取TOPOLOGY对象信息
stringgetTopologyConf(1:stringid);
StormTopologygetTopology(1:stringid);
StormTopologygetUserTopology(1:stringid);
}
生成C++文件后,我们就可以对其接口进行调用,由于thriftc++框架是使用boost库实现的,必须安装boost库依赖。实现的代码如下:
#defineHAVE_NETDB_H//使用网络模块的宏必须打开
#include"Nimbus.h"
#include"storm_types.h"
#include<string>
#include<iostream>
#include<set>
#include<transport/TSocket.h>
#include<transport/TBufferTransports.h>
#include<protocol/TBinaryProtocol.h>
inttest_storm_thrift()
{
boost::shared_ptr<TSocket>tsocket(newTSocket("storm-nimbus-server",6627));
boost::shared_ptr<TTransport>ttransport(newTFramedTransport(tsocket,1024*512));//此处必须使用TFramedTransport
boost::shared_ptr<TProtocol>tprotocol(newTBinaryProtocol(ttransport));
try{
//创建一个nimbus客户端对象
NimbusClientclient(tprotocol);
//打开通道
ttransport->open();
ClusterSummarysumm;
std::stringconf;
//对STORM的RPC调用,直接获取信息,同步进行的。
client.getNimbusConf(conf);
client.getClusterInfo(summ);
//关闭通道
ttransport->close();
}catch(TException&tx){
printf("InvalidOperation:%s
",tx.what());
}
}
以上代码就可以直接获取nimbus的配置和集群信息,其他接口以此类推。值得注意的是storm.thrifttoC++生成的storm_types.h文件里其中operator<函数都未实现,所以必须手动进行添加实现,否则编译会有问题。
此外,不仅仅C++可以实现STORM的控制,PHP和其他的语言也可以实现,只要thrift支持就OK。感兴趣的读者可以自己实现一下试试看。