python消费kafka数据批量插入到es的方法
1、es的批量插入
这是为了方便后期配置的更改，把配置信息放在logging.conf中
用elasticsearch来实现批量操作，先安装依赖包，sudopipinstallElasticsearch2
fromelasticsearchimportElasticsearch
classImportEsData:
logging.config.fileConfig("logging.conf")
logger=logging.getLogger("msg")
def__init__(self,hosts,index,type):
self.es=Elasticsearch(hosts=hosts.strip(',').split(','),timeout=5000)
self.index=index
self.type=type
defset_date(self,data):
#批量处理
#es.index(index="test-index",doc_type="test-type",id=42,body={"any":"data","timestamp":datetime.now()})
self.es.index(index=self.index,doc_type=self.index,body=data)
2、使用pykafka消费kafka
1.因为kafka是0.8，pykafka不支持zk，只能用get_simple_consumer来实现
2.为了实现多个应用同时消费而且不重消费，所以一个应用消费一个partition
3.为是确保消费数据量在不满足10000这个批量值，能在一个时间范围内插入到es中，这里设置consumer_timeout_ms一个超时等待时间，退出等待消费阻塞。
4.退出等待消费阻塞后导致无法再消费数据，因此在获取self.consumer的外层加入了whileTrue一个死循环
#!/usr/bin/python
#-*-coding:UTF-8-*-
frompykafkaimportKafkaClient
importlogging
importlogging.config
fromConfigUtilimportConfigUtil
importdatetime
classKafkaPython:
logging.config.fileConfig("logging.conf")
logger=logging.getLogger("msg")
logger_data=logging.getLogger("data")
def__init__(self):
self.server=ConfigUtil().get("kafka","kafka_server")
self.topic=ConfigUtil().get("kafka","topic")
self.group=ConfigUtil().get("kafka","group")
self.partition_id=int(ConfigUtil().get("kafka","partition"))
self.consumer_timeout_ms=int(ConfigUtil().get("kafka","consumer_timeout_ms"))
self.consumer=None
self.hosts=ConfigUtil().get("es","hosts")
self.index_name=ConfigUtil().get("es","index_name")
self.type_name=ConfigUtil().get("es","type_name")
defgetConnect(self):
client=KafkaClient(self.server)
topic=client.topics[self.topic]
p=topic.partitions
ps={p.get(self.partition_id)}
self.consumer=topic.get_simple_consumer(
consumer_group=self.group,
auto_commit_enable=True,
consumer_timeout_ms=self.consumer_timeout_ms,
#num_consumer_fetchers=1,
#consumer_id='test1',
partitions=ps
)
self.starttime=datetime.datetime.now()
defbeginConsumer(self):
print("beginConsumerkafka-python")
imprtEsData=ImportEsData(self.hosts,self.index_name,self.type_name)
#创建ACTIONS
count=0
ACTIONS=[]
whileTrue:
endtime=datetime.datetime.now()
print(endtime-self.starttime).seconds
formessageinself.consumer:
ifmessageisnotNone:
try:
count=count+1
#print(str(message.partition.id)+","+str(message.offset)+","+str(count))
#self.logger.info(str(message.partition.id)+","+str(message.offset)+","+str(count))
action={
"_index":self.index_name,
"_type":self.type_name,
"_source":message.value
}
ACTIONS.append(action)
iflen(ACTIONS)>=10000:
imprtEsData.set_date(ACTIONS)
ACTIONS=[]
self.consumer.commit_offsets()
endtime=datetime.datetime.now()
print(endtime-self.starttime).seconds
#break
except(Exception)ase:
#self.consumer.commit_offsets()
print(e)
self.logger.error(e)
self.logger.error(str(message.partition.id)+","+str(message.offset)+","+message.value+"\n")
#self.logger_data.error(message.value+"\n")
#self.consumer.commit_offsets()
iflen(ACTIONS)>0:
self.logger.info("等待时间超过，consumer_timeout_ms，把集合数据插入es")
imprtEsData.set_date(ACTIONS)
ACTIONS=[]
self.consumer.commit_offsets()
defdisConnect(self):
self.consumer.close()
fromelasticsearchimportElasticsearch
fromelasticsearch.helpersimportbulk
classImportEsData:
logging.config.fileConfig("logging.conf")
logger=logging.getLogger("msg")
def__init__(self,hosts,index,type):
self.es=Elasticsearch(hosts=hosts.strip(',').split(','),timeout=5000)
self.index=index
self.type=type
defset_date(self,data):
#批量处理
success=bulk(self.es,data,index=self.index,raise_on_error=True)
self.logger.info(success)
3、运行
if__name__=='__main__': kp=KafkaPython() kp.getConnect() kp.beginConsumer() #kp.disConnect()
注：简单的写了一个从kafka中读取数据到一个list里，当数据达到一个阈值时，在批量插入到es的插件
现在还在批量的压测中。。。
以上这篇python消费kafka数据批量插入到es的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。