kafka-python批量发送数据的实例
如下所示：
fromkafkaimportKafkaClient fromkafka.producerimportSimpleProducer
defsend_data_2_kafka(datas):
'''
向kafka解析队列发送数据
'''
client=KafkaClient(hosts=KAFKABROKER.split(","),timeout=30)
producer=SimpleProducer(client,async=False)
curcount=len(datas)/PARTNUM
foriinrange(0,PARTNUM):
start=i*curcount
ifi!=PARTNUM-1:
end=(i+1)*curcount
curdata=datas[start:end]
producer.send_messages(TOPICNAME,*curdata)
else:
curdata=datas[start:]
producer.send_messages(TOPICNAME,*curdata)
producer.stop()
client.close()
其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。
以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
热门推荐
1 如何训练狗狗不叫
2 训练狗狗不叫
3 训练狗狗随行
4 怎么训练狗狗不叫
7 训练比熊狗狗教程
10 上海狗狗训练
11 怎么训练狗狗上厕所
12 训练狗狗趴下
13 狗狗服从训练
14 训练狗狗拒食
15 训练狗狗笑
16 训练狗狗大便
17 训练狗狗立
18 训练狗狗捡东西