kafka-python批量发送数据的实例
如下所示：
fromkafkaimportKafkaClient fromkafka.producerimportSimpleProducer
defsend_data_2_kafka(datas):
'''
向kafka解析队列发送数据
'''
client=KafkaClient(hosts=KAFKABROKER.split(","),timeout=30)
producer=SimpleProducer(client,async=False)
curcount=len(datas)/PARTNUM
foriinrange(0,PARTNUM):
start=i*curcount
ifi!=PARTNUM-1:
end=(i+1)*curcount
curdata=datas[start:end]
producer.send_messages(TOPICNAME,*curdata)
else:
curdata=datas[start:]
producer.send_messages(TOPICNAME,*curdata)
producer.stop()
client.close()
其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。
以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
热门推荐
10 新人红包祝福语简短精辟
11 幼师给毕业祝福语简短
12 生日高考祝福语妹妹简短
13 下飞机祝福语简短英文
14 元宵发客户祝福语简短
15 爸妈金婚文案祝福语简短
16 新郎朋友红包祝福语简短
17 虎年五一祝福语大全简短
18 出阁宴祝福语姐姐简短