docker-compose部署zk+kafka+storm集群的实现
集群部署总览
| 172.22.12.20 | 172.22.12.21 | 172.22.12.22 | 172.22.12.23 | 172.22.12.24 |
|---|---|---|---|---|
| zoo1:2181 | zoo2:2182 | zoo3:2183 | zkui:9090(admin/manager) | |
| kafka1:9092 | kafka2:9092 | kafka3:9092 | kafdrop:9000 | |
| influxdb:8086 | grafana:3000(admin/chanhu) | |||
| storm-nimbus1 | storm-nimbus2 | storm-nimbus3 | portainer:9002(admin/chanhu@123) | |
| storm-supervisor1 | storm-supervisor2 | storm-supervisor3 | ||
| storm-ui:8080 |
docker安装
yumupdate-y yuminstall-yyum-utilsdevice-mapper-persistent-datalvm2 yum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yuminstalldocker-cedocker-ce-clicontainerd.io systemctlstartdocker
docker-compose安装
yuminstallepel-release yuminstall-ypython-pip pipinstall--upgradepip pipinstalldocker-compose
修改每一台宿主机的hosts文件
vim/etc/hosts 172.22.12.20datacloud0 172.22.12.21datacloud1 172.22.12.22datacloud2 172.22.12.23datacloud3 172.22.12.24datacloud4
zookeeper集群
在20，21，22三台机器部署zk集群，分别编写docker-compose文件
集群中如果只剩一台是正常运行的，则集群失效
以其中一台为例：
zoo: image:zookeeper:3.4.14 restart:always hostname:zoo1 container_name:zoo1 ports: -2181:2181 -2888:2888 -3888:3888 volumes: -"./zoo/data:/data" -"./zoo/datalog:/datalog" environment: ZOO_MY_ID:1 ZOO_SERVERS:server.1=0.0.0.0:2888:3888server.2=172.22.12.21:2888:3888server.3=172.22.12.22:2888:3888
"./zoo/data:/data"为数据目录挂载，必须配置
环境变量配置，ZOO_MY_ID三台分别是1、2、3，ZOO_SERVERS配置的是集群地址，其中当前机器为0.0.0.0
kakfa集群
在20，21，22三台机器部署kafka集群，分别编写docker-compose文件（可以和zk的docker-compose文件写在一起）
以其中一台为例：
kafka: image:wurstmeister/kafka:2.12-2.2.2 restart:always hostname:kafka1 container_name:kafka1 ports: -"9092:9092" environment: KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://172.22.12.20:9092 KAFKA_ADVERTISED_HOST_NAME:172.22.12.20 KAFKA_ADVERTISED_PORT:9092 KAFKA_ZOOKEEPER_CONNECT:172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181 volumes: -./kafka/logs:/kafka
没有太多需要注意的地方，KAFKA_ZOOKEEPER_CONNECT正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。
influxdb
influxdb: image:influxdb:1.7 restart:always container_name:influxdb ports: -"2003:2003" -"8086:8086" -"8089:8089" -"8091:8091" volumes: -"./influxdb:/var/lib/influxdb" environment: -INFLUXDB_GRAPHITE_ENABLED=true
"./influxdb:/var/lib/influxdb"为数据目录挂载，必须配置。INFLUXDB_GRAPHITE_ENABLED启动graphite功能。
influxdb简单操作：
- dockerexec-itinfluxdbinflux
- showdatabases
- createdatabaseXX
- useXX
- INSERTcpu,host=serverA,region=us_westvalue=0.64
- SELECT"host","region","value"FROM"cpu"
docker-compose相关操作
docker-compose[-f<文件名>]up-d docker-compose[-f<文件名>]down
zkui/kafdrop/grafana
在23机器上，部署这三个web界面：
zkui: image:maauso/zkui restart:always container_name:zkui ports: -9090:9090 environment: ZKLIST:172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181 kafdrop: image:obsidiandynamics/kafdrop:latest restart:always container_name:kafdrop ports: -"9000:9000" environment: KAFKA_BROKERCONNECT:172.22.12.20:9092,172.22.12.20:9092,172.22.12.20:9092 grafana: image:grafana/grafana:master restart:always container_name:grafana ports: -"3000:3000" volumes: -"./grafana:/var/lib/grafana"
因为是web页面，配置好相关服务地址，启动就行了
其中grafana需要配置目录挂载，主要是记录自定义的数据源和面板配置等（这里需要chmod-R777grafana/）
storm集群
storm集群由nimbus、supervisor、ui三部分组成
nimbus为主节点，supervisor为从节点，前者将任务发到zookeeper上，后者到zookeeper上获取任务。ui为web页面。
20、21、22三台机器分别部署nimbus和supervisor节点各三个，且建议单独建立docker-compose脚本文件，在zookeeper启动后执行。
docker-compose脚本大致如下：
nimbus: image:storm:2.2.0 container_name:nimbus1 command:stormnimbus restart:always hostname:nimbus1 ports: -6627:6627 volumes: -"./storm.yaml:/conf/storm.yaml" -"./nimbus/data:/data" -"./nimbus/logs:/logs" supervisor: image:storm:2.2.0 container_name:supervisor1 command:stormsupervisor hostname:supervisor1 depends_on: -nimbus links: -nimbus:nimbus restart:always volumes: -"./storm.yaml:/conf/storm.yaml" -"./supervisor/data:/data" -"./supervisor/logs:/logs"
nimbus、supervisor、ui都是使用同一个storm镜像，只是启动参数时command不同。
这里指定nimbus和supervisor的hostname，原因是默认情况下它们注册到zookeeper时的host为docker容器随机生成的uuid，
如果nimbus和supervisor重启了，其容器uuid也会重置，这时就和zookeeper中已经保存的uuid冲突，发生错误。
网上的方案是：1.停掉storm集群后删除zookeeper上的storm节点并重启zookeeper+storm集群；2.单独建一个无状态的zookeeper来给storm集群使用
这里采取的方案是指定nimbus和supervisor注册时的host，其重启时不会产生变化
启动时需要指定一些环境变量，这里采用本地配置文件映射的方式，storm.yaml配置如下:
storm.zookeeper.servers: -"172.22.12.20" -"172.22.12.21" -"172.22.12.22" nimbus.seeds: -"nimbus1" -"nimbus2" -"nimbus3" storm.log.dir:"/logs" storm.local.dir:"/data" storm.cluster.mode:distributed
storm.zookeeper.servers为zookeeper地址，默认取端口2181。nimbus.seeds为nimbus集群地址，这里取docker-compose中自定义的hostname。
storm-ui启动单例即可，docker-compose配置如下：
storm-ui: image:storm:2.2.0 container_name:storm-ui command:stormui depends_on: -nimbus links: -nimbus:nimbus restart:always ports: -8080:8080 volumes: -"./storm.yaml:/conf/storm.yaml" -"./ui/data:/data" -"./ui/logs:/logs" extra_hosts: -"nimbus1:172.22.12.20" -"nimbus2:172.22.12.21" -"nimbus3:172.22.12.22" -"supervisor1:172.22.12.20" -"supervisor2:172.22.12.21" -"supervisor3:172.22.12.22"
其中extra_hosts为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。
部署docker容器时经常会遇到需要映射宿主机的配置文件到容器里，这样容器重启后配置就不会重置。
比如storm配置：-"./storm.yaml:/conf/storm.yaml"但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。
dockerrun-d--namenimbus-tmpstorm:2.2.0stormnimbus
dockercpnimbus-tmp:/conf/storm.yaml本地文件夹路径/
canal部署
canal部署前需要对其要连接的mysql做相应配置:
[mysqld] log-bin=mysql-bin#开启binlog binlog-format=ROW#选择ROW模式 server_id=1#配置MySQLreplaction需要定义，不要和canal的slaveId重复
canal的docker-compose配置如下：
canal-server: image:canal/canal-server:v1.1.3 container_name:canal-server ports: -11111:11111 environment: -canal.instance.mysql.slaveId=12 -canal.auto.scan=false -canal.destinations=datacloud -canal.instance.master.address=10.23.16.32:3307 -canal.instance.dbUsername=root -canal.instance.dbPassword=chinaunicom@dengfy -canal.instance.filter.regex=river\\..* volumes: -./canal-server/logs/:/admin/canal-server/logs/
其中slaveId需要和mysql中配置不同，destinations为自定义的实例名，canal.instance.filter.regex为需要监控的数据库表过滤。
portainer部署
portainer时docker容器的可视化管理工具，可以管理上述的几台机器的docker容器，查看日志，修改启动脚本，停止容器等。
首先要对每一台机器开启dockerapi接口:
1.vim/usr/lib/systemd/system/docker.service
在ExecStart启动项添加-Htcp://0.0.0.0:2375-Hunix:///var/run/docker.sock
2.重启docker服务systemctldaemon-reload systemctlrestartdocker
在其中一台机器上部署portainer容器：
portainer: image:portainer/portainer:1.24.1 restart:always container_name:portainer_datacloud ports: -"8000:8000" -"9002:9000" volumes: -"./portainer/data:/data" -"/var/run/docker.sock:/var/run/docker.sock"
"/var/run/docker.sock:/var/run/docker.sock"此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。
打开ip:9002后，注册用户登录，settings>endpoints>Addendpoint>选择docker方式。
其中EndpointURL填写目标ip:2375,PublicIP添加目标ip，提交后即可看到其所有容器信息。
到此这篇关于docker-compose部署zk+kafka+storm集群的实现的文章就介绍到这了,更多相关dockercompose部署集群内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！