在Docker中跑Hadoop与镜像制作方法
重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；
Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可；
配置文件准备
1、Hadoop相关配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh
2、ssh配置文件：ssh_config
3、Hadoop集群启动文件：start-hadoop.sh
制作镜像
1、安装依赖
RUNapt-getupdate&&\ apt-getinstall-yopenssh-serveropenjdk-8-jdkwget
2、下载Hadoop包
RUNwgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz&&\ tar-xzvfhadoop-2.10.0.tar.gz&&\ mvhadoop-2.10.0/usr/local/hadoop&&\ rmhadoop-2.10.0.tar.gz&&\ rm/usr/local/hadoop/share/doc-rf
3、配置环境变量
ENVJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ENVHADOOP_HOME=/usr/local/hadoop ENVPATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
4、生成SSHkey，用于节点免密登录
RUNssh-keygen-trsa-f~/.ssh/id_rsa-P''&&\ cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
5、创建Hadoop相关目录、复制相关配置文件、相关文件添加执行权限，最后格式化namenode节点，各个节点启动时，启动ssh服务；
RUNmkdir-p~/hdfs/namenode&&\ mkdir-p~/hdfs/datanode&&\ mkdir$HADOOP_HOME/logs COPYconfig/*/tmp/ #复制ssh、hadoop配置相关 RUNmv/tmp/ssh_config~/.ssh/config&&\ mv/tmp/hadoop-env.sh/usr/local/hadoop/etc/hadoop/hadoop-env.sh&&\ mv/tmp/hdfs-site.xml$HADOOP_HOME/etc/hadoop/hdfs-site.xml&&\ mv/tmp/core-site.xml$HADOOP_HOME/etc/hadoop/core-site.xml&&\ mv/tmp/mapred-site.xml$HADOOP_HOME/etc/hadoop/mapred-site.xml&&\ mv/tmp/yarn-site.xml$HADOOP_HOME/etc/hadoop/yarn-site.xml&&\ mv/tmp/slaves$HADOOP_HOME/etc/hadoop/slaves&&\ mv/tmp/start-hadoop.sh~/start-hadoop.sh&&\ mv/tmp/run-wordcount.sh~/run-wordcount.sh #添加执行权限 RUNchmod+x~/start-hadoop.sh&&\ chmod+x~/run-wordcount.sh&&\ chmod+x$HADOOP_HOME/sbin/start-dfs.sh&&\ chmod+x$HADOOP_HOME/sbin/start-yarn.sh #formatnamenode RUN/usr/local/hadoop/bin/hdfsnamenode-format
在Docker中跑Hadoop集群
通过上面的Dockerfile生成了镜像后，这里即可使用上面所生成的镜像搭建Hadoop集群；这里启动一个master、两个slave节点；
添加桥接网络:
dockernetworkcreate--driver=bridgesolinx-hadoop
启动Master节点：
dockerrun-itd--net=solinx-hadoop-p10070:50070-p8088:8088--namesolinx-hadoop-master--hostnamesolinx-hadoop-mastersolinx/hadoop:0.1
启动Slave1节点：
dockerrun-itd--net=solinx-hadoop--namesolinx-hadoop-slave1--hostnamesolinx-hadoop-slave1solinx/hadoop:0.1
启动Slave2节点：
dockerrun-itd--net=solinx-hadoop--namesolinx-hadoop-slave2--hostnamesolinx-hadoop-slave1solinx/hadoop:0.1
进入Master节点，执行启动Hadoop集群脚本即可:
总结
以上所述是小编给大家介绍的在Docker中跑Hadoop与镜像制作，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。