Docker部署Python爬虫项目的方法步骤
1)首先安装docker：
#用yum安装并启动 yuminstalldocker-y&&systemctlstartdocker
2)下载自定义镜像需要用到的基础镜像：
#这里以centos7为例 dockerpullcentos:centos7
3)基础镜像已经准备好了，接下来准备好需要部署的环境服务，以及python项目：
###创建dockerfile文件 mkdirdockerfile&&cddockerfile ###下载python(这里以3.7为例) wgethttps://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz ###将python项目复制到此目录 cp~/test.py. ###以及python项目的依赖库 cp~/requirements.txt.
4)需要自定义docker镜像的大致内容准备好了，接下来编写dockerfile：
vimDockerfile ###以centos:centos7来作为基础镜像 FROMcentos:centos7 ###下载编译需要用到的软件 RUNyuminstall-ygccgcc-c++autoconfautomakelibtoolmakezlib*libffi-devel ###将dockerfile目录下的python-3.7.3.tgz复制到docker容器内 COPYPython-3.7.3.tgz/usr/local/src ###编译安装python WORKDIR/usr/local/src RUNtar-xfPython-3.7.3.tgz WORKDIRPython-3.7.3 RUN./configure--prefix=/usr/local/python37&&make&&makeinstall ENVPATH/usr/local/python37/bin:$PATH ###创建工作目录 RUNmkdir/spider ###将python项目复制到/spider工作目录下 ADDtest.py/spider ADDrequirements.txt/spider ###设置/spider为工作目录 WORKDIR/spider ###下载python项目的依赖库 RUNpip3install-ihttp://mirrors.aliyun.com/pypi/simple/--trusted-hostmirrors.aliyun.com-rrequirements.txt ###在创建个爬取的数据存放的目录，这个需要根据自己代码里面设置的目录来创建，例如： VOLUME/data ###最后一步，运行docker镜像时运行自己的python项目 ###可以多个参数：CMD["python3","a","main.py"] CMD["python3","test.py"]
5)接下来构建镜像：(就在此目录下运行)
###dockerbuild-t镜像名:版本号镜像名:版本号均为自定义别忘了末尾的点“.” dockerbuild-tpythonspider:v1.
6)运行镜像:
###通过dockerimages命令就可以看到刚刚创建的镜像 dockerimages ###运行 dockerrun-d--namespider-v/data:/datapythonspider:v1 ###-d为后台运行，--name后面设置容器名，-v是目录共享，主机目录和docker容器内目录共享。创建dockerfile的时候，有这一句VOLUME/data就是作为共享目录使用的,“:”前的目录为主机目录，后面的目录为容器内目录。。。最后一个参数pythonspider:v1镜像名 cd/data ###到此目录下你就会看到产生的数据
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。