Python应用自动化部署工具Fabric原理及使用解析

2023-07-10 13:19:03 176

介绍

Fabirc是基于python实现的SSH命令行工具，非常适合应用的自动化部署，或者执行系统管理任务。

python2:pip3installfabric

python3:pip3installfabric3

简单的例子：

root@openstack:~#catfabfile.py
defhello():
print('helloworld!')

root@openstack:~#fabhello
helloworld!

这个fab简单地导入了fabfile,并执行定义的hello函数。

命令行启动

fab作为Fabric程序的命令行入口，提供了丰富的参数调用，命令格式如下：

root@openstack:~#fab--help
Usage:fab[options][:arg1,arg2=val2,host=foo,hosts='h1;h2',...]...

各参数含义如下：

参数项	含义
-l	显示可用任务函数名
-f	指定fab入口文件,默认为fabfile.py
-g	指定网关（中转设备），比如堡垒机环境，填写堡垒机IP即可
-H	指定目标主机，多台主机用“，”分隔
-P	以异步并行方式运行多台主机任务，默认为串行运行
-R	指定角色（Role）
-t	设置设备连接超时时间
-T	设置远程主机命令执行超时时间
-w	当命令执行失败，发出告警，而非默认终止任务

fabfile全局属性设定

env对象的作用是定义fabfile的全局设定，各属性说明如下：

属性	含义
env.host	定义目标主机,以python的列表表示，如env.host=['xx.xx.xx.xx','xx.xx.xx.xx']
env.exclude_hosts	排除指定主机，以python的列表表示
env.port	定义目标主机端口，默认为22
env.user	定义用户名
env.password	定义密码
env.passwords	与password功能一样，区别在于不同主机配置不同密码的应用情景,配置此项的时候需要配置用户、主机、端口等信息，如：env.passwords={'root@xx.xx.xx.xx:22':'123','root@xx.xx.xx.xx':'234'}
env.getway	定义网关
env.deploy_release_dir	自定义全局变量
env.roledefs	定义角色分组

常用的API

Fabric支持常用的方法及说明如下：

方法	说明
local	执行本地命令，如:local('hostname')
lcd	切换本地目录,lcd('/root')
cd	切换远程目录,cd('cd')
run	执行远程命令，如：run('hostname')
sudo	sudo执行远程命令，如：sudo('echo“123456″	passwd--stdinroot')
put	上传本地文件到远程主机,如：put(src,des)
get	从远程主机下载文件到本地，如：get(des,src)
prompt	获取用户输入信息，如：prompt（‘pleaseenteranewpassword:'）
confirm	获取提示信息确认，如：confirm('failed.Continue[Y/n]?')
reboot	重启远程主机，reboot()
@task	函数修饰符，标识的函数为fab可调用的
@runs_once	函数修饰符，表示的函数只会执行一次

从一个实例入手

假设我们需要为一个web应用创建fabfile。具体的情景如下：这个web应用的代码使用git托管在一台远程服务器vcshost上，我们把它的代码库克隆到了本地localhost中。我们希望在我们把修改后的代码push回vcshost时，自动把新的版本安装到另一台远程服务器my_server上。我们将通过自动化本地和远程git命令来完成这些工作。

关于fabfile文件放置位置的最佳时间是项目的根目录：

.
|--__init__.py
|--app.wsgi
|--fabfile.py<--ourfabfile!
|--manage.py
`--my_app
|--__init__.py
|--models.py
|--templates
|`--index.html
|--tests.py
|--urls.py
`--views.py

注解

在这里我们使用一个Django应用为例——不过Fabric并s依赖于外部代码，除了它的SSH库。

作为起步，我们希望先执行测试准备好部署后，再提交到VCS（版本控制系统）：

fromfabric.apiimportlocal
defprepare_deploy():
local("./manage.pytestmy_app")
local("gitadd-p&&gitcommit")
local("gitpush")

这段代码的输出会是这样：

$fabprepare_deploy
[localhost]run:./manage.pytestmy_app
Creatingtestdatabase...
Creatingtables
Creatingindexes
..........................................
----------------------------------------------------------------------
Ran42testsin9.138s

OK
Destroyingtestdatabase...

[localhost]run:gitadd-p&&gitcommit



[localhost]run:gitpush



Done.

这段代码很简单，导入一个FabricAPI：local，然后用它执行本地Shell命令并与之交互，剩下的FabricAPI也都类似——它们都只是Python。

用你的方式来组织

因为Fabric“只是Python”，所以你可以按你喜欢的方式来组织fabfile。比如说，把任务分割成多个子任务：

fromfabric.apiimportlocal
deftest():
local("./manage.pytestmy_app")

defcommit():
local("gitadd-p&&gitcommit")

defpush():
local("gitpush")

defprepare_deploy():
test()
commit()
push()

这个prepare_deploy任务仍可以像之前那样调用，但现在只要你愿意，就可以调用更细粒度的子任务。

故障

我们的基本案例已经可以正常工作了，但如果测试失败了会怎样？我们应该抓住机会即使停下任务，并在部署之前修复这些失败的测试。

Fabric会检查被调用程序的返回值，如果这些程序没有干净地退出，Fabric会终止操作。下面我们就来看看如果一个测试用例遇到错误时会发生什么：

$fabprepare_deploy
[localhost]run:./manage.pytestmy_app
Creatingtestdatabase...
Creatingtables
Creatingindexes
.............E............................
======================================================================
ERROR:testSomething(my_project.my_app.tests.MainTests)
----------------------------------------------------------------------
Traceback(mostrecentcalllast):
[...]

----------------------------------------------------------------------
Ran42testsin9.138s

FAILED(errors=1)
Destroyingtestdatabase...

Fatalerror:local()encounteredanerror(returncode2)whileexecuting'./manage.pytestmy_app'

Aborting.

太好了！我们什么都不用做，Fabric检测到了错误并终止，不会继续执行commit任务。

参见

Failurehandling(usagedocumentation)

故障处理
但如果我们想更加灵活，给用户另一个选择，该怎么办？一个名为warn_only的设置（或着说环境变量，通常缩写为envvar）可以把退出换为警告，以提供更灵活的错误处理。

让我们把这个设置丢到test函数中，然后注意这个local调用的结果：

from__future__importwith_statement
fromfabric.apiimportlocal,settings,abort
fromfabric.contrib.consoleimportconfirm

deftest():
withsettings(warn_only=True):
result=local('./manage.pytestmy_app',capture=True)
ifresult.failedandnotconfirm("Testsfailed.Continueanyway?"):
abort("Abortingatuserrequest.")

[...]

为了引入这个新特性，我们需要添加一些新东西：

在Python2.5中，需要从__future__中导入with；

Fabriccontrib.console子模块提供了confirm函数，用于简单的yes/no提示。

settings上下文管理器提供了特定代码块特殊设置的功能。

local这样运行命令的操作会返回一个包含执行结果（.failed或.return_code属性）的对象。

abort函数用于手动停止任务的执行。

即使增加了上述复杂度，整个处理过程仍然很容易理解，而且它已经远比之前灵活。

建立连接

让我们回到fabfile的主旨：定义一个deploy任务，让它在一台或多台远程服务器上运行，并保证代码是最新的：

defdeploy():
code_dir='/srv/django/myproject'
withcd(code_dir):
run("gitpull")
run("touchapp.wsgi")

这里再次引入了一些新的概念：

Fabric是Python——所以我们可以自由地使用变量、字符串等常规的Python代码；

cd函数是一个简易的前缀命令，相当于运行cd/to/some/directory，和lcd函数类似，只不过后者是在本地执行。

~fabric.operations.run`和local类似，不过是在远程而非本地执行。

我们还需要保证在文件顶部导入了这些新函数：

from__future__importwith_statement
fromfabric.apiimportlocal,settings,abort,run,cd
fromfabric.contrib.consoleimportconfirm

改好之后，我们重新部署：

$fabdeploy
Nohostsfound.Pleasespecify(single)hoststringforconnection:my_server
[my_server]run:gitpull
[my_server]out:Alreadyup-to-date.
[my_server]out:
[my_server]run:touchapp.wsgi

Done.

我们并没有在fabfile中指定任何连接信息，所以Fabric依旧不知道该在哪里运行这些远程命令。遇到这种情况时，Fabric会在运行时提示我们。连接的定义使用SSH风格的“主机串”（例如：user@host:port），默认使用你的本地用户名——所以在这个例子中，我们只需要指定主机名my_server。

与远程交互

如果你已经得到了代码，说明gitpull执行非常顺利——但如果这是第一次部署呢？最好也能应付这样的情况，这时应该使用gitclone来初始化代码库：

defdeploy():
code_dir='/srv/django/myproject'
withsettings(warn_only=True):
ifrun("test-d%s"%code_dir).failed:
run("gitcloneuser@vcshost:/path/to/repo/.git%s"%code_dir)
withcd(code_dir):
run("gitpull")
run("touchapp.wsgi")

和上面调用local一样，run也提供基于Shell命令构建干净的Python逻辑。这里最有趣的部分是gitclone：因为我们是用git的SSH方法来访问git服务器上的代码库，这意味着我们远程执行的run需要自己提供身份验证。

旧版本的Fabric（和其他类似的高层次SSH库）像在监狱里一样运行远程命令，无法提供本地交互。当你迫切需要输入密码或者与远程程序交互时，这就很成问题。

Fabric1.0和后续的版本突破了这个限制，并保证你和另一端的会话交互。让我们看看当我们在一台没有gitcheckout的新服务器上运行更新后的deploy任务时会发生什么：

$fabdeploy
Nohostsfound.Pleasespecify(single)hoststringforconnection:my_server
[my_server]run:test-d/srv/django/myproject

Warning:run()encounteredanerror(returncode1)whileexecuting'test-d/srv/django/myproject'

[my_server]run:gitcloneuser@vcshost:/path/to/repo/.git/srv/django/myproject
[my_server]out:Cloninginto/srv/django/myproject...
[my_server]out:Password:
[my_server]out:remote:Countingobjects:6698,done.
[my_server]out:remote:Compressingobjects:100%(2237/2237),done.
[my_server]out:remote:Total6698(delta4633),reused6414(delta4412)
[my_server]out:Receivingobjects:100%(6698/6698),1.28MiB,done.
[my_server]out:Resolvingdeltas:100%(4633/4633),done.
[my_server]out:
[my_server]run:gitpull
[my_server]out:Alreadyup-to-date.
[my_server]out:
[my_server]run:touchapp.wsgi

Done.

注意那个Password:提示——那就是我们在web服务器上的远程git应用在请求git密码。我们可以在本地输入密码，然后像往常一样继续克隆。

参见

与远程程序集成

预定义连接

在运行输入连接信息已经是非常古老的做法了，Fabric提供了一套在fabfile或命令行中指定服务器信息的简单方法。这里我们不展开说明，但是会展示最常用的方法：设置全局主机列表env.hosts。

env是一个全局的类字典对象，是Fabric很多设置的基础，也能在with表达式中使用（事实上，前面见过的~fabric.context_managers.settings就是它的一个简单封装）。因此，我们可以在模块层次上，在fabfile的顶部附近修改它，就像这样：

from__future__importwith_statement
fromfabric.apiimport*
fromfabric.contrib.consoleimportconfirm
env.hosts=['my_server']
deftest():
do_test_stuff()

当fab加载fabfile时，将会执行我们对env的修改并保存设置的变化。最终结果如上所示：我们的deploy任务将在my_server上运行。

这就是如何指定Fabric一次性控制多台远程服务器的方法：env.hosts是一个列表，fab对它迭代，对每个连接运行指定的任务。

总结

虽然经历了很多，我们的fabfile文件仍然相当短。下面是它的完整内容：

from__future__importwith_statement
fromfabric.apiimport*
fromfabric.contrib.consoleimportconfirm

env.hosts=['my_server']

deftest():
withsettings(warn_only=True):
result=local('./manage.pytestmy_app',capture=True)
ifresult.failedandnotconfirm("Testsfailed.Continueanyway?"):
abort("Abortingatuserrequest.")

defcommit():
local("gitadd-p&&gitcommit")

defpush():
local("gitpush")

defprepare_deploy():
test()
commit()
push()

defdeploy():
code_dir='/srv/django/myproject'
withsettings(warn_only=True):
ifrun("test-d%s"%code_dir).failed:
run("gitcloneuser@vcshost:/path/to/repo/.git%s"%code_dir)
withcd(code_dir):
run("gitpull")
run("touchapp.wsgi")

但它已经涉及到了Fabric中的很多功能：

定义fabfile任务，并用fab执行；

用local调用本地shell命令；

通过settings修改env变量；

处理失败命令、提示用户、手动取消任务；

以及定义主机列表、使用run来执行远程命令。

还有更多这里没有涉及到的内容，你还可以看看所有“参见”中的链接，以及索引页的内容表。

更多请参考：https://fabric-chs.readthedocs.io/zh_CN/chs/tutorial.html

常用示例

1、上传文件

fabric可以将本地文件上传到远程服务器上，这个操作要用到put函数

2、示例代码

#coding=utf-8
fromfabric.apiimport*
fromfabric.contrib.consoleimportconfirm
importhashlib


host='root@192.168.0.62:22'
password='123456'
env.hosts=[host]
env.password=password


defmd5sum(filename):
fd=open(filename,"r")
fcont=fd.read()
fd.close()
fmd5=hashlib.md5(fcont)
returnfmd5

defupload_file(filename):
run("mkdir-p/root/upload")
withcd('/root/upload'):
withsettings(warn_only=True):
res=put(filename,filename)
ifres.failedandnotconfirm("putfilefailed,Continue[Y/N]?"):
abort(u'终止上传文件')


defcheckmd5(filename):
fmd5=md5sum(filename)
lmd5=fmd5.hexdigest()

target='/root/upload/'+filename
rmd5=run("md5sum"+target).split('')[0]

iflmd5==rmd5:
print'ok,thefileuploaded'
else:
print'error'
defuploadfile(filename):
upload_file(filename)
checkmd5(filename)

执行命令fab-fuploadfile.pyuploadfile:filename=fabricdemo1.py

3、程序分析

在执行fab命令时，可以指定函数的参数,多个参数之间用逗号分隔

withsettings(warn_only=True)的作用，是在发生错误时，不中断执行，只会输出警告信息

4、上传文件夹

其实fabric也是可以上传文件夹的，但是很多教程里都没有提及，示例代码如下

defuploadfolder():
run("mkdir-p/root/upload")
withcd('/root/upload'):
withsettings(warn_only=True):
res=put('testfolder','.')

在uploadfile.py同目录下，有一个testfolder的文件夹，上面的代码可以将这个文件夹上传到/root/upload目录下，主要注意的是put的第二个参数，我这里放的是'.'，就表明要把本地的testfolder放到/root/upload目录下。

不同于上传文件，文件夹上上传过程中是不能设置目标文件夹的名字的，目标文件夹必须先存在

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

Python应用自动化部署工具Fabric原理及使用解析

热门推荐

随机推荐