python脚本后台执行方式
在Linux中,可以使用nohup将脚本放置后台运行,如下:
nohuppythonmyscript.pyparams1>nohup.out2>&1&
1
但直接使用上面代码,无法在程序运行过程中查看Python中的print"computing"输出结果,比如在每次循环中使用print语句等。原因是python的输出有缓冲,导致nohup.out不能够马上看到输出。
解决方法:
使用-u参数,使得python不启用缓冲。
修改命令如下:
nohuppython-umyscript.pyparams1>nohup.out2>&1&
fromhttps://www.ibm.com/developerworks/cn/linux/l-cn-nohup/
我们经常会碰到这样的问题,用telnet/ssh登录了远程的Linux服务器,运行了一些耗时较长的任务,结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢?下面举了一些例子,您可以针对不同的场景选择不同的方式来处理这个问题。
nohup/setsid/&
场景:
如果只是临时有一个命令需要长时间运行,什么方法能最简便的保证它在后台稳定运行呢?
hangup名称的来由
在Unix的早期版本中,每个终端都会通过modem和系统通讯。当用户logout时,modem就会挂断(hangup)电话。同理,当modem断开连接时,就会给终端发送hangup信号来通知其关闭所有子进程。
解决方法:
我们知道,当用户注销(logout)或者网络断开时,终端会收到HUP(hangup)信号从而关闭其所有子进程。因此,我们的解决办法就有两种途径:要么让进程忽略HUP信号,要么让进程运行在新的会话里从而成为不属于此终端的子进程。
1.nohup
nohup无疑是我们首先想到的办法。顾名思义,nohup的用途就是让提交的命令忽略hangup信号。让我们先来看一下nohup的帮助信息:
NOHUP(1)UserCommandsNOHUP(1) NAME nohup-runacommandimmunetohangups,withoutputtoanon-tty SYNOPSIS nohupCOMMAND[ARG]... nohupOPTION DESCRIPTION RunCOMMAND,ignoringhangupsignals. --helpdisplaythishelpandexit --version outputversioninformationandexit
可见,nohup的使用是十分方便的,只需在要处理的命令前加上nohup即可,标准输出和标准错误缺省会被重定向到nohup.out文件中。一般我们可在结尾加上"&"来将命令同时放入后台运行,也可用">filename2>&1"来更改缺省的重定向文件名。
nohup示例
[root@pvcent107~]#nohuppingwww.ibm.com& [1]3059 nohup:appendingoutputto`nohup.out' [root@pvcent107~]#ps-ef|grep3059 root3059984021:06pts/300:00:00pingwww.ibm.com root3067984021:06pts/300:00:00grep3059 [root@pvcent107~]#
2。setsid
nohup无疑能通过忽略HUP信号来使我们的进程避免中途被中断,但如果我们换个角度思考,如果我们的进程不属于接受HUP信号的终端的子进程,那么自然也就不会受到HUP信号的影响了。setsid就能帮助我们做到这一点。让我们先来看一下setsid的帮助信息:
SETSID(8)LinuxProgrammer'sManualSETSID(8) NAME setsid-runaprograminanewsession SYNOPSIS setsidprogram[arg...] DESCRIPTION setsidrunsaprograminanewsession.
可见setsid的使用也是非常方便的,也只需在要处理的命令前加上setsid即可。
setsid示例
[root@pvcent107~]#setsidpingwww.ibm.com [root@pvcent107~]#ps-ef|grepwww.ibm.com root310941007:28?00:00:00pingwww.ibm.com root3110229217007:29pts/400:00:00grepwww.ibm.com [root@pvcent107~]#
值得注意的是,上例中我们的进程ID(PID)为31094,而它的父ID(PPID)为1(即为init进程ID),并不是当前终端的进程ID。请将此例与nohup例中的父ID做比较。
3。&
这里还有一个关于subshell的小技巧。我们知道,将一个或多个命名包含在“()”中就能让这些命令在子shell中运行中,从而扩展出很多有趣的功能,我们现在要讨论的就是其中之一。
当我们将"&"也放入“()”内之后,我们就会发现所提交的作业并不在作业列表中,也就是说,是无法通过jobs来查看的。让我们来看看为什么这样就能躲过HUP信号的影响吧。
subshell示例
[root@pvcent107~]#(pingwww.ibm.com&) [root@pvcent107~]#ps-ef|grepwww.ibm.com root162701014:13pts/400:00:00pingwww.ibm.com root1627815362014:13pts/400:00:00grepwww.ibm.com [root@pvcent107~]#
从上例中可以看出,新提交的进程的父ID(PPID)为1(init进程的PID),并不是当前终端的进程ID。因此并不属于当前终端的子进程,从而也就不会受到当前终端的HUP信号的影响了。
disown
场景:
我们已经知道,如果事先在命令前加上nohup或者setsid就可以避免HUP信号的影响。但是如果我们未加任何处理就已经提交了命令,该如何补救才能让它避免HUP信号的影响呢?
解决方法:
这时想加nohup或者setsid已经为时已晚,只能通过作业调度和disown来解决这个问题了。让我们来看一下disown的帮助信息:
disown[-ar][-h][jobspec...] Withoutoptions,eachjobspecisremovedfromthetableof activejobs.Ifthe-hoptionisgiven,eachjobspecisnot removedfromthetable,butismarkedsothatSIGHUPisnot senttothejobiftheshellreceivesaSIGHUP.Ifnojobspec ispresent,andneitherthe-anorthe-roptionissupplied, thecurrentjobisused.Ifnojobspecissupplied,the-a optionmeanstoremoveormarkalljobs;the-roptionwithout ajobspecargumentrestrictsoperationtorunningjobs.The returnvalueis0unlessajobspecdoesnotspecifyavalid job.
可以看出,我们可以用如下方式来达成我们的目的。
灵活运用CTRL-z
在我们的日常工作中,我们可以用CTRL-z来将当前进程挂起到后台暂停运行,执行一些别的操作,然后再用fg来将挂起的进程重新放回前台(也可用bg来将挂起的进程放在后台)继续运行。这样我们就可以在一个终端内灵活切换运行多个任务,这一点在调试代码时尤为有用。因为将代码编辑器挂起到后台再重新放回时,光标定位仍然停留在上次挂起时的位置,避免了重新定位的麻烦。
用disown-hjobspec来使某个作业忽略HUP信号。
用disown-ah来使所有的作业都忽略HUP信号。
用disown-rh来使正在运行的作业忽略HUP信号。
需要注意的是,当使用过disown之后,会将把目标作业从作业列表中移除,我们将不能再使用jobs来查看它,但是依然能够用ps-ef查找到它。
但是还有一个问题,这种方法的操作对象是作业,如果我们在运行命令时在结尾加了"&"来使它成为一个作业并在后台运行,那么就万事大吉了,我们可以通过jobs命令来得到所有作业的列表。但是如果并没有把当前命令作为作业来运行,如何才能得到它的作业号呢?答案就是用CTRL-z(按住Ctrl键的同时按住z键)了!
CTRL-z的用途就是将当前进程挂起(Suspend),然后我们就可以用jobs命令来查询它的作业号,再用bgjobspec来将它放入后台并继续运行。需要注意的是,如果挂起会影响当前进程的运行结果,请慎用此方法。
disown示例1(如果提交命令时已经用“&”将命令放入后台运行,则可以直接使用“disown”)
[root@pvcent107build]#cp-rtestLargeFilelargeFile& [1]4825 [root@pvcent107build]#jobs [1]+Runningcp-i-rtestLargeFilelargeFile& [root@pvcent107build]#disown-h%1 [root@pvcent107build]#ps-ef|greplargeFile root4825968109:46pts/400:00:00cp-i-rtestLargeFilelargeFile root4853968009:46pts/400:00:00greplargeFile [root@pvcent107build]#logout
disown示例2(如果提交命令时未使用“&”将命令放入后台运行,可使用CTRL-z和“bg”将其放入后台,再使用“disown”)
[root@pvcent107build]#cp-rtestLargeFilelargeFile2 [1]+Stoppedcp-i-rtestLargeFilelargeFile2 [root@pvcent107build]#bg%1 [1]+cp-i-rtestLargeFilelargeFile2& [root@pvcent107build]#jobs [1]+Runningcp-i-rtestLargeFilelargeFile2& [root@pvcent107build]#disown-h%1 [root@pvcent107build]#ps-ef|greplargeFile2 root57905577110:04pts/300:00:00cp-i-rtestLargeFilelargeFile2 root58245577010:05pts/300:00:00greplargeFile2 [root@pvcent107build]# screen
场景:
我们已经知道了如何让进程免受HUP信号的影响,但是如果有大量这种命令需要在稳定的后台里运行,如何避免对每条命令都做这样的操作呢?
解决方法:
此时最方便的方法就是screen了。简单的说,screen提供了ANSI/VT100的终端模拟器,使它能够在一个真实终端下运行多个全屏的伪终端。screen的参数很多,具有很强大的功能,我们在此仅介绍其常用功能以及简要分析一下为什么使用screen能够避免HUP信号的影响。我们先看一下screen的帮助信息:
SCREEN(1)SCREEN(1) NAME screen-screenmanagerwithVT100/ANSIterminalemulation SYNOPSIS screen[-options][cmd[args]] screen-r[[pid.]tty[.host]] screen-rsessionowner/[[pid.]tty[.host]] DESCRIPTION Screenisafull-screenwindowmanagerthatmultiplexesaphysical terminalbetweenseveralprocesses(typicallyinteractiveshells). EachvirtualterminalprovidesthefunctionsofaDECVT100terminal and,inaddition,severalcontrolfunctionsfromtheISO6429(ECMA 48,ANSIX3.64)andISO2022standards(e.g.insert/deletelineand supportformultiplecharactersets).Thereisascrollbackhistory bufferforeachvirtualterminalandacopy-and-pastemechanismthat allowsmovingtextregionsbetweenwindows.
使用screen很方便,有以下几个常用选项:
用screen-dmSsessionname来建立一个处于断开模式下的会话(并指定其会话名)。
用screen-list来列出所有会话。
用screen-rsessionname来重新连接指定会话。
用快捷键CTRL-ad来暂时断开当前会话。
screen示例
[root@pvcent107~]#screen-dmSUrumchi [root@pvcent107~]#screen-list Thereisascreenon: 12842.Urumchi(Detached) 1Socketin/tmp/screens/S-root. [root@pvcent107~]#screen-rUrumchi
当我们用“-r”连接到screen会话后,我们就可以在这个伪终端里面为所欲为,再也不用担心HUP信号会对我们的进程造成影响,也不用给每个命令前都加上“nohup”或者“setsid”了。这是为什么呢?让我来看一下下面两个例子吧。
1.未使用screen时新进程的进程树
[root@pvcent107~]#pingwww.google.com& [1]9499 [root@pvcent107~]#pstree-H9499 init─┬─Xvnc ├─acpid ├─atd ├─2*[sendmail] ├─sshd─┬─sshd───bash───pstree │└─sshd───bash───ping
我们可以看出,未使用screen时我们所处的bash是sshd的子进程,当ssh断开连接时,HUP信号自然会影响到它下面的所有子进程(包括我们新建立的ping进程)。
2.使用了screen后新进程的进程树
[root@pvcent107~]#screen-rUrumchi [root@pvcent107~]#pingwww.ibm.com& [1]9488 [root@pvcent107~]#pstree-H9488 init─┬─Xvnc ├─acpid ├─atd ├─screen───bash───ping ├─2*[sendmail]
而使用了screen后就不同了,此时bash是screen的子进程,而screen是init(PID为1)的子进程。那么当ssh断开连接时,HUP信号自然不会影响到screen下面的子进程了。
总结
现在几种方法已经介绍完毕,我们可以根据不同的场景来选择不同的方案。nohup/setsid无疑是临时需要时最方便的方法,disown能帮助我们来事后补救当前已经在运行了的作业,而screen则是在大批量操作时不二的选择了。
以上这篇python脚本后台执行方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。