浅谈django开发者模式中的autoreload是如何实现的
在开发django应用的过程中,使用开发者模式启动服务是特别方便的一件事,只需要pythonmanage.pyrunserver就可以运行服务,并且提供了非常人性化的autoreload机制,不需要手动重启程序就可以修改代码并看到反馈。刚接触的时候觉得这个功能比较人性化,也没觉得是什么特别高大上的技术。后来有空就想着如果是我来实现这个autoreload会怎么做,想了很久没想明白,总有些地方理不清楚,看来第一反应真是眼高手低了。于是就专门花了一些时间研究了django是怎样实现autoreload的,每一步都看源码说话,不允许有丝毫的想当然:
1、runserver命令。在进入正题之前其实有一大段废话,是关于runserver命令如何执行的,和主题关系不大,就简单带一下:
命令行键入pythonmanage.pyrunserver后,django会去寻找runserver这个命令的执行模块,最后落在
django\contrib\staticfiles\management\commands\runserver.py模块上:
#django\contrib\staticfiles\management\commands\runserver.py fromdjango.core.management.commands.runserverimport\ CommandasRunserverCommand classCommand(RunserverCommand): help="StartsalightweightWebserverfordevelopmentandalsoservesstaticfiles."
而这个Command的执行函数在这:
#django\core\management\commands\runserver.py classCommand(BaseCommand): defrun(self,**options): """ Runstheserver,usingtheautoreloaderifneeded """ use_reloader=options['use_reloader'] ifuse_reloader: autoreload.main(self.inner_run,None,options) else: self.inner_run(None,**options)
这里有关于use_reloader的判断。如果我们在启动命令中没有加--noreload,程序就会走autoreload.main这个函数,如果加了,就会走self.inner_run,直接启动应用。
其实从autoreload.main的参数也可以看出,它应该是对self.inner_run做了一些封装,autoreload的机制就在这些封装当中,下面我们继续跟。
PS:看源码的时候发现django的command模式还是实现的很漂亮的,值得学习。
2、autoreload模块。看autoreload.main():
#django\utils\autoreload.py: defmain(main_func,args=None,kwargs=None): ifargsisNone: args=() ifkwargsisNone: kwargs={} ifsys.platform.startswith('java'): reloader=jython_reloader else: reloader=python_reloader wrapped_main_func=check_errors(main_func) reloader(wrapped_main_func,args,kwargs)
这里针对jpython和其他python做了区别处理,先忽略jpython;check_errors就是把对main_func进行错误处理,也先忽略。看python_reloader:
#django\utils\autoreload.py: defpython_reloader(main_func,args,kwargs): ifos.environ.get("RUN_MAIN")=="true": thread.start_new_thread(main_func,args,kwargs) try: reloader_thread() exceptKeyboardInterrupt: pass else: try: exit_code=restart_with_reloader() ifexit_code<0: os.kill(os.getpid(),-exit_code) else: sys.exit(exit_code) exceptKeyboardInterrupt: pass
第一次走到这里时候,环境变量中RUN_MAIN变量不是"true",甚至都没有,所以走else,看restart_with_reloader:
#django\utils\autoreload.py: defrestart_with_reloader(): whileTrue: args=[sys.executable]+['-W%s'%oforoinsys.warnoptions]+sys.argv ifsys.platform=="win32": args=['"%s"'%argforarginargs] new_environ=os.environ.copy() new_environ["RUN_MAIN"]='true' exit_code=os.spawnve(os.P_WAIT,sys.executable,args,new_environ) ifexit_code!=3: returnexit_code
这里首先起一个while循环,内部先把RUN_MAIN改成了"true",然后用os.spawnve方法开一个子进程(subprocess),看看os.spawnve的说明:
#os.py defspawnve(mode,file,args,env): """spawnve(mode,file,args,env)->integer Executefilewithargumentsfromargsinasubprocesswiththe specifiedenvironment. Ifmode==P_NOWAITreturnthepidoftheprocess. Ifmode==P_WAITreturntheprocess'sexitcodeifitexitsnormally; otherwisereturn-SIG,whereSIGisthesignalthatkilledit.""" return_spawnvef(mode,file,args,env,execve)
其实就是再调一遍命令行,又走了一遍pythonmanage.pyrunserver。
接着看restart_with_reloader里的while循环,需要注意的是while循环退出的唯一条件是exit_code!=3。如果子进程不退出,就一直停在os.spawnve这一步;如果子进程退出,而退出码不是3,while就被终结了;如果是3,继续循环,重新创建子进程。从这个逻辑可以猜想autoreload的机制:当前进程(主进程)其实啥也不干,就监视子进程的运行状况,子进程才是真正干事儿的;如果子进程以exit_code=3退出(应该由于检测到了文件修改),就再启动一遍子进程,新代码自然就生效了;如果子进程以exit_code!=3退出,主进程也结束,整个django程序就算跪了。这只是猜想,下面接着来验证。
3、子进程。上面其实有一个疑问,既然是重新启动了一次,为什么子进程不会接着生成子进程?原因就在于RUN_MAIN这个环境变量,主进程中把它改成了true,子进程走到python_reloader函数的时候:
#django\utils\autoreload.py: defpython_reloader(main_func,args,kwargs): ifos.environ.get("RUN_MAIN")=="true": thread.start_new_thread(main_func,args,kwargs) try: reloader_thread() exceptKeyboardInterrupt: pass else: try: exit_code=restart_with_reloader() ifexit_code<0: os.kill(os.getpid(),-exit_code) else: sys.exit(exit_code) exceptKeyboardInterrupt: pass
if条件满足了,和主进程走了不一样的逻辑分支。在这里,首先去开一个线程,运行main_func,就是上文的Command.inner_run。这里的thread模块是这么import的:
#django\utils\autoreload.py: fromdjango.utils.six.movesimport_threadasthread
这里six模块的作用是兼容各种python版本:
[codeblocksix] #django\utils\six.py class_SixMetaPathImporter(object): """ Ametapathimportertoimportsix.movesanditssubmodules. ThisclassimplementsaPEP302finderandloader.Itshouldbecompatible withPython2.5andallexistingversionsofPython3 """ 官网说明: #https://pythonhosted.org/six/ Six:Python2and3CompatibilityLibrary SixprovidessimpleutilitiesforwrappingoverdifferencesbetweenPython2andPython3.ItisintendedtosupportcodebasesthatworkonbothPython2and3withoutmodification.sixconsistsofonlyonePythonfile,soitispainlesstocopyintoaproject.
所以如果程序想在python2和python3上都能跑,且鲁邦,six是重要的工具。之后抽个时间看下six,mark一下。
然后再开一个reloader_thread:
[codeblockautoreload_reloader_thread] #django\utils\autoreload.py: defreloader_thread(): ensure_echo_on() ifUSE_INOTIFY: fn=inotify_code_changed else: fn=code_changed whileRUN_RELOADER: change=fn() ifchange==FILE_MODIFIED: sys.exit(3)#forcereload elifchange==I18N_MODIFIED: reset_translations() time.sleep(1)
ensure_echo_on()其实还没看明白,貌似是针对类unix系统文件处理的,先略过;
USE_INOTIFY也是系统文件操作相关的变量,根据inotify是否可用选择检测文件变化的方法。
while循环,每隔1秒检测一下文件状态,如果是普通文件有变化,进程退出,退出码为3,主进程一看:退出码是3,就重启子进程。。。。这样就和上面连上了;如果不是普通文件变化,而是I18N_MODIFIED(.mo后缀的文件变化,二进制库文件之类的),那就reset_translations,大概意思是把已加载过的库缓存清理掉,下次重新加载。
以上就是autoreload机制的流程。其中还是有些细节不是特别清楚,比如不同操作系统文件变化的检测,但都是很细节的东西了,不涉及主流程。看完这些,我又问了自己一遍,如果是让我设计autoreload机制会怎样搞。现在我的答案是:直接把django\utils\autoreload.py文件拿来用啊。其实这是很独立的一个模块,而且特别通用,完全可以作为通用的autoreload解决方案,我还自己写个毛啊。
这篇浅谈django开发者模式中的autoreload是如何实现的就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。