总结python 三种常见的内存泄漏场景
概要
不要以为Python有自动垃圾回收就不会内存泄漏,本着它有“垃圾回收”我有“垃圾代码”的精神,现在总结一下三种常见的内存泄漏场景。
无穷大导致内存泄漏
如果把内存泄漏定义成只申请不释放,那么借着Python中整数可以无穷大的这个特点,我们一行代码就可以完成内存泄漏了。
i=1024**1024**1024
循环引用导致内存泄漏
引用记数器是Python垃圾回收机制的基础,如果一个对象的引用数量不为0那么是不会被垃圾回收的,我们可以通过sys.getrefcount来得到给定对象的引用数量。
In[1]:importsys In[2]:a={'name':'tom','age':16} In[3]:sys.getrefcount(a)#由于getrefcount内部也会临时的引用a所以,使得计数器的值变成了2。 Out[3]:2 In[4]:b=a In[5]:sys.getrefcount(a) Out[5]:3
先来看一个循环引用的场景。
#!/usr/bin/evnpython3 importsys importtime importthreading classPerson(object): free_lock=threading.Condition() def__init__(self,name:str=""): """ Parameters ---------- name:str 姓名 best_friend:str 最要好的朋友名 """ self._name=name self._best_friend=None @property defbest_friend(self,person:"Person"): returnself._best_friend @best_friend.setter defbest_friend(self,friend:"Person"): self._best_friend=friend def__str__(self): """ """ returnself._name def__del__(self): """ """ self.free_lock.acquire() print(f"{self._name}要GG了,现在释放它的内存空间。") sys.stderr.flush() self.free_lock.release() defmem_leak(): """ 循环引用导致内存泄漏 """ zhang_san=Person(name='张三') li_si=Person("李四") #构造出循环引用 #李四的好友是张三 li_si.best_friend=zhang_san #张三的好友是李四 zhang_san.best_friend=li_si if__name__=="__main__": foriinrange(3): time.sleep(0.01) print(f"{i}") mem_leak() print("mem_leak执行完成了.") time.sleep(5)
运行效果。
python3main.py
0
1
2
mem_leak执行完成了.
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间。
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间。
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间
由于循环引用的存在,使得mem_leak函数就行执行完了其内部的局部变量引用计数器也不为0,所以内存得不到及时的释放。释放这部分内存有两个途径1、被Python内部的循环检测机制发现了;2、进程退出前的集中释放。
tracemalloc可以在一定程序上帮我们发现问题,在此就不讲怎么用了,我们直接上解决方案。Python为程序员提供了弱引用,通过这种方式可以不增加对象引用计数器的数值,这成为了我们打破循环引用的一种手段。
In[1]:importsys In[2]:importweakref In[3]:frommainimportPerson In[4]:tom=Person('tom') In[5]:sys.getrefcount(tom) Out[5]:2 In[6]:p=weakref.ref(tom) In[7]:sys.getrefcount(tom)#弱引用不会增加计数器的值 Out[7]:2
现在使用weakref技术来改造我们的代码。
#!/usr/bin/evnpython3 importsys importtime importweakref importthreading classPerson(object): free_lock=threading.Condition() def__init__(self,name:str=""): """ Parameters ---------- name:str 姓名 best_friend:str 最要好的朋友名 """ self._name=name self._best_friend=None @property defbest_friend(self,person:"Person"): returnself._best_friend @best_friend.setter defbest_friend(self,friend:"Person"): self._best_friend=weakref.ref(friend) def__str__(self): """ """ returnself._name def__del__(self): """ """ self.free_lock.acquire() print(f"{self._name}要GG了,现在释放它的内存空间。") sys.stderr.flush() self.free_lock.release() defmem_leak(): """ 循环引用导致内存泄漏 """ zhang_san=Person(name='张三') li_si=Person("李四") #构造出循环引用 #李四的好友是张三 li_si.best_friend=zhang_san #张三的好友是李四 zhang_san.best_friend=li_si if__name__=="__main__": foriinrange(3): time.sleep(0.01) print(f"{i}") mem_leak() print("mem_leak执行完成了.") time.sleep(5)
运行效果。
python3main.py
0
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间。
1
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间。
2
张三要GG了,现在释放它的内存空间。
李四要GG了,现在释放它的内存空间。
mem_leak执行完成了.
可以看到现在一旦函数执行完成,其内部的局部变量的内存就会得到释放,非常的及时。
外面库导致内存泄漏
这种情况我也只遇到过一次,之前mysql-connector-python的内存泄漏,导致我的程序跑着跑着占用的内存就越来越大;最后我们返的C语言扩展禁用之后就没有问题了。
以上就是总结python三种常见的内存泄漏场景的详细内容,更多关于python内存泄漏的资料请关注毛票票其它相关文章!