Python：exec語句和意外的垃圾收集器行爲

Question

我發現exec（它發生在一個系統中，必須用用戶編寫的腳本來擴展）的問題。我可以在問題本身降低到這個代碼：

def fn(): 
    context = {} 
    exec ''' 
class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
x = test()''' in context 

fn() 

我預計，內存應該被垃圾收集器的功能fn調用之後被釋放。然而，Python進程仍然消耗額外的200MB內存，我完全不知道這裏發生了什麼以及如何手動釋放分配的內存。

我懷疑在exec中定義一個類並不是一個非常好的想法，但首先，我想了解上述示例中出現的問題。

它看起來像在另一個函數中創建包裝類實例解決了這個問題，但有什麼區別？

def fn(): 
    context = {} 
    exec ''' 
class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
def f1(): x = test() 
f1() 
    ''' in context 
fn() 

這是我的Python解釋器的版本：

$ python 
Python 2.7 (r27:82500, Sep 16 2010, 18:02:00) 
[GCC 4.5.1 20100907 (Red Hat 4.5.1-3)] on linux2 

Answer 1

，你看到它佔用200MB的內存比預期的更長的原因是因爲你有一個參考週期：context是字典參考x和test。 x參考test的實例，其參考文獻test。 test有一個屬性字典，test.__dict__，其中包含該類的__init__函數。 __init__函數反過來引用它定義的全局變量 - 這是您傳遞給exec,context的字典。

Python會爲你分解這些參考週期（因爲沒有涉及的方法有__del__方法），但它需要運行gc.collect()。 gc.collect()會每N次分配（由gc.set_threshold()確定）自動運行，所以「泄漏」在某個時刻會消失，但如果您希望它立即消失，您可以自己運行gc.collect()，或者在退出該功能之前自行中斷參考週期。您可以通過致電context.clear()輕鬆完成後者 - 但您應該認識到這會影響您在其中創建的類的所有實例。

Answer 2

我不認爲這個問題與exec有關 - 垃圾收集器只是沒有激活。如果你出去提取exec「d代碼到主應用程序，這兩種方式給予相同的行爲與exec：

class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
x = test() 

# Consumes 200MB 

class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
def f1(): x = test() 
f1() 

# Memory get collected correctly 

的兩種方法之間的區別在於，在第二個，局部範圍內變化時，調用f1()，我認爲當x超出範圍時，垃圾回收器啓動，因爲函數將控制權返回給主腳本。如果範圍沒有改變，那麼垃圾收集器等待until the difference between the number of allocations and the number of deallocations exceeds its threshold（在我的機器上，默認情況下，閾值爲700，運行Python 2.7）。

我們可以找出一點什麼事情的：

import sys 
import gc 

class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
x = test() 

print gc.get_count() 
# Prints (168, 8, 0) 

所以，我們看到的是，垃圾收集觸發了無數次，但由於某種原因不收集x。如果你與其他版本進行測試：

import sys 
import gc 

class test: 
    def __init__(self): 
     self.buf = '1'*1024*1024*200 
def f1(): x = test() 
f1() 

print gc.get_count() 
# Prints (172, 8, 0) 

在這種情況下，我們知道，它並設法收集x。所以，當在全局範圍內聲明x時，它似乎保留了一些循環引用來阻止它被收集。我們始終可以使用del x手動強制收集，但當然這並不理想。如果使用gc.get_referrers(x)，我們將能夠看到哪些對象仍然指向x，並且可能會提供有關如何阻止該事件發生的線索。

我知道我沒有真正解決這個問題，但希望這可以幫助您朝着正確的方向發展。我會記住這個問題，以防萬一我稍後再發現。