0
我使用spaCy與Python進行命名實體識別,但腳本需要在每次運行時加載模型,並且需要大約1.6GB的內存來加載它。
但1.6GB並非每次運行都可有可無。
如何將它加載到緩存或臨時內存中以便使腳本運行更快?如何將spaCy模型保存到緩存?
我使用spaCy與Python進行命名實體識別,但腳本需要在每次運行時加載模型,並且需要大約1.6GB的內存來加載它。
但1.6GB並非每次運行都可有可無。
如何將它加載到緩存或臨時內存中以便使腳本運行更快?如何將spaCy模型保存到緩存?
首先,如果你只做NER,你可以安裝沒有矢量的解析器。 這是可能給出該參數解析器到:
python -m spacy.en.download parser
這將防止700MB +手套矢量將被下載,減肥所需的單次運行的存儲器。
那麼,這取決於您對庫的應用/使用情況。
如果您經常打電話,最好將spacy.load('en')
傳遞到您的堆棧的開始加載的模塊/類變量。
這會減慢你的啓動時間,但spacy會準備好(在內存中)被調用。
(如果開機時間很大,可以做延遲加載)。