2016-07-08 37 views
0

我使用spaCy與Python進行命名實體識別,但腳本需要在每次運行時加載模型,並且需要大約1.6GB的內存來加載它。
但1.6GB並非每次運行都可有可無。
如何將它加載到緩存或臨時內存中以便使腳本運行更快?如何將spaCy模型保存到緩存?

回答

0

首先,如果你只做NER,你可以安裝沒有矢量的解析器。 這是可能給出該參數解析器到:

python -m spacy.en.download parser

這將防止700MB +手套矢量將被下載,減肥所需的單次運行的存儲器。

那麼,這取決於您對庫的應用/使用情況。

如果您經常打電話,最好將spacy.load('en')傳遞到您的堆棧的開始加載的模塊/類變量。

這會減慢你的啓動時間,但spacy會準備好(在內存中)被調用。

(如果開機時間很大,可以做延遲加載)。