預訓練模型中存儲了哪些類型的數據，例如咖啡模型動物園？

Question

我從閱讀squeeze net紙中發現了這個問題。作者聲明他們使用Deep Compression來壓縮預先訓練的模型。該算法包括霍夫曼編碼等。

我推斷預先訓練過的所有參數，我知道這些參數是在訓練網絡時生成的，但我不知道如何生成參數。預測模型的參數在做預測時起什麼作用？

這聽起來好像魔法

Answer 1

預先訓練的模型由權重爲所有從每一層的每一個內核層連接/的。這是第一個40-80個訓練階段的「繁重工作」。它應該做好預測準備，或者繼續進行適合你的微調。

這不是真正的黑魔法。每個框架都有一個功能，可以在指定的時間間隔和完成培訓後轉儲（備份）參數值。當然，這些是相對較大的文件 - 因此使用了壓縮。每個框架都有一個工具來讀取這樣一個轉儲文件，以便引導一個模型。