將大量分類變量編碼爲輸入數據

Question

當您處理數百個類別時，一個熱門編碼聽起來不是一個好主意，其中一列是「名字」的數據集。編碼這類數據的最佳方法是什麼？

Answer 1

我推薦的散列招：

https://en.wikipedia.org/wiki/Feature_hashing#Feature_vectorization_using_the_hashing_trick

它的廉價計算，使用方便，允許你指定的維度，並經常作爲分類的良好基礎。

對於您的特定應用程序，我會散列特徵值對，例如（'FirstName'，'John'），然後增加散列值的存儲桶。

Answer 2

如果您有大量的類別，分類算法效果不佳。相反，有一個更好的方法來做到這一點。您對數據應用迴歸算法，然後在這些輸出上訓練偏移量。它會給你更好的結果。

示例代碼可以找到here。