複雜對象的Python決策樹分類

Question

我有一系列具有各種屬性的服裝/配件產品（用Python對象表示）。這些產品是通過查詢外部API和刮取商家網站以獲得各種屬性的組合而產生的。

我的目標是開發一個使用這些屬性對產品進行正確分類的分類器（即分類爲褲子，T恤，連衣裙等）。

我有一個訓練和一個測試數據集，它們是整個數據集的一個子集，隨機選擇的數據集已被人工分類。

我和一位專門從事機器學習的大學前同事交談過，他建議使用決策樹。但是，Python中的決策樹庫看起來非常注重數值（而不是專注於基於文本屬性對數據進行分類）。

我知道像Scikit Learn這樣的庫，但從我的簡要分析看來，它們通常涉及比我所需的規則更簡單的邏輯。

任何關於方法，庫，代碼結構等的建議將不勝感激。然而，這個問題的主要焦點是，其中Python機器學習庫（如果有的話）將最適合於此任務。

產品屬性包括以下內容：

• 名稱（str）
• 描述（str）
• available_sizes（[str, str...]）
• available_colours（[STR，STR ...]）
• 價格（float）
• url（str）
• CATEGORY_NAME（str）
• 圖像（[str, str...] - 網址）

產品的一個例子：

{ 'category': u"Men's Accessories", 
    'colours': [u'White'], 
    'description': u'Keep your formal style looking classic with this white short sleeve Oxford shirt with roll up sleeve detailing.', 
    'ean': u'', 
    'gender': u'M', 
    'images': [ u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_2_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_3_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_4_large.jpg'], 
    'last_scraped': datetime.datetime(2014, 11, 1, 7, 13, 28, 943000), 
    'merchant_id': 2479L, 
    'merchant_uri': u'http://www.topman.com/en/tmuk/product/white-oxford-short-sleeve-shirt-157702?geoip=noredirect', 
    'name': u'White Oxford Short Sleeve Shirt', 
    'price': 26.0, 
    'sizes': [u'XXS', u'XS', u'S', u'M', u'L', u'XL', u'XXL']} 

Answer 1

可以使用scikit學習，但你需要預處理的數據。決策樹的其他實現可以直接處理分類數據，但這並不能解決您的問題。您仍然需要預處理數據。

首先，我會忽略圖像，因爲使用它們有點複雜。 對於所有其他變量，您需要以對機器學習有意義的方式對它們進行編碼。例如，可用大小可以編碼爲0或1，具體取決於給定大小是否可用。 如果顏色來自一組固定的字符串，則顏色可以編碼爲一個分類。如果這是一個自由文本字段，則使用分類可能不太好（例如，人們可能使用灰色和灰色，這將是兩個完全無關的值，或者有錯別字等）。

說明和名稱分別是可能對每個產品都是獨一無二的，所以使用分類變量是沒有意義的，因爲每個產品只會被看到一次。對於這些，最好用一包字的方法對它們進行編碼。

你可以在tutorials section of the scikit-learn documentation找到關於文本分類的教程。你可能也想看看其他教程。

最後，我會建議從線性分類器開始，比如樸素貝葉斯或LinearSVC。如果您想要提取實際的規則，並且很少用於文本處理afaik（通常有數十或數十萬個特徵/詞，因此提取有意義的規則很困難），那麼單棵樹就非常有用。如果你想使用基於樹的方法，那麼使用像隨機森林或梯度提升這樣的集合很可能會產生更好的結果。