機器學習手冊貼標質量

Question

我有一個多標籤分類任務。

有一組標籤，當我評估性能時，我發現一般來說所有標籤都可以分成兩組，標籤性能良好，標籤性能差，標籤之間的差距很大。

我正在尋找一種方法來評估手動標籤的質量。我知道這不是微不足道的，但肯定我可以做一些調查。例如，在很好的標籤中，我看到有一組具有較高權重的屬性表示這些標籤，對於性能較差的標籤，我沒有看到任何好的功能。

還有什麼可以做，以查看好標籤和壞標籤之間的區別？

Answer 1

如果沒有關於設置的更多細節，很難給出具體建議。

一種常用於衆包數據的方法是向多個人詢問標籤。如果標籤本質上是分類的，則只使用由多個標籤選擇的標籤。如果標籤是連續的，則通常取平均值。您需要始終考慮到一些標籤商可能會惡意增加噪音或不完全理解任務。

雖然你需要小心。如果您的標籤是合理的，那麼您的實驗結果告訴您，您擁有的屬性不太適合估算標籤。因此，您可能會遇到描述問題，而不是標籤質量問題。這些描述問題在NLP和計算機視覺中很常見，例如描述感興趣的對象很困難。

如果您可以添加更多關於您的數據以及您想要完成的內容以及特定實驗的結果，我可以添加更具體的建議。