重複數據集有用嗎？

Question

我下載了Skin Segmentation Data Set，發現它包含很多重複項。
例如，這行0 128 0 2遇到199次。

請提供幾個例子，當重複是好的，什麼時候是邪惡的。

Answer 1

當然，是的，因爲如果它是一個隨機樣本，它代表數據中的基本分佈，它告訴您這個特定值具有更高的概率。刪除重複數據只會使數據集變得毫無用處。

Answer 2

這很重要。例如：如果行'a'在數據中出現5次，而另一行'b'只出現一次，那麼您希望將行'a'分類好於'b'，因爲當您計算成本函數行'a'會出現更多的時間，並對成本有更大的影響。

而且，如果你的訓練很好地代表了測試數據，那麼行'a'出現的次數就會高於行'b'的次數。