2011-12-13 31 views
0

我正在構建一個神經網絡分類訓練系統。神經網絡模型的平常成功率是多少?

我對你建造的系統的錯誤率感興趣嗎?

來自UCI ML的經典示例是Iris數據集。 神經網絡訓練幾乎完美 - 錯誤率0-1%;但它是一個非常基本的數據集。

我的網絡結構如下:80in,208hid,2out。 我的結果是測試數據集的錯誤率爲8%。

基本上在這個問題我想請教一下各種研究成果你在工作中遇到的, ,論文等

加入1: 錯誤率當然是對測試數據 - 而不是訓練。所以這是全新的網絡數據集

加2(來自我對該問題的評論): 我的新結果。 1200個參賽作品,900個訓練,300個測試。 Class1中85個,Class2中1115個。 85個測試中有44個測試。錯誤率 - 6%。它並沒有那麼糟糕,因爲44〜300。15%,所以我更好的2.5倍..

+2

這不是一個可以輕鬆回答的問題。錯誤率高度**取決於數據,NN的複雜度,訓練量等。其中一些因素也是可變的,從本質上允許在低速率情況下調整錯誤率,唯一的目標。確切地說,是 – blahdiblah 2011-12-14 00:11:42

+0

。我在問你最後的最佳結果。我不問如何解決我的網絡問題。這是一種研究結果彙總問題。 – user425720 2011-12-14 00:54:12

回答

0

例如見本文:

達尼洛P.曼迪奇和喬納森A. Chanbers(2000) 。朝向最佳學習速率 反向傳播,神經處理快報11:1-5PDF

1

模型性能是完全問題特定的。即使在具有相似質量和發展數據量的情況下,如果目標變量定義相同,績效可能會有很大差異。顯然,問題定義越相似,不同模型的性能越匹配。

要考慮的另一件事是技術性能業務績效之間的差異。在某些應用中,52%的準確度是非常有利可圖的,而在其他領域,98%的準確度將是絕望的低。

1

我還要補充說,除了Predictor提到的之外,衡量你在訓練集上的表現通常是沒有用的,它可以用來確定你的分類器如何在以前看不見的數據上執行。多次使用相對簡單的分類器,您可以在訓練集上得到0%的錯誤率,而無需學習任何有用的東西(這稱爲過度擬合)。

什麼是更常用的(更有助於確定分類器的工作方式)要麼保存數據,要麼交叉驗證,如果您將數據分爲三部分:培訓,驗證和測試,則更好。

此外,很難理解分類器在一個閾值下的工作情況,只給出真正的肯定+真實的否定。人們還傾向於評估假陽性和假陰性,並繪製ROC曲線來查看/評估折衷。所以,說「2.5倍好」,你應該清楚,你比較一個分類器,把所有東西都歸類爲C2,這是一個非常糟糕的基準。