我正在使用R對兩種不同的預測模型進行一些評估。評估的基本思想是使用cor。()的函數來比較Pearson相關和它對應的p值。下圖顯示了相關係數及其p值的最終結果。通過p值和皮爾遜相關性評估預測
我們建議,即,其具有較低的相關性係數和相應的較低p值模型(以下0,05)是更好的(或者,較高的相關係數但具有相當高的相應的p值)。 因此,在這種情況下,總的來說,我們會說模型1比模型2好。 但這裏的問題是,有沒有其他具體的統計方法來量化比較?
非常感謝!
我正在使用R對兩種不同的預測模型進行一些評估。評估的基本思想是使用cor。()的函數來比較Pearson相關和它對應的p值。下圖顯示了相關係數及其p值的最終結果。通過p值和皮爾遜相關性評估預測
我們建議,即,其具有較低的相關性係數和相應的較低p值模型(以下0,05)是更好的(或者,較高的相關係數但具有相當高的相應的p值)。 因此,在這種情況下,總的來說,我們會說模型1比模型2好。 但這裏的問題是,有沒有其他具體的統計方法來量化比較?
非常感謝!
假設您在調出「預測」後正在處理時間序列數據。我認爲你真正想要的是回溯你的預測模型。從Ruey S. Tsay的「用R分析財務數據的介紹」中,您可能想看看他的backtest.R函數。
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
回溯測試可以讓你看到自己的模型過去的數據表現如何,以及中央執行委員會的backtest.R提供RMSE和平均絕對誤差,這將給你的相關性之外的另一個視角。 注意事項取決於您的數據大小和模型的複雜性,這可能是一個非常緩慢的運行測試。
要比較模型,您通常會看RMSE這實際上是您的模型的錯誤的標準偏差。這兩個直接可比較,更小更好。
更好的選擇是在構建模型之前設置培訓,測試和驗證集。如果您在相同的培訓/測試數據上訓練兩個模型,您可以將它們與您的驗證集(您的模型從未見過)進行比較,以更準確地衡量模型的性能指標。
最後一種選擇是,如果您的「成本」與不準確的預測相關聯,則將這些成本應用於您的預測並將其相加。如果一個模型對較昂貴的數據段表現不佳,您可能想避免使用它。
作爲一個側面說明,你對p值的解釋越少越好,留下一點點[期望] quite right。
P值只能解決一個問題:假設一個真正的零假設,您的數據可能性如何?它不衡量對替代假設的支持。