預測誤差曲線 - Brier得分

我有一組患者，這些患者分爲一組訓練和驗證集。我想評估分層總體生存的幾個參數的性能。因此，我使用Pec軟件包（https://cran.r-project.org/web/packages/pec/pec.pdf）生成預測誤差曲線和綜合刺激評分（IBS）。我現在面臨的問題是，是否有方法可以確定Model_1的IBS與Model_2或參考模型相比是否顯着較低？預測誤差曲線 - Brier得分

感謝您的幫助！

models <- list("Model_1" = coxph(Surv(OS, OS_event)~ var_1+var_2, data=df_train), 
       "Model_2" = coxph(Surv(OS, OS_event) ~ var_3+var_4, data=df_train)) 


brier <- pec(object=models, 
      data=df_validate, 
      formula=Surv(OS, OS_event)~age, 
      exact=TRUE, 
      cens.model="marginal", 
      traindata = df_train) 
plot(brier) 
print(brier)

來源

2016-04-01 user86533

它們不是嵌套模型，所以依賴邊緣性的常用方法將不會提供信息。有些人認爲使用一些信息標準可以讓你避開這個限制。我不太確定。也許你應該發佈一些實際結果？目前，這看起來太模糊，無法提供StackOverflow應該提供的編碼答案。 –

一種方法是運行交叉驗證多次，然後使用t檢驗或威爾科克斯測試（非參數的版本），以確定是否存在模型1和模型的IBS之間存在統計學顯著差2.低P值拒絕模型1和模型2的平均IBS評分相等的無效假設。

假設IBS得分存儲在一個名爲TEALL的數據框中，其中第1列是模型1的得分，第2列是模型2的得分。每一行代表另一個交叉驗證。然後：

ttest = t.test(TEALL[,1], TEALL[,2], paired=TRUE) 
wtest = wilcox.test(TEALL[,1], TEALL[,2],paired=TRUE)

來源

2016-12-14 00:12:04

預測誤差曲線 - Brier得分

回答

相關問題