R randomForest vote vote tie break

Question

有誰知道R randomForest包用來解決分類關係的機制是什麼？即當樹最終在兩個或更多類中得到相同的投票時？

該文件稱領帶被隨機打破。但是，當您在一組數據上訓練模型，然後使用一組驗證數據對該模型進行多次評分時，綁定的類別決策不是50/50。

cnum = vector("integer",1000) 
for (i in 1:length(cnum)){ 
    cnum[i] = (as.integer(predict(model,val_x[bad_ind[[1]],]))) 
} 
cls = unique(cnum) 
for (i in 1:length(cls)){ 
    print(length(which(cnum == cls[i]))) 
} 

其中model是隨機森林對象和bad_ind只是一個指數已經追平類票的特徵向量的列表。在我的測試用例中，使用上面的代碼，兩個綁定類之間的分佈接近90/10。

此外，建議使用奇數棵樹通常不會與第三課拉動一些投票而將其他兩個班級並列在一起。

這些rf樹的投票結果應該不是50/50嗎？

更新： 它很難提供一個例如由於一種訓練森林，但下面的代碼（遺憾的斜率）的隨機性質應最終產生的例子是，林不能確定一個明確的贏家。當關系破裂時，我的測試運行顯示66％/ 33％的分佈 - 我預計這是50％/ 50％。

library(randomForest) 
x1 = runif(200,-4,4) 
x2 = runif(200,-4,4) 
x3 = runif(1000,-4,4) 
x4 = runif(1000,-4,4) 
y1 = dnorm(x1,mean=0,sd=1) 
y2 = dnorm(x2,mean=0,sd=1) 
y3 = dnorm(x3,mean=0,sd=1) 
y4 = dnorm(x4,mean=0,sd=1) 
train = data.frame("v1"=y1,"v2"=y2) 
val = data.frame("v1"=y3,"v2"=y4) 
tlab = vector("integer",length(y1)) 
tlab_ind = sample(1:length(y1),length(y1)/2) 
tlab[tlab_ind]= 1 
tlab[-tlab_ind] = 2 
tlabf = factor(tlab) 
vlab = vector("integer",length(y3)) 
vlab_ind = sample(1:length(y3),length(y3)/2) 
vlab[vlab_ind]= 1 
vlab[-vlab_ind] = 2 
vlabf = factor(vlab) 
mm <- randomForest(x=train,y=tlabf,ntree=100) 
out1 <- predict(mm,val) 
out2 <- predict(mm,val) 
out3 <- predict(mm,val) 
outv1 <- predict(mm,val,norm.votes=FALSE,type="vote") 
outv2 <- predict(mm,val,norm.votes=FALSE,type="vote") 
outv3 <- predict(mm,val,norm.votes=FALSE,type="vote") 

(max(as.integer(out1)-as.integer(out2)));(min(as.integer(out1)-as.integer(out2))) 
(max(as.integer(out2)-as.integer(out3)));(min(as.integer(out2)-as.integer(out3))) 
(max(as.integer(out1)-as.integer(out3)));(min(as.integer(out1)-as.integer(out3))) 

bad_ind = vector("list",0) 
for (i in 1:length(out1)) { 
#for (i in 1:100) { 
    if (out1[[i]] != out2[[i]]){ 
    print(paste(i,out1[[i]],out2[[i]],sep = "; ")) 
    bad_ind = append(bad_ind,i) 
    } 
} 

for (j in 1:length(bad_ind)) { 
    cnum = vector("integer",1000) 
    for (i in 1:length(cnum)) { 
    cnum[[i]] = as.integer(predict(mm,val[bad_ind[[j]],])) 
    } 
    cls = unique(cnum) 
    perc_vals = vector("integer",length(cls)) 
    for (i in 1:length(cls)){ 
    perc_vals[[i]] = length(which(cnum == cls[i])) 
    } 
    cat("for feature vector ",bad_ind[[j]]," the class distrbution is: ",perc_vals[[1]]/sum(perc_vals),"/",perc_vals[[2]]/sum(perc_vals),"\n") 
} 

更新： 本應固定在隨機森林的4.6-3版本。

Answer 1

這應該被固定在4.6版本-3的randomForest。

Answer 2

如果沒有一個完整的例子，它是很難說，如果這是唯一的錯，但你上面包含的代碼一個明確的問題是，你沒有複製模型擬合步 - 僅預測步驟。當你適合的型號任意搭配打破的選擇完成的，所以如果你不重做這一部分，你predict()通話將繼續給同一類的概率較高/票。

試試這個例子，相反，這證明了正確的期望行爲：

library(randomForest) 
df = data.frame(class=factor(rep(1:2, each=5)), X1=rep(c(1,3), each=5), X2=rep(c(2,3), each=5)) 
fitTie <- function(df) { 
    df.rf <- randomForest(class ~ ., data=df) 
    predict(df.rf, newdata=data.frame(X1=1, X2=3), type='vote')[1] 
} 

> df 
    class X1 X2 
1  1 1 2 
2  1 1 2 
3  1 1 2 
4  1 1 2 
5  1 1 2 
6  2 3 3 
7  2 3 3 
8  2 3 3 
9  2 3 3 
10  2 3 3 

> mean(replicate(10000, fitTie(df))) 
[1] 0.49989 

Answer 3

我認爲這是發生，因爲你有這樣的少數關係。與翻轉硬幣10次相同的問題，您不能保證在5頭5尾時捲起。

在下面的情況1中，關係被均勻地分開，每個類1：1。情況2,3：6。

> out1[out1 != out2] 
52 109 144 197 314 609 939 950 
    2 2 1 2 2 1 1 1 

> out1[out1 != out3] 
52 144 146 253 314 479 609 841 939 
    2 1 2 2 2 2 1 2 1 

更改爲一個更大的數據集：

x1 = runif(2000,-4,4) 
x2 = runif(2000,-4,4) 
x3 = runif(10000,-4,4) 
x4 = runif(10000,-4,4) 

我得到：

> sum(out1[out1 != out2] == 1) 
[1] 39 
> sum(out1[out1 != out2] == 2) 
[1] 41 

和

> sum(out1[out1 != out3] == 1) 
[1] 30 
> sum(out1[out1 != out3] == 2) 
[1] 31 

如預期，除非我誤解你的代碼。

---

編輯

哦，我明白了。您正在重新運行有關係的箱子，並且預計它們會被打破50/50，即：sum(cnum == 1)約等於sum(cnum == 2)。您可以測試使用這種方法要快得多：

> for (j in 1:length(bad_ind)) { 
+ mydata= data.frame("v1"=0, "v2"=0) 
+ mydata[rep(1:1000000),] = val[bad_ind[[j]],] 
+ outpred = predict(mm,mydata) 
+ print(sum(outpred==1)/sum(outpred==2)) 
+ } 
[1] 0.5007849 
[1] 0.5003278 
[1] 0.4998868 
[1] 0.4995651 

看來你是對的，這是打破贊成2類的關係兩倍，經常1班。