在一個data.frame中查找具有相同數據的列

Question

我有1個名爲A的數據框，其中有5000列。我如何在這個data.frame中找到彼此相等的列。

Answer 1

正如@John所述，使用duplicated時出現問題。我會補充說，在與duplicated比較之前，將data.frame強制轉換爲相同的數據類型。在一個例子，這裏是一個data.frame：

df <- data.frame(a = LETTERS[1:3], 
        b = 1:3, 
        c = as.character(1:3), 
        d = LETTERS[1:3], 
        e = 1:3, 
        f = 1:3) 
df 
# a b c d e f 
# 1 A 1 1 A 1 1 
# 2 B 2 2 B 2 2 
# 3 C 3 3 C 3 3 

注意，列c非常相似e列b，和f，但不是因爲不同類型的相同（字符與數字）。 @Jubbles建議的解決方案將忽略這些差異。

相反，在data.frame的列上使用identical函數似乎更合適。您可以比較使用outer兩個由兩列：

are.cols.identical <- function(col1, col2) identical(df[,col1], df[,col2]) 
identical.mat  <- outer(colnames(df), colnames(df), 
          FUN = Vectorize(are.cols.identical)) 
identical.mat 
# [,1] [,2] [,3] [,4] [,5] [,6] 
# [1,] TRUE FALSE FALSE TRUE FALSE FALSE 
# [2,] FALSE TRUE FALSE FALSE TRUE TRUE 
# [3,] FALSE FALSE TRUE FALSE FALSE FALSE 
# [4,] TRUE FALSE FALSE TRUE FALSE FALSE 
# [5,] FALSE TRUE FALSE FALSE TRUE TRUE 
# [6,] FALSE TRUE FALSE FALSE TRUE TRUE 

在這裏，您可以使用集羣來識別相同的列組（可能有更好的方法，所以如果您知道的，隨意評論，甚至編輯我的答案）

library(cluster) 
distances <- as.dist(!identical.mat) 
tree  <- hclust(distances) 
cut  <- cutree(tree, h = 0.5) 
cut 
# [1] 1 2 3 1 2 2 

split(colnames(df), cut) 
# $`1` 
# [1] "a" "d" 
# 
# $`2` 
# [1] "b" "e" "f" 
# 
# $`3` 
# [1] "c" 

編輯1：忽視的浮點值的差異，可以使用

are.cols.identical <- function(col1,col2) isTRUE(all.equal((df[,col1],df[,col2])) 

編輯2：比聚類進行分組相同列的名稱更有效的方法是

cut <- apply(identical.mat, 1, function(x)match(TRUE, x)) 
split(colnames(df), cut) 

Answer 2

如何轉置數據幀並使用duplicated()？

B <- as.data.frame(t(A)) 
dup1 <- duplicated(B) 
# if you want to identify all duplicated rows 
dup2 <- duplicated(B, fromLast = TRUE) 
dup_final <- dup1 * dup2 
saved_colnames <- colnames(A)[dup_final] 

Answer 3

這個問題是非常類似於一個here，但與用相同的警告細微的差別。

我將在下面使用digest()，如（感謝@flodel的data.frame和上面一個非常好的建議）

df <- data.frame(a = LETTERS[1:3], 
    b = 1:3, 
    c = as.character(1:3), 
    d = LETTERS[1:3], 
    e = 1:3, 
    f = 1:3) 

dfDig <- sapply(df, digest) 

ansL <- lapply(seq_along(dfDig), function(x) names(which(dfDig == dfDig[x]))) 

unique(ansL) 

# [[1]] 
# [1] "a" "d" 

# [[2]] 
# [1] "b" "e" "f" 

# [[3]] 
# [1] "c" 

這仍然不會1.0和1區分再次建議，但是。

編輯

如由@flodel的意見建議，下面可以交替創建dfDig