如何使用多字節分隔符將文本文件讀入GNU R？

Question

我可以使用read.csv或read.csv2將數據讀入R.但是我遇到的問題是我的分隔符是多字節字符串而不是單個字符。我該如何處理這個問題？

Answer 1

提供示例數據將有所幫助。但是，您可能可以根據需要調整以下內容。

我創建的示例性數據文件，該文件是包含以下內容的只是一個文本文件：

1sep2sep3 
1sep2sep3 
1sep2sep3 
1sep2sep3 
1sep2sep3 
1sep2sep3 
1sep2sep3 

我保存爲「test.csv」。分隔字符是'sep'字符串。我認爲read.csv()使用scan()，它只接受sep的單個字符。爲了解決它，考慮以下因素：

dat <- readLines('test.csv') 
dat <- gsub("sep", " ", dat) 
dat <- textConnection(dat) 
dat <- read.table(dat) 

readLines()只是讀取線gsub替代了多字符字符串分離 - 對單個' '，或任何方便您的數據。然後textConnection()和read.data()方便地讀取所有內容。對於較小的數據集，這應該沒問題。如果數據量非常大，請考慮使用AWK等預處理來替換多字符分隔字符串。以上是從http://tolstoy.newcastle.edu.au/R/e4/help/08/04/9296.html。

更新 關於你的評論，如果你在你的數據空間，使用不同的替代隔膜。考慮更改test.csv到：

1sep2 2sep3 
1sep2 2sep3 
1sep2 2sep3 
1sep2 2sep3 
1sep2 2sep3 
1sep2 2sep3 
1sep2 2sep3 

然後，用下面的函數：

readMulti <- function(x, sep, replace, as.is = T) 
{ 
    dat <- readLines(x) 
    dat <- gsub(sep, replace, dat) 
    dat <- textConnection(dat) 
    dat <- read.table(dat, sep = replace, as.is = as.is) 

    return(dat) 
} 

嘗試：

readMulti('test.csv', sep = "sep", replace = "\t", as.is = T) 

在這裏，你替換選項卡（\t）原來的分隔符。 as.is傳遞給read.table()以防止讀取字符串是因素，但這是你的電話。如果您的數據中更復雜的空白，你可能會發現quote參數與AWK，Perl等read.table()幫助，或預處理

一些與crippledlambda的strsplit()類似的是中等規模的數據最有可能的等價物。如果性能成爲問題，請嘗試兩種方法，看看哪些適合您。

Answer 2

在這種情況下，您可以用您的文件名替換textConnection(txt)，但基本上可以在strsplit附近構建代碼或函數。在這裏，我假設你有一個標題行，但你當然可以給定義header論證和推廣基於下面的函數創建您的數據幀：

> read.multisep <- function(File,sep) { 
+ Lines <- readLines(File) 
+ Matrix <- do.call(rbind,strsplit(Lines,sep,fixed=TRUE)) 
+ DataFrame <- structure(data.frame(Matrix[-1,]),names=Matrix[1,]) ## assuming header is present 
+ DataFrame[] <- lapply(DataFrame,type.convert)     ## automatically convert modes 
+ DataFrame 
+ } 
> 
> example <- "a#*&b#*&c 
+ 1#*&2#*&3 
+ 4#*&5#*&6" 
> 
> read.multisep(textConnection(example),sep="#*&") 
    a b c 
1 1 2 3 
2 4 5 6