。如何在網站上保存內容？

Question

在我最近的研究文本挖掘。

這是我的R代碼裏面：

data <- list() 
for(i in 0:8){ 
    tmp <- paste('&page=', i, sep = '') 
    url <- paste('http://bbs.cyut.edu.tw/TopicClassList.aspx?ClassID=5', tmp, sep='') 
    html <- htmlParse(getURL(url)) 
    url.list <- xpathSApply(html, "//table/tr[@style='height: 30px; font-size: small']/td/a[@href]", xmlAttrs) 
    url.list <- url.list[-2,] 
    data <- rbind(data, paste('http://bbs.cyut.edu.tw/', url.list, sep='')) 
} 
data <- unlist(data) 

getwd() 
setwd("C:/Users/user/Documents/doc4") 

content_list <- list() 
url_temp <- strsplit(data, '=') 
id_list <- list() 
for (i in 1:length(url_temp)){ 
    id_list[[i]] <- url_temp[[i]][2] 
} 

getdoc <- function(line){ 
    for (i in 1:length(id_list)) { 
    start <- regexpr('bbs', line)[1] 
    end <- regexpr(id_list[i], line)[1] 

    if(start != -1 & end != -1){ 
     url <- substr(line, start, end+3) 
     html <- htmlParse(getURL(url), encoding='UTF-8') 
     doc <- xpathSApply(html, "//span", xmlValue) 
     name <- strsplit(url, '/')[[1]][3] 
     content_list[[i]] <- doc 
     write(doc, paste0(name, ".txt")) 
    }  
    } 
} 

sapply(data, getdoc) 

的url_temp擁有所有URL。
我嘗試在變量id_list中輸入一個URL。

但content_list並不存在所有內容。錯誤在哪裏？ 我該如何解決？

Answer 1

我已解決。

供大家參考。

有我的代碼：

content_list <- list() 
url_temp <- strsplit(data, '=') 
id_list <- list() 
for (i in 1:length(url_temp)){ 
    id_list[[i]] <- url_temp[[i]][2] 
} 

getdoc <- function(line){ 
    for (i in 1:length(id_list)) { 
    start <- regexpr('bbs', line)[1] 
    end <- regexpr(id_list[i], line)[1] 

    if(start != -1 & end != -1){ 
     url <- substr(line, start, end+3) 
     html <- htmlParse(getURL(url), encoding='UTF-8') 
     doc <- xpathSApply(html, "//span", xmlValue) 
     name <- strsplit(url, '/')[[1]][3] 
     content_list[[i]] <- doc 
     lapply(content_list, write, "corpus.txt", append=TRUE, ncolumns=10000) 
    }  
    } 
}