JSON到R數據挖掘

Question

我想抓住使用Topsy Otter api的推文，所以我可以對它進行一些數據挖掘以供我的論文使用。

到目前爲止，我有：

library(RJSONIO) 
library(RCurl) 
tweet_data <- getURL("http://otter.topsy.com/search.json?q=PSN&mintime=1301634000&perpage=10&maxtime=1304226000&apikey=xxx") 
fromJSON(tweet_data) 

工作正常。然而，現在我想從這個文件'content'和'trackback_date'返回一些細節。我似乎無法弄清楚 - 我曾嘗試過幾個例子，但無法提取我想要的東西。

這是我到目前爲止已經試過：

trackback_date <- lapply(tweet_data$result, function(x){x$trackback_date}) 

content <- lapply(tweet_data$result, function(x){x$content}) 

任何幫助將不勝感激，謝謝。

編輯 我也曾嘗試：

library("rjson") 
# use rjson 

tweet_data <- fromJSON(paste(readLines("http://otter.topsy.com/search.json?q=PSN&mintime=1301634000&perpage=10&maxtime=1304226000&apikey=xxx"), collapse="")) 
# get a data from Topsy Otter API 
# convert JSON data into R object using fromJSON() 

trackback_date <- lapply(tweet_data$result, function(x){x$trackback_date}) 

content <- lapply(tweet_data$result, function(x){x$content}) 

Answer 1

玩轉水獺API響應的基本處理：

library(RJSONIO) 
library(RCurl) 
tweet_data <- getURL("http://otter.topsy.com/search.json?q=PSN&mintime=1301634000&perpage=10&maxtime=1304226000&apikey=xxx") 

# 
# Addition to your code 
# 
tweets <- fromJSON(tweet_data)$response$list 
content <- sapply(tweets, function(x) x$content) 
trackback_date <- sapply(tweets, function(x) x$trackback_date) 

編輯：處理多頁

功能得到100個項目從指定的page：

pagetweets <- function(page){ 
    url <- paste("http://otter.topsy.com/search.json?q=PSN&mintime=1301634000&page=",page, 
       "&perpage=100&maxtime=1304226000&apikey=xxx", 
       collapse="", sep="") 
    tweet_data <- getURL(url) 
    fromJSON(tweet_data)$response$list 
} 

現在，我們可以把它應用到多個頁面：

tweets <- unlist(lapply(1:10, pagetweets), recursive=F) 

而且，瞧，這個代碼：

content <- sapply(tweets, function(x) x$content) 
trackback_date <- sapply(tweets, function(x) x$trackback_date) 

回報你1000條記錄。