刮掉NBA.com的數據

我試圖從http://stats.nba.com/team/#!/1610612742/刮掉關於名單數據的數據。到目前爲止，我已經試過RCurl和XML封裝，心中已經試過代碼如下：刮掉NBA.com的數據

library(RCurl) 
library(XML) 
webpage <- getURL("http://stats.nba.com/team/#!/1610612742/") 
webpage <- readLines(tc <- textConnection(webpage)); 
pagetree <- htmlTreeParse(webpage, useInternalNodes = TRUE) 
x <- unlist(xpathApply(pagetree,"//*nba-stat-table_overflow/player",xmlValue)) 
Content <- gsub(pattern = "([\t\n])", 
      replacement = " ", x = x, ignore.case = TRUE)

我相信我的xpathApply功能被誤格式化。我應該選擇什麼樣的路徑才能進入名單表？

來源

2017-02-18 Tim Sauchuk

它看起來像通過JavaScript以某種方式加載數據，這意味着你需要拉動HTML像RSelenium，它可以控制瀏覽器實際運行必要的腳本。 [這是一個例子。]（http://stackoverflow.com/a/41497119/4497050）當然，一定要閱讀條款和條件;他們是相當慷慨的，但非常具體的如何使用他們的統計數據。 – alistaire

我很抱歉，這只是一個網上抓取作業的作業 –

沒有道歉的必要;這不是最簡單的頁面。維基百科是一個更容易實踐的網站。 – alistaire

你可以這樣做：

require(rvest) 
require(httr) 
require(purrr) 


ses <- html_session("http://stats.nba.com/team/#!/1610612742/", 
        user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36")) 
doc <- ses %>% jump_to("http://stats.nba.com/stats/commonteamroster?LeagueID=00&Season=2016-17&TeamID=1610612742") 
res <- content(doc$response, "parsed") 

res$resultSets[[1]]$rowSet %>% 
    map_df(~as.data.frame(t(.))) 

#   V1 V2 V3     V4 V5 V6 V7 V8   V9 V10 V11    V12  V13 
#1 1610612742 2016 00  Justin Anderson 1 G-F 6-6 228 NOV 19, 1993 23 1   Virginia 1626147 
#2 1610612742 2016 00   J.J. Barea 5 G 6-0 185 JUN 26, 1984 32 10  Northeastern 200826 
#3 1610612742 2016 00  Andrew Bogut 6 C 7-0 260 NOV 28, 1984 32 11    Utah 101106 

res$resultSets[[2]]$rowSet %>% 
    map_df(~as.data.frame(t(.))) 

#   V1 V2  V3  V4  V5    V6    V7 V8          V9 
#1 1610612742 2016 CAR107961 Rick Carlisle  Rick Carlisle  rick_carlisle 1        Head Coach 
#2 1610612742 2016 HUN524472 Melvin  Hunt  Melvin Hunt  melvin_hunt 2      Assistant Coach 
#3 1610612742 2016 CAN081621 Kaleb Canales  Kaleb Canales  kaleb_canales 2      Assistant Coach

我是怎麼找到這個：

我檢查所有的XHR調用該網站取得，發現它需要一個會話（這就是爲什麼我創建一個使用html_session），並設置一個用戶代理（不知道這是真正需要的...）沒有UA我的要求就卡住了> 30秒......