如何刮這個squawka頁面？

Question

我試圖以提取下列信息：

在頁面

http://epl.squawka.com/stoke-city-vs-arsenal/01-03-2014/english-barclays-premier-league/matches

按下紅色「完整統計」按鈕，打開一個含有菜單（左側）按鈕「十字架」。在屏幕的右側打開一個帶有19個箭頭的足球場的圖像，這些是Stoke-Arsenal比賽中Stoke的十字路口。它們是彩色編碼的，紅色=未完成，綠色=已完成，黃色=關鍵傳球。 當你點擊一個箭頭時，它會告訴你誰是誰傳球並在比賽的哪一分鐘。 此外，箭頭顯示了球員在傳球時的位置以及球員被傳球的位置。

我希望能夠湊這個頁面，這樣我得到一個表中的列：

團隊;名稱的發送者;位置的發送者;位置的接收器;分鐘;顏色的箭頭

這是斯托克做的交叉傳球，我也想自動地重複這個阿森納（因此，在上表中的「俱樂部」列）。

儘管我過去曾經刮過網頁，但這些網頁都是靜態的，相當直接的頁面，我對如何從這個頁面上刮取信息完全傻眼了。 我真的很感謝如何刮掉剛剛描述的數據。我對R很熟悉，所以我會特別欣賞能夠幫助我在R中實現這一目標的代碼，但我也非常感謝使用其他語言或軟件的幫助。

謝謝 彼得

Answer 1

彼得的人表示可以用硒做到這一點。我也喜歡用優秀的selectr package 這個想法是簡單地與網站互動，然後在其他地方做。 squawkData應該包含所需的一切。

# RSelenium::startServer() # if needed 
require(RSelenium) 
remDr <- remoteDriver() 
remDr$open() 
remDr$setImplicitWaitTimeout(3000) 
remDr$navigate("http://epl.squawka.com/stoke-city-vs-arsenal/01-03-2014/english-barclays-premier-league/matches") 
squawkData <- remDr$executeScript("return new XMLSerializer().serializeToString(squawkaDp.xml);", list()) 
require(selectr) 
example <- querySelectorAll(xmlParse(squawkData[[1]]), "crosses time_slice") 
example[[1]] 


<time_slice name="0 - 5" id="1"> 
    <event player_id="531" mins="4" secs="39" minsec="279" team="44" type="Failed"> 
    <start>73.1,87.1</start> 
    <end>97.9,49.1</end> 
    </event> 
</time_slice> 

免責聲明我是RSelenium軟件包的作者。操作的基本小貼士可以在RSelenium basics和 RSelenium: Testing Shiny apps查看。

進一步信息可以很容易地使用selectr訪問：

> xmlValue(querySelectorAll(xmlParse(squawkData[[1]]), "players #531 name")[[1]]) 
[1] "Charlie Adam" 

> xmlValue(querySelectorAll(xmlParse(squawkData[[1]]), "game team#44 long_name")[[1]]) 
[1] "Stoke City" 

UPDATE：
要處理例如成數據幀，你可以這樣做

out <- lapply(example, function(x){ 
# handle each event 
    if(length(x['event']) > 0){ 
    res <- lapply(x['event'], function(y){ 
     matchAttrs <- as.list(xmlAttrs(y)) 
     matchAttrs$start <- xmlValue(y['start']$start) 
     matchAttrs$end <- xmlValue(y['end']$end) 
     matchAttrs 
    }) 
    return(do.call(rbind.data.frame, res)) 
    } 
} 
) 

> head(do.call(rbind, out)) 
     player_id mins secs minsec team type  start  end 
event   531 4 39 279 44 Failed 73.1,87.1 97.9,49.1 
event5  311 6 33 393 31 Failed 92.3,13.1 93.0,31.0 
event1  376 8 57 537 31 Failed 97.7,6.1 96.7,16.4 
event6  311 13 50 830 31 Failed 99.5,0.5 94.9,42.6 
event11  311 14 11 851 31 Failed 99.5,0.5 93.1,51.0 
event7  311 17 41 1061 31 Failed 99.5,99.5 92.6,50.1