使用rvest或httr登錄到網頁上的非標準表單

Question

我正在嘗試使用rvest來抓取表單上需要電子郵件/密碼登錄的網頁。

rm(list=ls()) 
library(rvest) 

### Trying to sign into a form using email/password 

url  <-"http://www.perfectgame.org/" ## page to spider 
pgsession <-html_session(url)    ## create session 
pgform <-html_form(pgsession)[[1]]  ## pull form from session 

set_values(pgform, `ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com") 
set_values(pgform, `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") 

submit_form(pgsession,pgform,submit=`ctl00$Header2$HeaderTop1$Button1`) 

這使我有以下錯誤信息：

Error in submit_request(form, submit) : 

對象ctl00 $頭2 $ HeaderTop1 $ Button1的'未找到

如果我提交表單不指定提交的參數，我得到這個：

Submitting with 'ctl00$Header2$HeaderTop1$Button1' 
Error in function (type, msg, asError = TRUE) : <url> malformed 

我也試着將參數直接傳遞給httr，如上所述在這個問題：How can I POST a simple HTML form in R?，但「提交」參數不接受要麼向後引號（``），引號提交按鈕，或者不帶任何引號：

library(httr) 

url <- "http://www.perfectgame.org/Rankings/Players/Default.aspx?gyear=2015&num=500" 

fd <- list(
    submit = `ctl00$Header2$HeaderTop1$Button1`, 
    `ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com", 
    `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") 

resp<-POST(url, body=fd, encode="form") 
content(resp) 

對我如何可以登錄任何想法從R會話中抓取登錄牆後面的數據？

Answer 1

您的rvest代碼未存儲修改過的表單，因此在您的示例中，您只是提交原始pgform而未填寫值。嘗試：

library(rvest) 

url  <-"http://www.perfectgame.org/" ## page to spider 
pgsession <-html_session(url)    ## create session 
pgform <-html_form(pgsession)[[1]]  ## pull form from session 

# Note the new variable assignment 

filled_form <- set_values(pgform, 
    `ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com", 
    `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") 

submit_form(pgsession,filled_form) 

而我現在看到一個很好的200狀態碼響應而不是錯誤。請注意，因爲所需的提交按鈕看起來是第一個提交按鈕，所以我們不需要將其作爲參數提供，否則我們只會給它一個字符串（直引號，而不是後引號）。