scrape

0熱度

1回答

我目前正在嘗試使用Powershell從特定網站中抓取鏈接頁面。已經打破了當前代碼的變體，但它是必不可少的。我正在嘗試獲取搜索谷歌搜索結果的URL。我添加了下面的截圖來解釋我希望抓住的東西。我到目前爲止有以下代碼是將文本轉換到一個成功的搜索，並正在爲expected.however當與調用-的WebRequest我沒有得到任何有意義的結果調用。當使用帶有鏈接的瀏覽器時，它的工作很成功 func

0熱度

1回答

有R或Python

刮superliga.dk我有一些麻煩，從以下方面scrabing數據： http://www.superliga.dk/kamp/2016-2017/november/esbjerg-fb-aab 我想獲得所有的統計信息。但是由於它們不是永久的，而是從其他地方「拉」數據，所以我不知道如何繼續。我習慣於R中的「rvest」包和Python中的「requests」。任何人都可以幫助或給我一些提示

0熱度

1回答

使用VBA提取特定的HTML onclick事件

我正在尋找你們的幫助，因爲我遇到了一個很大的問題，我無法解決並在互聯網上找到任何幫助。我有這樣的代碼： <span class="test taLnk hvrIE6" onclick="ta.trackEventOnPage('Hotel_Review' ,'URL_HOTEL|text|2||', '74682', 0, false); ; ta.trackEve

0熱度

1回答

刮下頁XHR請求

我想刮這個用戶的第二頁reviews。但是，下一個按鈕執行XHR請求，雖然我可以使用Chrome開發人員工具查看它，但我無法複製它。

-1熱度

2回答

如何從網站上抓取信息？

我是VBA和html編碼的新手。如果我不瞭解基本術語或錯誤地使用它們，我很抱歉。我期待在excel中創建和運行一個宏，這樣可以使我的工作變得更容易。從本質上講，我需要從一個房地產網站上獲取大量信息。這包括地址，標價，上市代理，拍賣日期（如果有的話）等。我花了最近4個小時閱讀所有關於網頁抓取的內容，我理解這些流程，我只是不知道如何編碼。根據我讀過的內容，我需要編寫一個代碼來自動打開網站，強制等待直到

-3熱度

1回答

JavaScript函數同步抓取HTML和JS

是否有一個庫支持如下的同步JavaScript函數？ function getPageHTML(url){ // scrape HTML from external web page return html; } function getPageJS(url){ // scrape final JavaScript variable results from e

0熱度

2回答

從鏈接下載xlsx並導入到r

我知道在這個主題上有很多帖子，我通常能夠完成我想要的東西，但我在這個特定鏈接中遇到了麻煩。這很可能與excel文件的非正統佈局有關。這是我的工作流程： library(rest) url<-"http://irandataportal.syr.edu/wp-content/uploads/3.-economic-participation-and-unemployment-rates-for-p

0熱度

1回答

Scrapy發送條件從start_requests（自我）解析

根據Im挖掘的項目類型，我颳了一個具有不同行的網站。我有一個看起來像下面的1st blockcode的工作刮刀，但是，我希望能夠從數據庫中取出一個類型並從start_requests（self）發送到解析函數。我有11種不同的類型，在頁面的某個部分，所有的表都有不同的行數，而頁面上其他表中的其餘行是相同的。我試圖顯示第二個代碼中的代碼。我該如何在start_requests中從數據庫中取出類型並

1熱度

1回答

從data.gov.uk颳去數據/正則表達式

我想弄清楚我應該用什麼正則表達式來從gov.uk網站上刮取一些數據。基本上，我使用的的file_get_contents以下網址： https://www.compare-school-performance.service.gov.uk/?keywords=[SCHOOL-NAME]&suggestionurn=&searchtype=search-by-name 作爲示例 - 本+城堡+學校

1熱度

2回答

Node.js：請求頁面並允許頁面在構建之前構建

我已經看到了一些將這個askee引用到其他庫（如phantom.js）的答案，但我在這裏想知道它是否在所有可能的只是在node.js中做到這一點？考慮到我的代碼如下。它請求一個使用request的網頁，然後使用cheerio它探索了dom到scrape的數據頁面。它的工作完美無缺，如果一切按計劃進行，我相信它會輸出一個我想像中的文件。問題是，page I am requesting爲了湊，建表