screen-scraping

3熱度

1回答

我試圖從多個網站上取消信息。 <div class="detailSection"> Officer/Director Detail Name & Address Title VD

0熱度

1回答

如何獲取給定維基百科頁面的每日或每週編輯統計信息

我想知道是否有網站（或程序方法）獲取給定維基百科頁面的每週編輯統計信息。我知道我可以在這裏獲得維基百科文章的流量統計信息：http://stats.grok.se/，但我不知道Wikipedia是否以相同的方式記錄編輯統計信息。我已經發現這個網頁，它生成一個網頁的編輯歷史的圖表按周：https://tools.wmflabs.org/xtools/wikihistory/wh.php?page_

1熱度

1回答

Python：刮的網站沒有返回任何HTML

所以我有一個問題，抓取一個頁面的HTML由於某種原因，當我發送請求到網站，然後使用html.fromstring(site.content)它抓住了一些頁面的HTML，但其中一些只是打印出來<Element html at 0x7f6359db3368> 這是有原因嗎？我能做些什麼來解決這個問題？這是一種安全性嗎？此外，我不希望使用的東西像美麗的湯或Scapy的尚未..我想多學習一些之前我決定搞這

0熱度

1回答

使用硒通過window.open下載文件

我想刮一個網頁，點擊一個鏈接導致一個新的窗口彈出打開，立即下載CSV文件。我一直無法找出url的格式，因爲它的javascript相當密集（並且通過onClick屬性調用了一個函數，而另一個函數是href屬性的一部分。我之前沒有和Selenium一起工作過，所以我希望在開始之前確認我想要做的事情是可能的我曾經在某處讀過通過新的彈出窗口下載文件並不一定是我可以用Selenium做的事情任何意見都將

0熱度

2回答

用查詢刮網站

我想從特定的網站或整個網絡上颳去期刊的影響因子。我一直在尋找一些接近但很難運氣的東西。這是我第一次嘗試使用python進行網頁掃描。我試圖找到最簡單的方法。我有一個屬於期刊的ISSN號碼列表，我想從網站或特定網站檢索它們的影響因子值。該列表的值超過50K，因此手動搜索值實際上很難。輸入型 Index,JOURNALNAME,ISSN,Impact Factor 2015,URL,ABBV,S

1熱度

1回答

屏幕抓取iTunes Connect的：獲得通過

登錄頁面進行屏幕抓取後iTunes Connect中數據，我試圖讓過去使用Python的，請求，BeautifulSoup其登錄。這是iTunes Connect的登錄頁面： https://itunesconnect.apple.com/itc/static/login 通常情況下，開始在其他網站的屏幕抓取，我能夠從網頁的隱藏內容抓取一個令牌通過登錄來獲得然後我可以使用憑據進行登錄，從而允許網

1熱度

1回答

硒Internet Explorer的駕駛者希望功能錯誤

我建立我的第一個硒刮刀，和我得到的錯誤：異常線程「main」 org.openqa.selenium.SessionNotCreatedException：無法創建新的遠程會話。所需的能力=能力[{ensureCleanSession = TRUE，browserName = IE瀏覽器，版本=，平臺= WINDOWS}]，要求的能力=能力[{}] 以下代碼： import java.io.*

0熱度

3回答

如何使用python從網站刮圖表？

編輯：所以我有以下保存到一個文本文件，但使用重新提取數據仍然不返回我什麼腳本代碼。我的代碼是： file_object = open('source_test_script.txt', mode="r") soup = BeautifulSoup(file_object, "html.parser") pattern = re.compile(r"^var (chart[0-9]+) = n

0熱度

1回答

C＃HTTPClient表單發佈和提交問題

我想用一個簡單的表單來簡化我的工作的研究部分來做一些簡單的PHP網站刮屏幕。該頁面有三個字段的簡單表單和一個提交按鈕。當我運行我的代碼時，返回原始頁面，就像我沒有提交任何內容。我也嘗試在php url之後將其粘貼到字段中作爲？name = etc ...，但是這也會使我返回到原始頁面，就好像我沒有按下提交按鈕一樣。這裏是我當前的代碼： private async void postReques

0熱度

1回答

只是一對夫婦循環後刮開宏凍結

我有一個刮過的宏，以前工作得很好，現在只是一個循環（有時是一個）後凍結。我已經完成了我所能想到的優化宏而不佔用太多CPU。對於宏爲什麼會像這樣凍結，我完全困惑不解。我的代碼如下，任何提示或批評將不勝感激！ Application.DisplayStatusBar = True Application.Calculation = xlCalculationManual Application.S