screen-scraping

0熱度

2回答

我正在閱讀在python中使用beautifulSoup的網頁。許多元素都是跨度，但其類屬性的值不同。例如 Value1 = property.findChild("span", {"class" : "search-result-Val1"}).text Value2 = property.findChild("span", {"class" : "search-result-Val2"})

0熱度

2回答

匹配兩個標籤之間的所有文本？用beautifulsoup4，還是有更好的答案？

我想匹配的HTML是這樣的...... ...  Paragraph 1<br><br> Paragraph 2<br><br>  ... 我刮該網站是舊的，所以從頁面到頁面可以從BR的改變段落標記等，這是一團糟，唯一可以肯定的是，我需要的所有內容都在開始主體和結束主體評論標籤之間。這樣做的最好方法是什麼？我應

0熱度

1回答

機械化得到403錯誤是由於robots.txt的，但robots.txt的塊沒有

我在和小康的幾天得到這個錯誤，首先是一種刮： mechanize._response.httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt 然而，機器人該網站的.TXT寫着： User-agent: * Disallow: 據this source，如果網站被關閉，以這種訪問，robots.txt

0熱度

1回答

無法找出如何處理此練習#R刮＃提取網頁數據

因此，有時我需要從網上獲取一些數據，將其組織成一個數據框，並浪費大量時間手動完成。我一直在試圖弄清楚如何優化這個過程，並且我嘗試了一些R的方法，但是無法做到這一點，我認爲可以有一個更簡單的方法來做到這一點，任何人都可以幫助我出去了嗎？虛構的鍛鍊：這裏是由大陸上市國家的網頁：https://simple.wikipedia.org/wiki/List_of_countries_by_contin

0熱度

1回答

Python：我如何根據是否發生錯誤來定義變量？

基本上，我正在做一些網站與硒的刮，並需要定義一個變量，如果沒有錯誤發生，或另一件事情，如果發生錯誤。段： try: raw_cc_timeframe = driver.find_element_by_xpath("//*[@id='nearbyStore']/div/div/div/div/div/div/ul/li[1]/div[1]/p") cc_timeframe

-2熱度

1回答

我正在尋找Vimeo頻道中所有視頻的名稱和網址。這可能嗎？

我正在建立一個網站，視頻講道位於Vimeo頻道......數百人。我想從視頻標題和網址中獲取此頻道中的視頻。任何想法？非常感謝！

-1熱度

1回答

HTML Text Scraping

我是網絡小說的狂熱讀者。我主要在我的手機上閱讀。令我煩惱的不是每個網站都有一個黑暗/光線切換器，沒有無襯線/襯線字體切換器，和/或可以選擇更改字體大小。有些網站甚至沒有下一個/上一個章節按鈕。所以我的計劃是製作一個我自己的小網站，我可以一個接一個地閱讀我想要的所有選項。現在我知道如何更改主題，切換字體和大小。然而，讓章節自己被證明是相當困難的。首先，我想使用jquery，但雖然我可以更改寬度，高

1熱度

2回答

我怎麼能隱藏我的HTML中的一些具體的價值

我想隱藏我的價值，以防止HTML刮。我正在使用PHP，並在foreach循環中構建此表。 <table> <tr> <td>value 1</td> <td>value 2</td> </tr> </table> 你有什麼建議可以阻止人們竊取我的數據嗎？

2熱度

1回答

如何從一個頁面跳轉到另一個，而刮搜索查詢

package scraper; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class Scraper { p

0熱度

1回答

當url不改變時，使用Selenium在多個頁面上刮取表格

我一直在嘗試編寫一個程序來從www.whoscored.com中刮取統計信息並創建一個熊貓數據框。我已經更新了crookedleaf的幫助的代碼，這是工作代碼： import time import pandas as pd from pandas.io.html import read_html from pandas import DataFrame from selenium im