screen-scraping

    0熱度

    1回答

    我需要能夠以編程方式讀或刮擦該URL的內容: https://www.toysrus.com/product?productId=122872496 我試過設置用戶代理,餅乾,各種。我也試着在Chrome「複製爲捲曲」從開發者工具 - 命令>網絡,這給下面捲曲bash命令: curl 'https://www.toysrus.com/product?productId=122872496' -H

    2熱度

    1回答

    我在python上使用了splinter模塊。我需要檢查一個元素是否可見或不在頁面上,看似唯一的告訴方法是style="display: none;",我無法找到一種方法來檢測。 如何檢查?

    -1熱度

    2回答

    IM試圖從tr標籤的國家,但它只是給我的表的第一行我怎麼刮的特定行 Sub ipsearch() Dim x As Integer x = 2 Do Until x = 4000 Dim ie As New InternetExplorer ie.navigate "https://whatismyipaddress.com/ip/" &

    2熱度

    1回答

    我是Python的新手,我正在使用BeautifulSoup編寫Python中的一個小刮板,以便從網頁獲取地址。我重視的是 enter image description here </div> </div> <div data-integration-name="redux-container" data-payload='{"name":"LocationsMapList"

    0熱度

    1回答

    我試圖從Facebook配置文件中取消基本信息。我的最終目標是通過使用casperjs來獲得例如某人的年齡(如果信息可以在臉書上獲得)。 所以我安裝了Casper.js。 我開始填寫密碼和郵件以便第二次訪問搜索字段。 但是: ReferenceError: Can't find variable: casper phantomjs://code/scrapin.js:1 in global cod

    0熱度

    1回答

    我是新來的蟒蛇,我想從我最喜歡的電臺網站得到一些歌名,但無論我做什麼,我不能進入div ui-view="main.header" class="ng-scope"得到歌曲名。 我的代碼,我可以從TXT只是div的第一層次閱讀,但不深: <div id="audio-player" style="width: 0px; height: 0px"></div> <div id="fb-root">

    1熱度

    2回答

    require(httr) require(XML) basePage <- "http://bet.hkjc.com/" h <- handle(basePage) GET(handle = h) res <- GET(handle = h, path = "racing/pages/odds_wp.aspx?date=27-09-2017&venue=HV&raceno=2") r

    0熱度

    2回答

    我想根據網頁的sitemap.xml創建一個抓取網址的蜘蛛。所以我沒有start_urls。我想確定使用sitemap.xml刮掉哪些網址。 我曾考慮添加方法_parse_sitemap並使用requests和lxml解析它,但它可能是一種矯枉過正。 是否有一些內置方法可以獲得<loc>標籤中的所有url? 我迄今所做的: 蜘蛛得到一個URL和meta = {'sitemap':True}如此分析

    0熱度

    1回答

    我搜索了上下,但找不到任何解決方案,適合於此目的。 我想湊這個頁面(表) https://www.fxstreet.com/rates-charts/usdjpy/forecast 我試過幾種方法,但不能得到報廢到一個表中的數據。 library(XML) library(RCurl) url <-"https://www.fxstreet.com/rates-charts/usdjpy/f

    0熱度

    1回答

    我對js知之甚少,我試圖創建一個程序,可以在播放時獲取有關基於瀏覽器的JavaScript遊戲的信息。我不能使用網絡驅動程序,因爲我當時正在玩遊戲。 當我檢查谷歌瀏覽器上的js並查看控制檯時,我可以看到我想要使用的所有信息,但我不知道如何將它保存到文件或在當時訪問它以解析它。最好我可以用python來做到這一點,因爲這將是我將用於我的代碼,一旦我有它的信息將處理。 任何幫助或在正確的方向的一個點,