screen-scraping

0熱度

1回答

我需要能夠以編程方式讀或刮擦該URL的內容： https://www.toysrus.com/product?productId=122872496 我試過設置用戶代理，餅乾，各種。我也試着在Chrome「複製爲捲曲」從開發者工具 - 命令>網絡，這給下面捲曲bash命令： curl 'https://www.toysrus.com/product?productId=122872496' -H

2熱度

1回答

Splinter：按風格分類

我在python上使用了splinter模塊。我需要檢查一個元素是否可見或不在頁面上，看似唯一的告訴方法是style="display: none;"，我無法找到一種方法來檢測。如何檢查？

-1熱度

2回答

HTML表格刮使用VBA

IM試圖從tr標籤的國家，但它只是給我的表的第一行我怎麼刮的特定行 Sub ipsearch() Dim x As Integer x = 2 Do Until x = 4000 Dim ie As New InternetExplorer ie.navigate "https://whatismyipaddress.com/ip/" &

2熱度

1回答

如何使用BeautifulSoup獲取Python中的特定內容？

我是Python的新手，我正在使用BeautifulSoup編寫Python中的一個小刮板，以便從網頁獲取地址。我重視的是 enter image description here </div> </div> <div data-integration-name="redux-container" data-payload='{"name":"LocationsMapList"

0熱度

1回答

casperjs /填寫並提交表格在facebook錯誤

我試圖從Facebook配置文件中取消基本信息。我的最終目標是通過使用casperjs來獲得例如某人的年齡（如果信息可以在臉書上獲得）。所以我安裝了Casper.js。我開始填寫密碼和郵件以便第二次訪問搜索字段。但是： ReferenceError: Can't find variable: casper phantomjs://code/scrapin.js:1 in global cod

0熱度

1回答

Python的網上抓div class =「ng範圍」

我是新來的蟒蛇，我想從我最喜歡的電臺網站得到一些歌名，但無論我做什麼，我不能進入div ui-view="main.header" class="ng-scope"得到歌曲名。我的代碼，我可以從TXT只是div的第一層次閱讀，但不深： <div id="audio-player" style="width: 0px; height: 0px"></div> <div id="fb-root">

1熱度

2回答

用R刮，如何提取var

require(httr) require(XML) basePage <- "http://bet.hkjc.com/" h <- handle(basePage) GET(handle = h) res <- GET(handle = h, path = "racing/pages/odds_wp.aspx?date=27-09-2017&venue=HV&raceno=2") r

0熱度

2回答

如何在scrapy蜘蛛中使用url的站點地圖？

我想根據網頁的sitemap.xml創建一個抓取網址的蜘蛛。所以我沒有start_urls。我想確定使用sitemap.xml刮掉哪些網址。我曾考慮添加方法_parse_sitemap並使用requests和lxml解析它，但它可能是一種矯枉過正。是否有一些內置方法可以獲得<loc>標籤中的所有url？我迄今所做的：蜘蛛得到一個URL和meta = {'sitemap':True}如此分析

0熱度

1回答

如何刮這個網頁與R

我搜索了上下，但找不到任何解決方案，適合於此目的。我想湊這個頁面（表） https://www.fxstreet.com/rates-charts/usdjpy/forecast 我試過幾種方法，但不能得到報廢到一個表中的數據。 library(XML) library(RCurl) url <-"https://www.fxstreet.com/rates-charts/usdjpy/f

0熱度

1回答

如何在正常使用網頁的同時抓取javascript？

我對js知之甚少，我試圖創建一個程序，可以在播放時獲取有關基於瀏覽器的JavaScript遊戲的信息。我不能使用網絡驅動程序，因爲我當時正在玩遊戲。當我檢查谷歌瀏覽器上的js並查看控制檯時，我可以看到我想要使用的所有信息，但我不知道如何將它保存到文件或在當時訪問它以解析它。最好我可以用python來做到這一點，因爲這將是我將用於我的代碼，一旦我有它的信息將處理。任何幫助或在正確的方向的一個點，