scrape

0熱度

1回答

我試圖在網站上抓取圖像，並將它們下載到本地文件夾中。我正在使用看起來很簡單的碎石機寶石。我已經安裝了它，做了一個scrape.rb，並從終端ruby scrape.rb require 'scrapifier' 'http://www.blog.com'.scrapify(images: :jpg) 這將返回一個哈希與信息跑了，但我想下載的圖片在信息，以一個本地文件夾。有任何想法嗎？謝謝

-1熱度

1回答

PHP file_get_contents是否擦除我的數據庫？

昨天，我正在尋找將信息推送到我正在玩的應用程序中的技術。在我的研究，我碰巧遇到以下PHP腳本： <?php $url = 'http://www.example.com'; $output = file_get_contents($url); echo $output; ?> 我嘗試過了上一個Joomla的網站，我會放在一起前一陣子。很酷。它拉出所有信息

1熱度

1回答

如何設置代理使用dryscrape隱藏我的IP地址以刮取網頁

我有很多活躍的公共代理，我想用它來刮一些頁面。任何人都可以給我一個axample我怎麼可以在dryscrape中設置代理？ https://github.com/niklasb/dryscrape 我試着設置SYS env中HTTP_PROXY Python和沒有工作。

2熱度

1回答

POST URL通過Python請求編碼與基於行的文本數據

我試圖從網站上刮取一些數據，但無法使POST正常工作，它的行爲好像我沒有給它輸入數據（「應用筆記」）。當我檢查POST數據時，除了實際的webform的POST被稱爲「URL Encoded」並列出每個表單輸入，而我的標記爲「基於行的文本數據」外，它看起來相同。這裏是我的代碼：（應用筆記）和搜索（搜索）是最相關的作品，我需要 import requests import cookielib

0熱度

1回答

刮一個頁面的所有URL

我有一個片段，可以在URL中成功抓取圖像，事情是，我想從各種網站收集大量圖像，並且我不能每次都手動放置URL 。由於我是新手，所以你們怎麼面對這個？什麼是颳去每個網址的最佳方式？我需要URL中的CSV或其他東西嗎？它是自動的嗎？我的腳本 URL = 'http://www.sitasde.com' require 'rubygems' require 'nokogiri

0熱度

2回答

使用DOMDocument獲取標題標記值

我想爲我的網站的所有頁面獲取<title>標記的值。我試圖只在我的網站域上運行腳本，並獲取我網站上的所有頁面鏈接以及它們的標題。這是我的代碼： $html = file_get_contents('http://xxxxxxxxx.com'); //Create a new DOM document $dom = new DOMDocument; //Parse the HTML. Th

0熱度

1回答

下頁入門價格從亞馬遜使用XPath

： http://www.amazon.com/Jessica-Simpson-Womens-Double-Breasted/dp/B00K65ZMCA/ref=sr_1_4_mc/185-0705108-6790969?s=apparel&ie=UTF8&qid=1413083859&sr=1-4 我試圖讓價格與表達 '//span[@id="priceblock_ourprice"]' 但

1熱度

1回答

R：切換<select>選項，提交動作和網站從網站刮沒有<form>標記

我怎樣才能設法從website獲得數據，呈現多個選項，如股票的股票，和開始和結束我想要數據的時期。生成此數據來自該行中的代碼： <td><input name="button" type="button" class="boton" id="button" value="Buscar" onclick="getInf_Cotizaciones('SIDERC1',document.getElem

0熱度

2回答

用PHP抓取JSON

我用Xpath做了很多HTML抓取。但現在我不得不刮掉一些JSON，不知道該怎麼做。我想刮的來源是： { "ASIN" : "B00DR4LYHY", "FeatureName" : "price_feature_div", "Type" : "JSON", "Value" : { "content" :

-1熱度

2回答

PHP：simple_html_dom - 查找範圍內的文本與類

給定一個HTML這樣的： (...) <div class="UserLevel type_2"> <span class="LevelNum">23</span> </div> (...) 如何使用simple_html_dom得到作爲PHP VAR給出有用的部分是類的範圍內LevelNum？感謝