scrapy

    0熱度

    1回答

    如果我的問題太瑣碎了,但是我今天早上從牆背後開始,我很抱歉...我是scrapy的新手,我已經閱讀了文檔, t上找不到我的答案... 我寫了這個蜘蛛,當我在rules = (Rule(LinkExtractor(), callback='parse_body'),)稱之爲parse_body,它的作用: tchatch = response.xpath('//div[@class="Product

    0熱度

    1回答

    因此,我正在從事一個網絡抓取項目,主要從20+列表中抽取一堆產品信息(如價格,位置,名稱等)網站...到目前爲止,我已經創建了一個通用的MasterSpider(類似於這裏討論的:Creating a generic scrapy spider),從中我可以繼承和重寫,具體取決於網站的特定體系結構。但是,在基本上重複了很多代碼並希望使這個項目可擴展後,我開始致力於將我的MaterSpider概括爲

    0熱度

    1回答

    ,如果你有一個包含sitemap.xml的: abc.com/sitemap-1.xml abc.com/sitemap-2.xml abc.com/image-sitemap.xml 我怎樣寫sitemap_follow僅讀取地圖-XXX的站點地圖,而不是像sitemap.xml的? 我試過 ^sitemap 沒有運氣。我該怎麼辦?否定「形象」?怎麼樣? 編輯: Scrapy代碼:

    0熱度

    1回答

    我想抓取優惠券網站的優惠券,但是當我 試圖運行爬蟲它顯示error.Please幫助。 謝謝。 import scrapy from scrapy.http import Request from scrapy.selector import HtmlXPathSelector from scrapy.spider import BaseSpider class CuponationSpi

    0熱度

    2回答

    這裏: IMDB scrapy get all movie data response.xpath( 「// * [@類= '結果']/TR/TD [3]」) 返回空列表。我試圖將它改變爲: response.xpath( 「// * [含有(@類, '圖表全寬度')]/tbody的/ TR」) 沒有成功。 請幫忙嗎?謝謝。

    0熱度

    1回答

    我目前正試圖讓scrapy運行代碼來刮擦網站,然後將數據寫入MySQL。我一直在尋找如何解決我的問題小時,但我得到以下錯誤,當我運行它: File "/Users/USER/anaconda/lib/python3.5/site-packages/MySQLdb/init.py", line 19, in module import _mysql ImportError: dlopen(/User

    1熱度

    1回答

    我的Scrapy蜘蛛運行良好。 我需要做的是從解析方法內部進行API調用,並使用相同方法的相同方法使用響應結果。我該怎麼做呢?唯一簡單的想法是使用python請求庫,但我不確定這是否適用於scrapy,而且在scrapinghub。有沒有內置的解決方案? 這裏是一個例子。 def agency(self, response): # inspect_response(response, s

    0熱度

    1回答

    我在這方面搜索了很多,它可能有一個簡單的解決方案,我錯過了。 我已經在我的本地機器和我的服務器上安裝了scrapy + scrapyd。當我嘗試成爲「維修人員」時,他們都可以工作。 我可以在沒有問題的情況下部署到本地,我也可以從瀏覽器訪問localhost:6800,並且可以在本地運行蜘蛛。 上遠程運行scrapyd後,我試圖從我的本地PC部署到http://remoteip:6800/有一樣我沒

    0熱度

    1回答

    正如標題所示,我想構建一個應用程序,存儲用戶視頻標題信息和持續時間,並使用Scrapy存儲它。 使用BeautifulSoup來解析HTML源代碼相對容易,但在處理上傳了大量視頻的Youtube用戶頁面時,我認爲不可能使用BeautifulSoup。 任何幫助,將不勝感激。

    0熱度

    1回答

    我開始學習如何使用Scrapy www.scrapy.org。 我的問題是,我試圖從另一個鏈接內的鏈接提取信息。 流程是這樣的: 我們進入www.imdb.com,然後對監視列表> IMDbtop250菜單點擊,在那之後我們最終會在http://www.imdb.com/chart/top,我們會發現一個列表電影; 我想輸入每個有這樣的鏈接的電影www.imdb.com/title/tt01111