2012-02-06 30 views
0

我已經回到這個項目(網頁抓取動態內容),我跟着本教程,但我無法完成它。通過Scrapy下載動態webcontent(python 2.7)

我使用Python 2.7與scrapy框架0.14

隨着我的項目,獲得的數據顯然是最重要的一點,我來了解技術來刮即拉下使用Ajax動態數據的網站,但是在這個例子中,我無法真正下載圖像。

刮刀與命令運行(輸入cmd.exe在Windows 7):

scrapy runspider nasa.py

,但它實際上並沒有下載任何東西(只解析數據)

我錯過了什麼嗎?這是我第一次進入非初學者領域的真正的編程項目,我當然迷了路。

這是教程:

Scraping ajax with Scrapy

上正確的代碼的任何意見,允許腳本將圖像下載到本地存儲?

謝謝:)

回答

1
在setting.py

在您的項目添加

IMAGES_STORE = 'you dir path where you want to download images' 
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline 

限定image_urls

添加圖片網址,您在image_urls#應該是視爲您的程序

012中的列表

suggested study

+0

乾杯,這是一個很好的正確方向。 :) – Joseph 2012-02-07 01:13:00