scrapy-shell

0熱度

1回答

我要去湊 https://movie.douban.com/subject/1292052/此頁面但是URL重定向到 http://m.douban.com/movie/subject/1292052 我怎麼會回到第一頁，並使用第一頁的解析方式（xpath）繼續？謝謝！

1熱度

1回答

NotSupported：不支持的URL方案''：沒有處理程序可用於該方案

我想抓取這個網站，但得到'不支持：不支持的URL方案''：沒有處理程序可用於該方案'這個錯誤。如果規則沒有錯，爲什麼會出現這個問題，你的建議是什麼，請幫助我。非常感謝。代碼是在這裏： from scrapy.spiders import CrawlSpider, Rule, BaseSpider from scrapy.linkextractors import LinkExtractor

0熱度

1回答

使用scrapy更改HTML元素的值

我想從此網站上抓取數據：Website link。我想從特定日期下載所有PDF文件。雖然我已經設法從第一頁獲取文件並正確下載它們，但我無法更改日期，因此我可以返回到以前的日期並獲取舊的PDF。我試過這行：在scrapy外殼中的scrapy.FormRequest.from_response(response,formxpath='//table//td//input[@type="text"

0熱度

2回答

無法從網站獲取列表值

我從慾望網站獲取所有詳細信息，但無法獲取某些特定信息，請爲此指導我。 targeted domain: https://shop.adidas.ae/en/messi-16-3-indoor-boots/BA9855.html my code is response.xpath('//ul[@class="product-size"]//li/text()').extract() need to

0熱度

2回答

我應該怎麼做才能啓用Cookie並使用scrapy來訪問此網址？

我使用scrapy的scrapying項目，這個網址https://www.walmart.ca/en/clothing-shoes-accessories/men/mens-tops/N-2566+11 我試圖與URL玩，在外殼打開它，但它得到430錯誤，所以我加入到這樣的標題一些設置： scrapy殼-s COOKIES_ENABLED = 1 -s USER_AGENT = '的Mozill

1熱度

2回答

歐元符號（Scrapy-Python）後刮的價值

我需要一個選擇器刮歐元符號（\ u20ac）後的值。 <Selector xpath='//*[@class="col-sm-4"]/text()' data=u'\r\n\t\t \u20ac 30.000,00'> 我嘗試了幾十個變種，我在這裏找到了stackoverflow和elsewere，但我不能得到它。邊像https://regexr.com/告訴我這樣的事情： respon

0熱度

2回答

從scrapy處理ImagesPipeline（或MediaPipeline）Retreive http返回代碼

我有一個工作的spider抓取圖像URL並將它們放置在scrapy.Item的image_urls字段中。我有一個從ImagesPipeline繼承的自定義管道。當一個特定的URL返回一個非200的http響應代碼（如說401錯誤）。例如，在日誌文件中，我發現 WARNING:scrapy.pipelines.files:File (code: 404): Error downloading fi

0熱度

1回答

如何使用scrapy外殼刮從網站上的產品名稱

請幫我從這個鏈接刮產品名稱： http://www.gap.com/browse/category.do?cid=5168&scrollTo=product353401012&scrollTo=product353401012#pageId=0&department=75 的產品名稱都包含在類=「產品牌 - 名字」，這是一個div 。當我運行：response.css（'div.product-

1熱度

2回答

如何使用帶網址和基本認證憑證的scrapy shell？

我想使用scrapy shell並測試需要基本身份驗證憑據的url的響應數據。我試圖檢查scrapy shell文檔，但是我找不到它。我試過scrapy shell 'http://user:[email protected]'，但沒有奏效。有人知道我能做到嗎？

0熱度

1回答

爲什麼我不能打開scrapy殼這個網址？

，當我跑 scrapy殼https://partsouq.com/en/catalog/genuine/unit?c=Toyota&ssd=%24HQwdcgcAAwFNa3Y_IS9WZm1SC1BrWUo%24&vid=4463&cid=&uid=2535&q= 我什麼也沒得到。將光標閃爍想在畫面如何放棄這個網頁？