如何使用Scrapy/Python從條件下拉字段中獲取值？

Question

這tutorial幫助我收集網站上的第一個下拉列表條目。 但我無法使用Scrapy獲取第二個條件/依賴下拉框的數據。

假設下面的過程是要走的路，步驟2如何工作？該值永遠不會出現那麼遠，第一個下拉框中第一個下拉框

選擇第一個值的

1. 獲取列表條目。
2. 獲取所有相關的下拉值。
3. 迭代雖然第一個下拉列表...

我認爲下面的代碼需要調整的代碼是一個提交形式：

for i in range(len(brandCategoryList)): 

     # Generate new request for each brand category's page 
     yield FormRequest("http://www.xxxxxxxxxx.com", 
        method='POST',       
        formdata={'BrandName':'','CatBrand':brandCategoryList[i],'submit1':'Find+Product'}, 
        callback=self.parseBrandPage, 
        meta={'brandCategoryId':i,'brandCategoryName':brandCategoryList[i]}) 

感謝

Answer 1

Scrapy將不會在您正在抓取的頁面中運行任何JavaScript代碼，並且依賴下拉菜單通常依靠javascript來根據控制下拉列表中的選項來填充它們的選項。

如果您需要自動化/刮取需要javascript的內容，您可能需要考慮另一個庫。一些指針開始here。