2017-05-30 64 views
0

當我執行此代碼時,我得到了{[text1,author1,tag1],[text2,author2,tag2]的形式結果。 ..}Scrapy代碼使用python給一個網站而不是另一個網站的結果

import scrapy 
class QuotesSpider(scrapy.Spider): 
    name = "quotes" 
    start_urls = [ 
     'http://quotes.toscrape.com/page/1/', 
    ] 

    def parse(self, response): 
     for quote in response.css('div.quote'): 
      yield { 
       'text': quote.css('span.text::text').extract_first(), 
       'author': quote.css('small.author::text').extract_first(), 
       'tags': quote.css('div.tags a.tag::text').extract(), 
      } 

但是,在另一個URL(下)我得到的結果作爲{[1,名稱,..],[city1,城2,...]} 相同的代碼我想以{[name1,city1],[name2,city2],...]的形式存在,因爲它正在爲上述代碼發生。

import scrapy 
class QuotesSpider(scrapy.Spider): 
    name = "student" 
    start_urls = [ 
     'http://www.engineering.careers360.com/colleges/list-of-engineering-colleges-in-karnataka?sort_filter=alpha', 
    ] 

    def parse(self, response): 
     for students in response.css('div.list-pages'): 
      yield { 
       'name': students.css('div.title a::text').extract(), 
       'city': students.css('div.clg-state a::text').extract(),     
      } 

回答

0

您的學生選擇是錯誤的:

for students in response.css('div.list-pages'): 

這隻能選擇整個頁面。
我知道你在這裏尋找的是:

for students in response.css('li.search-result'): 
+0

謝謝Granitosaurus。 – Yash

+0

@Yash沒問題。如果您發現它足夠的話,請點擊左側的接受答案按鈕! – Granitosaurus

+0

Granitosaurus請也可以幫我解決這個問題..會感謝你。 https://stackoverflow.com/questions/44476674/how-to-crawl-data-from-the-linked-webpages-on-a-webpage-we-are-crawling – Yash

相關問題