Scrapy - 無法正確格式化csv

我目前正在Scrapy上進行自我培訓，並且想要正確格式化我的導出。這裏是輸出：（法國著名分類廣告網站被刮培訓）Scrapy - 無法正確格式化csv

"600 €,,,850 €,,,850 €,,,850 €,,770 €,,,600 €,,,600 €,,,60 €,,,782 €,,,670 €,,,700 €,,,936 €,,,730 €,,,450 €,,,800 €,,,680 €,,,865 €,,,790 €,,,880 €,,,850 €,,,900 €,,,813 €,,,850 €,,,795 €,,,560 €,,,900 €,,,750 €,,,950 €,,,390 €,,,875 €,,,650 €,,,799 €,,,825 €,,,695 €,,,790 €,,","Studio meublé 10m² GAITE PARIS 14e,,Très joli studio paris 14,,Studio meublé avec mezzanine Porte d'Orléans,,Studio 1 pièce 33 m²,,STUDIO 20m² - Métro ALESIA -St Pierre de Montrouge,,Studio meublé porte d'Orléans,,Location courte durée Studio 14ème Alésia,,Studio paris 14eme libre dec et janv/nuit,,Appartement 2 pièces 29 m²,,Appartement Alésia/14ème arrondissement,,Studio meublé a louer de suite,,STUDIO rue Pernety 75014,,Studio 15m2 - Paris 14ème,,Appartement Paris 14eme 35m² 1- 4 personnes,,Beau 2 pieces 14eme arrondissement,,Petit studio a louer,,Studio au coeur de paris- montparnasse,,Studio Paris 14e à louer,,Studio 27m² meublé,,Studio 1 pièce 22 m²,,Studio,,Studio 1 pièce 31 m²,,Studio 1 pièce 25 m²,,Appartement 1 pièce 23 m²,,Studette meublé 9m² ALESIA,,Studio 25 m2 à Paris 14,,Appartement 17m proche métro Glacière,,2 Pièces au calme proche Montparnasse,,Studette paris 14eme,,STUDIO 26M2 PARIS 14e ALESIA,,STUDETTE 16m2 RUE D ALESIA 650 EUROS,,Studio meublé et équipé résidence Consul,,Studio 22,5 m2 Métro Pernety,,Appartement 1 pièce 19 m²,,Studio meublé avec 2 balcons Montparnasse Pernety,",""

所以基本上我有：

Price1,Price2,Price3... description1,description2,description3..

我想有：

Price 1, Description1 
Price 2, Description2

等

這是我的代碼：

class LbcSpider(scrapy.Spider): 
name = 'lbc' 

start_urls = ['https://www.leboncoin.fr/locations/offres/ile_de_france/?th=1&location=Paris%2075014&parrot=0&mre=950&sqe=4&ret=2'] 
# j'étais en train de me mettre sur lbc pour scrapper les pages 
def parse(self, response): 
    # extraction des infos de la page 1 

    yield { 
     # extraction du titre 
     # 'title': response.css(
     # 'a.list_item.clearfix.trackable section.item_infos h2.item_title::text').re(r'\s{20,}(.*)'), 
     'title': response.css(
      'a.list_item.clearfix.trackable section.item_infos h2.item_title::text').re(r'\s{20,}(.*)'), 
     # extraction prix 
     'Price': response.css(
      'a.list_item.clearfix.trackable section.item_infos h3.item_price::text').re(r'\s{20,}(.*)'), 
     } 

    # visite des pages suivantes 
    # avec for on extrait de la liste chaque url pour la parser 
    # on ajoute http car pour une raison inconnue elle ne fait pas partie de l'extract? 
    next_page = response.xpath('//a[@id="next"]/@href').extract() 
    if next_page is not None: 
     # modification pour avoir plusieurs url 
     for href in next_page: 
      yield scrapy.Request('http:' + href, callback=self.parse) 
     # next_page = response.urljoin(next_page) 
     #yield scrapy.Request(next_page, callback=self.parse)

我的問題有以下幾點：

爲什麼價格值是第一位的，當我把代碼調用在最後一個位置？
如何添加「\ n」在每次調用時創建新行？

最佳，

來源

2016-12-18 Bergenist

它是實例化和使用'類LbcSpider（）的代碼'？（見[問]和[mcve]）。 – boardrider

的scrapy提取生成所有刮掉項目的列表。

我認爲這將是更容易刮分離和項目的恢復，以正確的格式輸出文件，像這樣：

def parse(self, response): 
    title = # Scrape the titles 
    Price = # Scrape the prices 
    result = zip(title, Price) 
    for title, Price in result: 
     item = LbcItem() 
     item['title'] = title 
     item['Price'] = Price 
     yield item

這樣，你先颳去所有的價格和標題，將它們存儲在單獨的列表中，然後壓縮它們並迭代壓縮的result-變量。

通過這種方式，您可以分配每個項目並單獨生成它，這應以您想要的方式生成。

此外，您可以通過定義您的項目設置FEED_EXPORT_FIELDS定義的順序導出爲CSV出口的項目（見here）

來源

2016-12-19 08:24:27 rongon

Scrapy - 無法正確格式化csv

回答

相關問題