無法擺脫csv輸出中的空白行

Question

我已經在python scrapy中編寫了一個非常小的腳本來解析黃頁網站中多個頁面顯示的姓名，街道和電話號碼。當我運行我的腳本時，我發現它運行順利。但是，我遇到的唯一問題是數據在csv輸出中被抓取的方式。它總是兩行之間的一行（行）間隙。我的意思是：數據正在每隔一行打印。看到下面的圖片，你會明白我的意思。如果不是用於scrapy，我可以使用[newline ='']。但不幸的是，我在這裏完全無奈。我如何擺脫csv輸出中出現的空白行？預先感謝您看看它。

items.py包括：

import scrapy 

class YellowpageItem(scrapy.Item): 
    name = scrapy.Field() 
    street = scrapy.Field() 
    phone = scrapy.Field() 

這裏是蜘蛛：

import scrapy 

class YellowpageSpider(scrapy.Spider): 
    name = "YellowpageSp" 
    start_urls = ["https://www.yellowpages.com/search?search_terms=Pizza&geo_location_terms=Los%20Angeles%2C%20CA&page={0}".format(page) for page in range(2,6)] 

    def parse(self, response): 
     for titles in response.css('div.info'): 
      name = titles.css('a.business-name span[itemprop=name]::text').extract_first() 
      street = titles.css('span.street-address::text').extract_first() 
      phone = titles.css('div[itemprop=telephone]::text').extract_first() 
      yield {'name': name, 'street': street, 'phone':phone} 

這裏是CSV輸出看起來像：

順便說一句，該命令我用來獲取CSV輸出是：

scrapy crawl YellowpageSp -o items.csv -t csv 

Answer 1

您可以通過創建一個新的FeedExporter來修復它。更改settings.py如下

FEED_EXPORTERS = { 
    'csv': 'project.exporters.FixLineCsvItemExporter', 
} 

在項目中創建一個exporters.py

exporters.py

import io 
import os 
import six 
import csv 

from scrapy.contrib.exporter import CsvItemExporter 
from scrapy.extensions.feedexport import IFeedStorage 
from w3lib.url import file_uri_to_path 
from zope.interface import implementer 


@implementer(IFeedStorage) 
class FixedFileFeedStorage(object): 

    def __init__(self, uri): 
     self.path = file_uri_to_path(uri) 

    def open(self, spider): 
     dirname = os.path.dirname(self.path) 
     if dirname and not os.path.exists(dirname): 
      os.makedirs(dirname) 
     return open(self.path, 'ab') 

    def store(self, file): 
     file.close() 


class FixLineCsvItemExporter(CsvItemExporter): 

    def __init__(self, file, include_headers_line=True, join_multivalued=',', **kwargs): 
     super(FixLineCsvItemExporter, self).__init__(file, include_headers_line, join_multivalued, **kwargs) 
     self._configure(kwargs, dont_fail=True) 
     self.stream.close() 
     storage = FixedFileFeedStorage(file.name) 
     file = storage.open(file.name) 
     self.stream = io.TextIOWrapper(
      file, 
      line_buffering=False, 
      write_through=True, 
      encoding=self.encoding, 
      newline="", 
     ) if six.PY3 else file 
     self.csv_writer = csv.writer(self.stream, **kwargs) 

我在Mac上，所以無法測試其Windows行爲。但是，如果以上不起作用，然後改變部分代碼，並設置newline="\n"

 self.stream = io.TextIOWrapper(
      file, 
      line_buffering=False, 
      write_through=True, 
      encoding=self.encoding, 
      newline="\n", 
     ) if six.PY3 else file