從壓縮的CSV文件上傳數據到數據存儲？

我有一個非常大的gzip csv文件（大約500GB），我需要使用批量加載工具在數據存儲中導入。有沒有必要先解壓縮它？如果是的話，我如何配置我的bulkload.yaml文件？從壓縮的CSV文件上傳數據到數據存儲？

transformers: 

- kind: Client 
    connector: csv 
    connector_options: 
     encoding: zip?

2012-07-25 Charles

如何使用命名管道。

mkfifo --mode=0666 /tmp/namedPipe 
gzip --stdout -d file.gz > /tmp/namedPipe

然後在另一個終端或如果分離與來自http://en.wikipedia.org/wiki/Named_pipe

2012-07-25 15:27:13

由於塞巴斯蒂安採取&

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND

例gzip命令。我今天學到了一些東西。 – Charles 2012-07-25 16:01:23

回答