2016-07-01 80 views
0

我有許多在S3文件夾(如s3:// data /)中以壓縮格式存在的json文件(示例如下)作爲foo.json.gz, foo1.json.gz,foo2.json.gz.其中一個類別(如1010)被錯誤地分配,並且需要將所有文件更改爲1020.我們如何着手進行此更改並將這些文件重新打包到S3中,並修改了內容?如何根據S3中的特定模式修改文件內容

foo.json 
    { 
     "flower": "lilly", 
     "animal": "cat", 
     "category": "1010" 
    } 
    { 
     "flower": "rose", 
     "animal": "dog", 
     "category": "1000" 
    } 
    { 
     "flower": "daisy", 
     "animal": "cat", 
     "category": "1010" 
    } 

回答

1

最簡單的&有效的方法是:

  1. 獲取的EC2實例,它是在同一區域桶是所有這些文件,以最小的成本(使用aws cli
  2. 解壓縮* .gz文件解(使用gunzip
  3. 務實更新JSON文件。(使用php
  4. 重新壓縮文件。
  5. 文件複製回S3。(使用aws cli
+0

文件大小是真正巨大的,我不認爲這是一個選項 – Rpj

+0

的S3作爲它的名字一樣是太簡單了,做這個東西,你想要它做。您需要一個Lambda或EC2實例來完成這些更改。 –