Firehose轉換輸出的格式化

Question

我正在使用AWS Kinesis Firehose進行自定義數據轉換。拉姆達的用Python編寫的3.6和返回字符串如下所示：

{ 
    "records": [ 
     { 
      "recordId": "...", 
      "result": "Ok", 
      "data": "..." 
     }, 
     { 
      "recordId": "...", 
      "result": "Ok", 
      "data": "..." 
     }, 
     { 
      "recordId": "...", 
      "result": "Ok", 
      "data": "..." 
     } 
    ] 
} 

這LAMBDA是非常高興，並記錄看起來像上面的只是其送回流水之前的輸出。然而，流水的S3日誌然後顯示一個錯誤：

Invalid output structure: Please check your function and make sure the processed records contain valid result status of Dropped, Ok, or ProcessingFailed.

看跨在JS和Java這種網絡傳播的例子，它不是我清楚我需要什麼，以不同的方式來做;我很困惑。

Answer 1

我發現了使用Node.js的相同錯誤。

閱讀文檔http://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html我的錯誤不是每個記錄的數據字段的base64編碼。

我決心這樣做：

{ 
    recordId: record.recordId, 
    result: 'Ok', 
    data: new Buffer(JSON.stringify(data)).toString('base64') 
} 

Answer 2

如果你的數據是一個JSON對象，你可以嘗試以下

import base64 
import json 
def lambda_handler(event, context): 
    output = [] 
    for record in event['records']: 
     # your own business logic. 
     json_object = {...} 
     output_record = { 
      'recordId': record['recordId'], 
      'result': 'Ok', 
      'data': base64.b64encode(json.dumps(json_object).encode('utf-8')).decode('utf-8') 
     } 
     output.append(output_record) 
    return {'records': output} 

base64.b64encode功能只能b'xxx '的字符串，而' 數據工程'output_record'的屬性需要一個普通的'xxx'字符串。