AWS lambda函數跳過DynamoDB記錄

我正在使用AWS LAMBDA創建一個函數來觸發和處理插入DynamoDB表中的每個記錄。

但是我最近注意到很多記錄丟失了，沒有被處理。例如，插入的每個50,000條記錄，也許大約2000-3000會得到處理。:(

我還注意到，正在處理這個數了大約100-200慢慢增加，每5分鐘記錄或者等一段時間後我檢查這個使用AWS命令行：
AWS dynamodb掃描--table-命名myDynamoTable - 選擇「COUNT」

我使用的是默認設置來創建lambda函數是否有幫助。

這是LAMBDA功能相關的問題或MY拉姆達功能的配置？
有沒有任何屬性/設置我可以改變以改善其功能？
最後，如果最壞的情況出現了，我可以用什麼作爲Lambda函數的替代（可靠的）？我可以自己創建一個嗎？

TIA。AWS lambda函數跳過DynamoDB記錄

來源

2017-03-13 Stack-Boi

你可以分享dynamodb流配置嗎？你確定所有的物品都是新的插入物嗎？是否可以刪除所有項目並插入100個項目並查看會發生什麼？需要調試它是流還是lambda問題？你是否同時插入所有5k項目？ – notionquest

@notionquest如何找到流配置？點擊「管理流」按鈕並啓用它是我使用DynamoDB流的唯一體驗。 :)我會檢查並看到它如何行爲，當我刪除和插入項目像你建議的。你的意思是同時或連續快速連續插入5K項目？ –

嘗試按順序插入並檢查結果。大約100到500個項目應該足夠。 – notionquest

DynamoDB掃描僅返回前1MB的數據。您需要重複使用LastEvaluatedKey值。

來源

2017-03-13 20:38:13 Robo

這不是我的問題！ –

那麼也許你應該改變你的問題。你如何驗證記錄是否正在處理？重新讀你的問題是你使用發電機流觸發lambda函數？ – Robo

是的，我正在使用DynamoDB Streams。我知道所有記錄都沒有從計數處理 - 插入記錄的數量與處理後可用的記錄數量。 –

AWS lambda函數跳過DynamoDB記錄

回答

相關問題