爲什麼使用Limit和FilterExpression進行DynamoDB掃描不會返回符合過濾器要求的項目？

Question

我需要在DynamoDB上進行限制和條件掃描。

的docs說：

在響應，DynamoDB返回限制值的範圍內的所有匹配的結果。例如，如果您發出限值爲6且沒有過濾器表達式的查詢或掃描請求，則DynamoDB會返回表中與請求中指定的關鍵條件匹配的前六個項目（或者僅返回前六個項目掃描不帶過濾器的情況）。如果您還提供FilterExpression值，那麼DynamoDB將返回前六個中也與過濾器要求相匹配的項目（返回結果的數量將小於或等於6）。

的代碼（的NodeJS）：

var params = { 
    ExpressionAttributeNames: {"#user": "User"}, 
    ExpressionAttributeValues: {":user": parseInt(user.id)}, 
    FilterExpression: "#user = :user and attribute_not_exists(Removed)", 
    Limit: 2, 
    TableName: "XXXX" 
}; 

DynamoDB.scan(params, function(err, data) { 
    if (err) { 
     dataToSend.message = "Unable to query. Error: " + err.message; 
    } else if (data.Items.length == 0) { 
     dataToSend.message = "No results were found."; 
    } else { 
     dataToSend.data = data.Items; 
     console.log(dataToSend); 
    } 
}); 

表XXXX定義：

• 主分區鍵：用戶（數量）
• 主排序關鍵字：標識符（字符串）
• INDEX：
  • 指數名稱：RemovedIndex
  • 類型：GSI
  • 分區鍵：刪除（號碼）
  • 排序鍵： -
  • 屬性：ALL

在上面的代碼中，如果我刪除Limit參數，DynamoDB將返回符合過濾器要求的項目。所以，條件是好的。但是當我用Limit參數掃描時，結果是空的。

該XXXX表，有5個項目。只有2個第一個具有Removed屬性。當我在沒有Limit參數的情況下掃描時，DynamoDB將返回3個不帶Removed屬性的項目。

我做錯了什麼？

Answer 1

從您引用文檔：

如果您同時提供FilterExpression值，DynamoDB將返回 項目在第6也匹配濾波器的要求

通過結合限制和FilterExpression，您已告知DynamoDB僅查看錶中的前兩項，並針對這些項目評估FilterExpression。 DynamoDB中的限制可能會引起混淆，因爲它與RDBMS中的SQL表達式中的limit不同。

Answer 2

也遇到了這個問題，我想你就只能全表掃描，以1個MB

掃描 結果從掃描設置僅限於每次通話1 MB的最大。您可以使用掃描響應中的LastEvaluatedKey來檢索更多結果。

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Limits.html

Answer 3

你也許能夠得到你所需要的使用輔助指標。使用傳統的RDB示例，客戶訂單示例：客戶有一張表，訂單有一張。訂單表有一個由客戶 - 哈希，訂單 - 範圍組成的密鑰。所以如果你想獲得最新的10個訂單，沒有掃描就沒有辦法做到這一點

但是，如果你創建一個全球二級索引的訂單「某些常量」 - HASH，日期範圍和查詢針對該索引，他們的查詢會做你想做的事情，並且只收取與返回的記錄有關的RCU的費用。不需要昂貴的掃描。請注意，寫入操作會更加昂貴，但在大多數情況下，讀取操作比寫入操作要多得多。

如果您想要獲得大於1000美元的一天中的10個最大訂單，現在您有您的原始問題。該查詢將返回最後10個訂單，然後過濾出價值低於1000美元的訂單。

在這種情況下，您可以創建Date-OrderAmount的計算密鑰，並且針對該索引的查詢將返回所需內容。

它不像SQL那麼簡單，但是您也需要考慮SQL中的訪問模式。如果您有大量數據，則需要在SQL中創建索引，否則數據庫將很樂意代表您進行表掃描，這會影響性能並提高成本。

請注意，我提出的所有事情都是在只有一個事實根源的意義上歸一化的。您沒有複製數據 - 您只是重新編寫數據視圖，以便從DynamoDB獲得所需的信息。

請記住，CONSTANT作爲HASH的受限於每個分區10GB的限制，因此如果您有大量活動數據，則需要圍繞它進行設計。例如，根據您預期的訪問模式，您可以使用Customer而不是常量作爲HASH。或者使用STreams以其他方式組織數據（或子集）。