保留期kinesis

Question

我使用Spark-streaming + Kinesis開發了應用程序。 我在2015-10-30開始了我的應用程序，它工作。我看到了 今天（2015-11-02）我重新啓動了應用程序，並開始處理2015-11-02。 爲什麼？保留期限？ 在文檔

我試圖與命令增加在文檔

AWS室壁運動增加流保留描述「可以使用IncreaseRetentionPeriod操作增加保留期長達168小時」 -period --stream名XXXX --retention週期爲160小時

但是

用法：AWS [選項] [參數] AWS：錯誤：參數操作：無效的選擇，有效的選擇是： 附加標籤到流| create-stream delete-stream | describe-stream get-records | get-shard-iterator list-streams | list-tags-for-stream merge-shards |放入記錄 put-records | remove-tags-from-stream 分割碎片|等待 幫助

我應該增加保留期嗎？？？

WBR，Slava

Answer 1

您需要更新您正在使用的aws cli。您可能正在使用不知道較新命令選項的舊版本。

@ AZ3的回答也值得探討，瞭解爲什麼你拿起你目前做處理。 （他解釋了行爲，我傾向於同意:)）

Answer 2

• 我不認爲它與保留期有關。如果您正在使用Kinesis客戶端庫（KCL），則可能會將最後一次工作的位置保留到DynamoDB。因此，如果您停止並開始申請，它將繼續從最後一個已知位置開始工作。

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-ddb.html

• 如果你想讀的碎片以前所有的數據，你應該更新DynamoDB的檢查點，以「TRIM_HORIZON」。

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-additional-considerations.html

• 當應用程序看到TRIM_HORIZON，它將讀取在室壁運動流的第一數據（大約〜23日小時55分鐘前）。您可以在這裏找到更多關於保留

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-extended-retention.html