amazon-kinesis

0熱度

1回答

我嘗試寫一些數據，AWS室壁運動與CLI放記錄，而這是不工作： aws kinesis put-record --stream-name my-stream-name --data Data=jose|12 我得到一個「擊：12：命令未找到「錯誤。 aws kinesis put-record help工程，所以我不明白的錯誤。我正在關注this documentation。

1熱度

1回答

的JavaScript：順序迭代承諾功能

這是該方案：使用AWS室壁運動> 要想從室壁運動記錄，我需要一個碎片迭代，直到請求完成> 室壁運動將不會返回一個新片段的迭代器> 呼叫到「getRecords」是異步> 嘗試來迭代該過程失敗，因爲需要碎片迭代之前請求並沒有解決 const getRecordsInShard = (shard, batchSize, streamName) => { const records = [

0熱度

3回答

AWS：如何將數據從AWS Lambda發送到本地應用程序

我試圖從AWS Lambda函數發送數據（潛在的可能是10MB）到正在寫入本地數據存儲的本地CDAP應用程序。我知道我可以在內部應用程序上使用REST接口來調用Lambda，但我想知道是否可以使用消息傳遞系統將本地資源與AWS Lambdas集成（即，Lambda寫入Kafka主題，即本地應用程序可以讀取該主題）。我不知道最佳做法是做什麼或做了什麼。我想弄清楚這樣做的不同選擇。在此先感謝您的

-2熱度

1回答

Amazon Kinesis Stream如何與Java Stream進行比較？

我已經閱讀並觀看了Kinesis Stream上的一些視頻，並且我瞭解它允許從應用程序和實時分析中獲得數據流。但是它是如何與Java Stream相關的，因爲我認爲通過API連接或TCP連接，可以通過使用Java Stream來重新創建Kinesis Stream嗎？ Kinesis Stream vs Java Stream的優點和缺點是什麼？

0熱度

1回答

如何將數據寫入Kinesis中的特定分片

如何將數據寫入Kinesis中的特定分片？在boto文檔說分區鍵是Unicode字符串，具有256個字符用於每個鍵的最大長度的限制。 MD5散列函數用於將分區鍵映射到128位整數值，並使用分片的散列鍵範圍將關聯的數據記錄映射到碎片。您可以通過使用ExplicitHashKey參數明確指定散列值來覆蓋散列分區鍵以確定分片。但是我該怎麼做呢？

0熱度

1回答

Boto3閱讀室壁運動流

的boto3文檔提到在請求中，可以指定碎片迭代器類型AT_TIMESTAMP從任意時間點讀記錄，TRIM_HORIZON造成ShardIterator指向系統碎片中最後一條未修剪的記錄（碎片中最早的數據記錄）或LATEST，以便始終讀取碎片中的最新數據。這是 my_shard_id = 'shardId-000000000000' shard_iterator = kinesis_clie

0熱度

2回答

計算設備秒使用室壁運動分析

我與室壁運動分析實驗和已經解決了與它的許多問題，但實際上堅持了以下內容：其實，我有記錄的流當設備被打開，反映 device_id | timestamp | reading 1 | 2011/09/01 22:30 | 1 1 | 2011/09/01 23:00 | 0 1 | 2011/09/02 03:30 | 1 1 | 2011/09/02 03:31 | 0 有關在reading場我

1熱度

1回答

如何丟棄記錄？

我向AWS Kinesis發送事件，這些事件由AWS lambda函數處理。但是，如果lambda引發一些錯誤，記錄不會被丟棄，並且會一遍又一遍地處理，阻止處理新記錄。我寧願跳過錯誤的記錄和消化新的記錄。我不明白該怎麼做。 lambda函數捕獲任何異常，所以它不應該給出任何執行錯誤。下面是Python中的代碼片段。據我瞭解，拉姆達應在「保留」期間（24小時默認）重試，但我想放棄，最終記錄

0熱度

2回答

Kinesis Firehose是Kinesis Streams的替代品嗎？

Kinesis Firehose以及Kinesis Streams用於根據AWS博客中提到的細節加載流式數據。在Firehose的情況下沒有碎片或維護的概念。在這種情況下，Kinesis Firehose是Kinesis Streams的替代品嗎？

1熱度

1回答

Spark結構化流媒體集成與Kinesis

我想弄清楚Kinesis集成Spark結構化流媒體是否穩定。 AWS大數據博客幾乎沒有任何關於Kinesis和Spark Structured Streaming的博客。想知道你們中的任何人是否嘗試過Spark Structured Streaming與Kinesis？如果是這樣，你覺得它穩定？