amazon-kinesis

0熱度

1回答

我們目前有一個應用程序接收大量的傳感器數據。每個傳感器都有自己獨特的傳感器ID（例如「5834f7718273f92cc326f620」），並以不同的時間間隔發出其狀態。進入的消息的處理順序並不重要，例如可以在另一個傳感器的舊消息之前處理一個傳感器的較新消息。但是，重要的是，給定傳感器的每條消息必須按順序處理;按照它們到達流中的順序排列。我看了一下Kinesis客戶端庫，瞭解到KCL將消息推送到

1熱度

1回答

Kafka喜歡Kinesis Stream上的偏移量？

我過去曾經在Kafka上工作過一段時間，最近有要求在AWS Kinesis Stream上移植部分數據管道。現在我已經讀到Kinesis實際上是卡夫卡的一個分支，並且有許多相似之處。但是我沒有看到我們如何讓多個消費者從同一個流中讀取，每個消費者都有相應的偏移量。每個數據記錄都有一個序列號，但我找不到特定於消費者的任何內容（Kafka group Id？）。真的有可能在同一個AWS Kinesi

0熱度

2回答

將Kinesis中的數據寫入S3

我正在使用AWS SDK從將數據發佈到Kinesis流的Java應用程序寫入數據。使用下面的代碼一次批量完成10條記錄; // Convert to JSON object, and then to bytes... ObjectWriter ow = new ObjectMapper().writer().withDefaultPrettyPrinter(); S

0熱度

2回答

Kinesis Firehose到s3：將數據傳送到s3路徑中的錯誤小時

我正在使用Kinesis Firehose緩衝物聯網數據，並將其寫入s3。流水寫入緩存格式s3://bucket.me.com/YYYY/MM/DD/HH 的數據，在10進來到S3：59A可能會被流水緩衝，而不是寫出來的，直到11：00A（s3://bucket.me.com/2017/03/09/11）。問題是，當爲雅典娜創建分區時，小時10的分區將不包含小時10的所有數據，因爲它位於小時11

6熱度

2回答

你如何處理亞馬遜Kinesis記錄重複？

根據亞馬遜Kinesis Streams documentation，一條記錄可以多次遞送。要確保一次處理每條記錄的唯一方法是將它們臨時存儲在支持完整性檢查（例如DynamoDB，Elasticache或MySQL/PostgreSQL）的數據庫中，或者只是爲每個Kinesis分片檢查點RecordId。你知道更好/更有效的處理重複的方法嗎？

4熱度

2回答

AWS Lambda性能問題

我使用與aws lambda（java）集成的aws api網關，但是我在這種方法中看到了一些嚴重的問題。移除服務器並將您的應用程序擴展到盒子外的概念非常好，但這是我面臨的問題。我的lambda正在做2個簡單的事情 - 驗證從客戶端接收到的有效負載，然後將其發送到kinesis流，以便從另一個lambda進一步處理（您會問爲什麼我不直接發送到流並僅使用1 lambda我們只是說我想分離邏輯並有一層

0熱度

2回答

使用AWS Kinesis進行大文件上傳

我的客戶端有一項存儲大量文件的服務，如視頻或聲音文件。該服務運行良好，但看起來像長期文件存儲是一個相當大的挑戰，我們希望使用AWS來存儲這些文件。問題在於，客戶想要使用AWS kinesis將我們的服務器中的每個文件傳輸到AWS。這可能嗎？我們可以使用該服務傳輸文件嗎？有很多視頻文件，我們每天都收到越來越多的視頻文件。而且每個文件都比較大。我們也想將文件的一些細節保存到dynamoDB中，我們

0熱度

1回答

從AWS遷移Kinesis

我的團隊和我有一個基於來自亞馬遜的Kinesis服務的流媒體系統，它使用Java獨立使用者和KCL向其他團隊提供跟蹤信息。我們已決定將此係統遷移到Google雲端平臺。我們瞭解到Google平臺上的Amazon Kinesis的自然替代是Google Cloud Dataflow服務。是對的嗎？其他問題與數據分區有關，因爲我們在Kinesis中使用user-id作爲分區鍵。可以在Google

2熱度

1回答

啓動Kinesis使用者應用程序時，如何使用DynamoDB表中的狀態？

從文檔中可以明顯看出，當使用TRIM_HORIZON作爲迭代器類型啓動KCL應用程序時，將從流的開頭讀取記錄。該文檔還提到應用程序的狀態通過使用檢查點來維護在DynamoDB表中。但是，在KCL應用程序使用此DynamoDB表信息的方式中，我找不到任何參考。具體我的問題如下 - 我有流保留期168小時這是很多數據。假設我的KCL（從TRIM_HORIZON的迭代器開始）與傳入數據同步，並且正在

0熱度

1回答

java.lang.NoSuchMethodError：org.apache.spark.storage.BlockManager

我在連接到kinesis流時收到以下錯誤消息。 java.lang.NoSuchMethodError: org.apache.spark.storage.BlockManager.get(Lorg/apache/spark/storage/BlockId;)Lscala/Option; at org.apache.spark.streaming.kinesis.KinesisBacke