Amazon Kinesis Stream to S3

Question

我有一個Javascript應用程序將實時數據寫入Kinesis流。是否有任何現成的連接器將S3用作Kinesis Stream的消費者？在我的情況下，Kinesis Firehose不是一種選擇，因爲還有另一個應用程序從Streams讀取以進行實時分析。與Lambda一樣（我們不想在AWS上全押）。我查看了公開IRecordProcessor的KCL（KinesisClientLibrary），它幫助我捕獲Stream中的每條記錄。我正在編寫我的代碼，以便捕獲每條記錄並將其作爲對象發送給S3。我想知道是否有任何現成的連接器（使用Java）或者有人已經完成了這一點，然後再跳過實現。謝謝。

Answer 1

Kinesis Firehose現在可以直接從Amazon Kinesis Streams讀取數據！ https://forums.aws.amazon.com/ann.jspa?annID=4904

還有另一個應用程序從Streams中讀取以進行實時分析。 這應該是一個問題了。

Kinesis Streams -> Your App -> Kinesis Firehose -> S3

請不是流水只在美國東（N.弗吉尼亞州）提供，美國西部（俄勒岡州）和歐盟（愛爾蘭）地區和跨區域轉移（如流@孟買 - > Firehose @ Ireland）尚未得到支持。