amazon-kinesis

0熱度

1回答

使用Firehose將Kinesis數據流傳輸到S3備份

我正在使用包含客戶事務的AWS Kinesis數據流。我想在開始處理它們之前將事務備份到S3中。我如何使用裸Kinesis Firehose備份來自Kinesis Stream的事務而不運行任何Lambda或其他計算組件？

0熱度

1回答

本地Kinesis：kinesalite + boto3

我想設置boto3 kinesis客戶端，使其使用kinesalite。這樣我可以完全在本地工作。有什麼見解？

0熱度

1回答

使用SBT工具編譯Spark流kinesis示例應用程序

我想編譯併爲給定鏈接中的spark本身提供的Spark kinesis流scala應用程序創建一個jar。 Kinesis word count sample 以下是我的sbt文件，它具有所有的依賴關係，並且它適用於簡單程序的編譯。 name := "stream parser" version := "1.0" val sparkVersion = "2.0.2" libraryDe

0熱度

1回答

如何定期更新Spark工作對象？

我的Spark應用程序中有一個需求，我需要定期更新變量，這個變量將被工作者代碼使用。爲了更具體的理解，我需要把我的數據分配給Kinesis碎片。室壁運動碎片的數量可以增加或減少任何時間，所以我應該總是得到碎片的正確數量，因爲我的分區鍵是 System.currentTimeMillis % shardSize ，但我不想總是查詢這個，所以像java.util中.TimerTask會幫忙，我可以向

0熱度

1回答

Spark Streaming - 從Kinesis讀取時出錯

我是Apache Spark Streaming的新成員。嘗試構建Spark以讀取Kinesis Stream中的值。這是我的Python腳本 import settings from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kinesi

2熱度

2回答

星火流+室壁運動：接收機MAXRATE違反

我打電話火花提交經過MAXRATE，我有一個室壁運動接收器，以及1秒 spark-submit --conf spark.streaming.receiver.maxRate=10 .... 批次但是一個批次可以大大超過的配合建立MAXRATE。即：我得到300條記錄。我是否缺少任何設置？

0熱度

1回答

無法讀取火花流連接中的數據Kinesis

我已經寫下面的代碼來連接火花流的kinesis，但沒有收到數據。 VAL kinesisStream = KinesisUtils.createStream（SSC，APPNAME，streamName中，endpointUrl，regionName，InitialPositionInStream.LATEST，batchInterval，StorageLevel.MEMORY_AND_DISK_

0熱度

1回答

Kinesis + AWS Lambda：監測流

我只是想知道什麼是好的指標，以確保處理流的lambda函數的當前數量實際上是應付負載。使用spark應用程序+ Kinesis，可以輕鬆查看流中接收器的吞吐量/當前檢查點。

0熱度

1回答

SBT未能下載Spark Streaming Kinesis庫

我在多項目佈局的build.sbt上有以下內容。所有其他的依賴關係很好地解決，我剛開始在我的項目的Kinesis部分。我在build.sbt以下行： libraryDependencies += "org.apache.spark" % "spark-streaming-kinesis-asl-assembly_2.10" % "2.0.0" ，我得到這個錯誤： Error:Error whil

0熱度

1回答

dynamodb憑證在直接使用時工作，但在通過kinesis時失敗

我以前使用過kinesis，不記得遇到此問題。我正在設置一個kinesis客戶端來讀取流。這些證書使我可以訪問S3和kinesis而沒有任何問題。但引發此異常 com.amazonaws.services.kinesis.leases.exceptions.DependencyException: com.amazonaws.AmazonServiceException: The security