如何在Spark流應用程序中處理DynamoDB流

Question

我想從Spark Streaming應用程序中使用DynamoDB流。

Spark流使用KCL從Kinesis讀取。有一個lib讓KCL能夠從DynamoDB流中讀取：dynamodb-streams-kinesis-adapter。

但是有可能將這個lib插入spark？任何人都這樣做？

我正在使用Spark 2.1.0。

我的備份計劃是讓另一個應用程序從DynamoDB流中讀取Kinesis流。

謝謝

Answer 1

我從來沒有這樣做;這聽起來很酷。如果我正在做這個項目，我會認爲DynamoDB Streams/Kinesis integration和Kinesis-Spark Streaming integration都是緊密的和有據可查的。因此，儘管我理解了以工具簡化爲名砍掉中間商的願望，但我仍將探索在DynamoDB和Spark Streaming之間使用Kinesis來簡化開發。