從Amazon SQS提供Apache Spark流？

Spark可以以多種方式提供，如文檔中所述（如Kafka，Flume，Twitter，ZeroMQ，Kinesis或普通的舊TCP套接字）。有人知道如何從Amazon SQS提供Spark Streaming嗎？從Amazon SQS提供Apache Spark流？

來源

2014-11-25 antoneti

在Spark的用戶郵件列表中詢問可能會有所幫助。 – 2014-11-27 00:07:48

謝謝，我認爲沒有人在這裏迴應... – antoneti 2015-01-23 12:08:44

有一個名爲spark-sql-receiver的github項目。它已經上傳到maven版本庫，其中包含spark-sqs-receiver_2.10的com.github.imapi artifactId的groupId。它目前在版本1.0.1上。通過github project的外觀，它也被積極維護。以下是從項目的README.md文件中無恥複製的示例代碼：

ssc.receiverStream(new SQSReceiver("sample") 
     .credentials(<key>, <secret>) 
     .at(Regions.US_EAST_1) 
     .withTimeout(2))

來源

2015-04-24 20:42:51 user2370813

我們如何才能實現與pyspark的類似操作？它甚至有可能嗎？謝謝。 – user3698581 2018-01-11 12:12:47

從Amazon SQS提供Apache Spark流？

回答

相關問題