似乎沒有火花加室壁運動整合

室壁運動Client Library應用程序，我通過代碼 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java 似乎沒有火花加室壁運動整合

去它顯示室壁運動如何能發出流數據SparkContext然後火花可以進一步處理。

在給出的示例代碼

我試圖理解這段代碼是如何KCL應用如果我看到 http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.html 它說您必須完成以下任務用Java實現的亞馬遜的Kinesis應用程序時：

任務

落實IRecordProcessor方法實現一個類工廠IRecordProcessor接口修改配置屬性

但火花示例代碼 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java具有用於IRecordProcessor和工人等

注意沒有參考：下部署部https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html它說單個室壁運動輸入DSTREAM可以從室壁運動流的多個碎片通過創建多個線程KinesisRecordProcessor讀。但是沒有KinesisRecordProcessor的實現缺失。或者我錯過了明顯要理解的東西

有人請解釋我這是KCL應用程序嗎？

來源

2015-06-14 Sam

kinesis流實現負責處理那些與應用程序相關的交互和摘要。請參閱https://github.com/apache/spark/tree/master/extras/kinesis-asl/src/main/scala/org/apache/spark/streaming/kinesis

來源

2015-06-14 17:57:00 ChristopherB

請問您可以添加java示例。對不起，我對scala不太瞭解這個抽象層 – Sam

Scala與Java有完全的互操作性，所以代碼可以混合使用。 JavaKinesisWordCountASL從Spark Kinesis串流組件調用KinesisUtils。 KinesisUtils在Scala中，您可以在其中找到對KCL的引用。 – ChristopherB

似乎沒有火花加室壁運動整合

回答

相關問題