Kinesis到s3桶使用Kinesis連接器

我使用kinesis連接器庫從kinesis訪問s3存儲桶時出現以下錯誤。我已經使用了樣品從以下鏈接Kinesis到s3桶使用Kinesis連接器

https://github.com/awslabs/amazon-kinesis-connectors/tree/master/src/main/samples

 
INFO: Stream twitterStreamNew is ACTIVE 
Oct 16, 2015 3:45:00 PM com.yash.KinesisConnectorExecutor setupInputStream 
INFO: Starting stream source. 
Exception in thread "main" java.lang.NoClassDefFoundError: com/amazonaws/transform/JsonErrorUnmarshallerV2 
    at com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.init(AmazonDynamoDBClient.java:387) 
    at com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.(AmazonDynamoDBClient.java:383) 
    at com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.(AmazonDynamoDBClient.java:357) 
    at com.amazonaws.services.kinesis.clientlibrary.lib.worker.Worker.(Worker.java:109) 
    at com.amazonaws.services.kinesis.clientlibrary.lib.worker.Worker.(Worker.java:94) 
    at com.amazonaws.services.kinesis.connectors.KinesisConnectorExecutorBase.initialize(KinesisConnectorExecutorBase.java:84) 
    at com.amazonaws.services.kinesis.connectors.KinesisConnectorExecutorBase.initialize(KinesisConnectorExecutorBase.java:37) 
    at com.example.KinesisConnectorExecutor. 



    (KinesisConnectorExecutor.java:110) 
    at com.example.S3Executor.(S3Executor.java:19) 
    at com.example.S3Executor.main(S3Executor.java:34) 
    Caused by: java.lang.ClassNotFoundException:  com.amazonaws.transform.JsonErrorUnmarshallerV2 
    at java.net.URLClassLoader.findClass(Unknown Source) 
    at java.lang.ClassLoader.loadClass(Unknown Source) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) 
    at java.lang.ClassLoader.loadClass(Unknown Source) 
    ... 10 more

來源

2015-10-16 tarun kumar Sharma

有同樣的錯誤 - 只是由於衝突的庫版本。

將您的kinesis連接器庫和aws java sdk更新到您的POM中的最新版本。

<dependency> 
     <groupId>com.amazonaws</groupId> 
     <artifactId>aws-java-sdk</artifactId> 
     <version>1.10.27</version> 
    </dependency> 

    <dependency> 
     <groupId>com.amazonaws</groupId> 
     <artifactId>amazon-kinesis-connectors</artifactId> 
     <version>1.2.0</version> 
    </dependency>

來源

2015-10-22 04:14:16

我更新我的POM甚至然後我有相同error.I用我POM以下依賴於kineis-S3連接1）亞馬遜室壁連接器 - 1.2.0（2）亞馬遜kinesis-生產者 - 0.10.1（3）aws-java-sdk - 1.10.27（4）aws-java-sdk-dynamodb - 1.10.27（5）aws-java-sdk-s3 - 1.10.27（6）com。 fasterxml.jackson.core - 2.6.3.Do我需要添加任何其他依賴項？ –

嘗試排序，以使'aws-java-sdk'是第一個，'amazon-kinesis-connectors'是第二個，並運行'maven clean'。您也不需要dynamodb和s3庫，因爲它們是作爲主包的一部分。如果你還沒有運氣，請發佈你的POM。也只是爲了確認，這個錯誤是當你試圖接收消息，而不是產生它們？ –

非常感謝它現在正在工作 –

Kinesis到s3桶使用Kinesis連接器

回答

相關問題