2015-06-08 59 views
3

我們正在使用Spark SQL和Cassandra在大量數據上進行小時聚合。我們開發了一個每小時運行一次的Java客戶端,以使用Spark SQL進行聚合。由於歷史的負載,當我們運行此程序進行數據的10天(240小時),後處理約100小時,卡桑德拉與以下錯誤而失敗:Cassandra大容量加載 - NoHostAvailableException

com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (no host was tried)

什麼造成卡桑德拉失敗?

+0

/datastax Java驅動程序,你使用的是什麼版本的火花連接器的配置較高值後得到解決? –

+0

我們使用spark-cassandra連接器1.2.0-rc3 jar。 Spark版本是1.2.1,而cassandra版本是2.0.13 – Ramana

+0

請參閱Russ的帖子http://stackoverflow.com/questions/27058355/datastax-enterprise-savetocassandra-generate-a-lot-of-hinted-handoff – phact

回答

2

這對"spark.cassandra.read.timeout_ms""spark.cassandra.connection.timeout_ms"