使用cassandra對hadoop-2.2.0運行piglatin腳本時出錯使用cassandra

Question

我試圖在hadoop-2.2.0中對使用pig在cassandra中存儲的數據執行mapreduce。我能夠在豬本地模式下運行腳本，但是我無法在mapreduce模式下運行。只是幫助我解決它。請查找堆棧跟蹤以獲取更多信息。

產生的原因：java.lang.IncompatibleClassChangeError：發現界面org.apache.hadoop.mapreduce.JobContext，但類預計 錯誤pigstats.SimplePigStats：ERROR：org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException：應用帶有id'application_1390194645126_0008'在RM中不存在。 所致：java.lang.IncompatibleClassChangeError：實測值接口org.apache.hadoop.mapreduce.JobContext，但類預計在org.apache.cassandra.hadoop.ColumnFamilyInputFormat.getSplits（ColumnFamilyInputFormat.java:103）

Answer 1

的Cassandra源代碼樹中不支持Hadoop-2（YARN）接口（請參閱問題CASSANDRA-5201）。根據這個問題的活動，看起來這個問題會很快解決。在此期間有一些work done out of tree to support YARN可能適合你。或者你可以使用Hadoop-1.x。