我組合了兩個具有不同行數的數據幀。使用cbind.na功能組合qpcR庫組合兩個數據幀。它顯示了在我的本地機器中正確使用spark_apply功能的結果。但是,在集羣模式下,它顯示如下錯誤。 注意:單個數據框顯示集羣和本地的結果。 Error : Error: org.apache.spark.SparkException: Job aborted due to stage failure: Ta
我在AWS一個蜂房表名爲table1僅帶有一列,它看起來像圖所示: COL1
(null)
active
試圖下面查詢 select *
from table1
where COL1 NOT IN ('reversed')
蜂房是返回只有一行 COL1
active
爲什麼它不返回記錄(null)? 我知道修正是修改條件如下。但我想調試這個問題,以便這不會對其他查詢 wher
我想在使用Hue的Oozie上運行一個簡單的python腳本。我使用的是安裝了所以我也加入了Cloudera管理器,火花的配置(火花服務高級配置片段(安全閥)的火花的conf/spark-env.sh) if [ -z "${PYSPARK_PYTHON}" ]; then
export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/pyth