使用cron作業的pyspark自動化

Question

我有一個每兩分鐘被調用一次的cron作業 此作業的目的是檢查新請求並觸發一個火花作業。 cron作業 - >調用一個shell腳本 - >調用火花提交

source /etc/hadoop/conf/hadoop-env.sh 
source /etc/spark/conf/spark-env.sh 
spark-submit --executor-memory 2g --num-executors 1 --packages com.databricks:spark-csv_2.10:1.5.0 \ 
            --py-files <some egg files location> \ 
            <python main script> \ 
            <configuration file> <Input Parameters> 

當手動trigered，腳本工作正常，但通過的cron觸發時，它進入死鎖試圖讓火花上下文。

任何身體任何人都有我的指針呢？

Answer 1

問題出在Kerberos上。鏈接有答案 Click Here