需要Apache Spark的Bluemix Analytics日誌文件信息

Question

我想在調試我的Spark筆記本時獲得更多信息。我已經發現了一些日誌文件：

!ls $HOME/notebook/logs/ 

的文件有：

bootstrap-nnnnnnnn_nnnnnn.log 
jupyter-nnnnnnnn_nnnnnn.log 
kernel-pyspark-nnnnnnnn_nnnnnn.log 
kernel-scala-nnnnnnnn_nnnnnn.log 
logs-nnnnnnnn.tgz 
monitor-nnnnnnnn_nnnnnn.log 
spark160master-ego.log 

哪些應用程序登錄到這些文件，哪些信息被寫入其中的每個文件？

Answer 1

在調試筆記本時，kernel-*-*.log文件是您正在查找的文件。

在邏輯順序

1. bootstrap-*.log服務啓動時被寫入。每次啓動一個文件，時間戳指示發生的時間。包含啓動腳本的輸出，用於初始化用戶環境，創建內核規格，準備Spark配置等。

2. bootstrap-*_allday.log有當天每個服務啓動和停止的記錄。

3. jupyter-*.log包含Jupyter服務器的輸出。從bootstrap-*.log完成初始化後，啓動Jupyter服務器。這就是當這個文件被創建。筆記本內核啓動或停止時以及筆記本保存時，您會看到日誌條目。

4. monitor-*.log包含從服務啓動的監視腳本的輸出。監視腳本必須檢測Jupyter服務器正在偵聽的端口。之後，它會密切關注服務活動，並在空閒時間過長時關閉該服務。

5. kernel-*-*.log包含筆記本內核的輸出。每個內核都有一個單獨的日誌文件，時間戳表明內核啓動的時間。文件名中的第二個字表示內核的類型。

6. spark*-ego.log包含Spark作業調度的輸出。監控腳本使用它來檢測Spark是否處於活動狀態，儘管筆記本內核處於空閒狀態。

7. logs-*.tgz包含當天的歸檔日誌。他們會在幾天後自動刪除。

Answer 2

隨着DSX中最近啓用的「環境」功能，日誌已移至目錄/var/pod/logs/。您仍將看到當前會話的kernel-*-*.log和jupyter-*.log文件。但是，它們對調試無用。

在Spark as a Service後端中，每個內核都有一個Spark驅動程序進程，該進程會記錄到kernel-*-*.log文件。環境特性不包含Spark，內核本身不會爲日誌文件生成輸出。