Databricks顯示（）函數等效或替代Jupyter

Question

我在遷移電流DataBricks火花筆記本到Jupyter筆記本的過程是，DataBricks提供方便美觀顯示器（data_frame）函數能夠想象火花dataframes和RDDS，但有沒有直接的等效Jupyter（IM不知道，但我認爲這是一個DataBricks特定功能），我想：

dataframe.show() 

但這是它的一個文本版本，當你把它打破了很多列，所以我試圖找到一個替代display（）的方法，它可以比show（）函數更好地渲染Spark數據框。這有什麼等價物或替代物嗎？

Answer 1

嘗試阿帕奇齊柏林飛艇（https://zeppelin.apache.org/）。有一些很好的標準數據框可視化，特別是如果你使用sql解釋器。還有對其他有用的解釋器的支持。

Answer 2

近IPython中，你可以使用display(df)如果DF是熊貓數據幀，都可以正常運行。在較舊的版本中，您可能需要執行from IPython.display import display。如果單元格的最後一個表達式的結果是data_frame，它也會自動顯示。例如this notebook。當然，這種表示將取決於您用來創建數據框的庫。如果您使用的是PySpark，並且默認情況下它沒有定義好表示，那麼您需要教IPython如何顯示Spark DataFrame。例如here是一個教IPython如何顯示Spark上下文和Spark會話的項目。

Answer 3

我建議齊柏林筆記本更多。因爲你可以使用Python（Pyspark）或Scala。 1.您註冊您的數據幀作爲SQL表df.createOrReplaceTempView('tableName') 2.插入新的第開始%sql然後查詢與驚人的結果形狀的數據集。它比show()功能更加美妙。