Pyspark：顯示

Question

我使用pyspark讀取拼花文件中像下面以表格形式火花數據幀：

my_df = sqlContext.read.parquet('hdfs://myPath/myDB.db/myTable/**') 

後來，當我做my_df.take(5)，它會顯示[Row(...)]，而不是像一個表格式當我們使用熊貓數據框。

是否可以像熊貓數據框這樣的表格格式顯示數據幀？謝謝！

Answer 1

show方法可以完成您正在尋找的任務。

例如，給定的3行以下數據幀，我可以打印只是前兩行是這樣的：

df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("baz", 3)], ('k', 'v')) 
df.show(n=2) 

其產生：

+---+---+ 
| k| v| 
+---+---+ 
|foo| 1| 
|bar| 2| 
+---+---+ 
only showing top 2 rows 

Answer 2

是：在你的數據框上調用toPandas方法，你會得到一個實際熊貓數據框！