2016-11-23 37 views
1

任何人都可以告訴我,我們是否可以將數據幀轉換爲SparkR中的列表。我知道collect()函數可以幫助你做到這一點。但是,當我們使用大量數據時,這是不可取的。在python/Scala中,有一個函數叫做本地迭代器(),它將數據幀轉換爲列表。我在SparkR中掙扎着。任何人都可以幫忙!SparkR - 將數據幀轉換爲向量/列表

回答

0

不幸的是collect()是最好的方法來做到這一點。您也可以嘗試:saveAsTextFile,但在這種情況下,您可能無法獲得全部數據。

+0

雅。這是SparkR的問題。無論如何,謝謝 – Nirmal

+0

如果您使用Cassandra 3.0,可以使用「物化視圖」並重新排列服務器上的數據,但它不會幫助您下載數據。 (您可以使用它來減少數據量,然後將其保存在本地 - 如果您不需要整個數據集) – Meyk

相關問題