如何使用spark在文件中交換列和行

如何將列轉換爲行並將行轉換爲類似於文件中存在數據的矩陣轉置的列。如何使用spark在文件中交換列和行

爲前： - 輸入文件： -

aa ab ac ad ae af ag 
    ba bb bc bd be bf bg 
    ca cb cc cd ce cf cg

輸出文件： -

aa ba ca 
    ab bb cb 
    ac bc cc 
    ad bd cd 
    ae be ce 
    af bf cf 
    ag bg cg

謝謝:)

您可以將DataFrame轉換回一個rdd通過調用df.rdd並遵循該文章中提供的關於RDD的相同步驟。如果DataFrame足夠小，他的第一個使用collect()進行簡單轉換的例子就可以工作。

2016-03-15 02:15:56 MrChristine

感謝@MrChristine的回覆，但如果我們有一個文件，我們不會顯示這個文件的值。所以我們不能使用seq（對於文件中的所有值）。糾正我，如果我錯了。 –

@AnkushReddySugureddy在這種情況下它是一個問題？ – zero323

@AnkushReddySugureddy我不遵循你的說法。使用Seq（）的示例用於在帖子中生成測試數據集。你應該能夠遵循相同的工作流程。 – MrChristine

回答