Dataframes to EdgeRDD（GraphX）使用Scala api轉換爲Spark

Question

有沒有從Spark DataFrame轉換爲EdgeRDD而不使用Scala代碼中的硬編碼類型的好方法？我見過的例子用例類來定義EdgeRDD的類型。

讓我們假設我們星火DataFrame有StructField("dstID", LongType, false)和("srcID", LongType, false)和0之間和22額外StructField（我們都制約這使我們可以用一個TupleN代表他們）。通過抓取DataFrame中的類型來定義EdgeRdd[TupleN]有沒有一種簡潔的方法？作爲動機，考慮到我們正在加載包含類型信息的Parquet文件。

我對Spark和Scala很新，所以我意識到這個問題可能會被誤導。在這種情況下，我希望學習關於這個問題的「正確」思考方式。

Answer 1

可能最簡單的方法就是映射Dataframe中的Row對象（使用map）並返回該方式。