如何將字符串從csv轉換爲Apache Spark MLlib

Question

我想從CSV加載數據，並將它們準備爲Java類中Apache Spark的多類分類或迴歸MLlib算法。現在我的CSV有3列：

id,main_user,users 
1,bob,"bob,charlie,lee,john" 
1,grorge,"george,charlie,smith" 
2,harvey,"harvey,marley,bob" 
2,smith,"smith,name1,name2" 
3,william,"william,charlie,george" 
3,.....etc... 

如何最好地轉換字符串？第1列和第2列。 我將不勝感激任何示例。

Answer 1

在這裏，您可以在三種語言

https://spark.apache.org/docs/latest/ml-features.html#tf-idf-hashingtf-and-idf

你必須創建特徵向量找到一個例子。 「我們的特徵向量可以傳遞給學習算法。」

希望它可以幫助