Spark：從REST服務創建RDD

Question

Spark中是否有可用於將RDD綁定到REST服務的開箱即用功能？也就是說，調用Web服務並獲取RDD。

或者是自己調用剩餘服務並將結果集合轉換爲RDD的最簡單方法？

謝謝。

Answer 1

你可以參考鏈接Spark-Jobserver

一些火花Jobserver的，我認爲你正在尋找的特點是：

• 「星火即服務」：簡單的REST接口的所有作業方面，上下文管理
• 啓動和停止RDD共享和低延遲作業的作業上下文;在重新啓動時更改資源
• 異步和同步作業API。同步API對低延遲作業非常有用！
• 命名的RDD按名稱緩存和檢索RDD，改進作業之間的RDD共享和重用。

希望這會有所幫助。

Answer 2

我使用Jersey客戶端，閱讀串（每行一個COMPLE JSON文件），並以該字符串做：

val stringResponse = request.request().get(classOf[String]) 
val jsonDataset = session.createDataset[String](Seq(stringResponse)) 
// try with case class 
val parsedResponse = session.read.json(jsonDataset) 

...這會導致數據框，你可以選擇的東西。