1
一旦在Spark集羣上訓練了SparkML模型,我如何才能接受訓練的模型並使其可用於通過平穩的API進行評分?如何將SparkML模型作爲實時Web服務進行操作?
問題是它需要一個SparkContext才能被加載,但有沒有辦法'僞裝',因爲它看起來確實不是必須的,或者創建SparkContext所需的最小值是多少?
一旦在Spark集羣上訓練了SparkML模型,我如何才能接受訓練的模型並使其可用於通過平穩的API進行評分?如何將SparkML模型作爲實時Web服務進行操作?
問題是它需要一個SparkContext才能被加載,但有沒有辦法'僞裝',因爲它看起來確實不是必須的,或者創建SparkContext所需的最小值是多少?
在某些情況下 - 是的,可以。
Spark中的許多模型都可以導出爲JPMML,ML模型的標準格式。那麼你可以使用它與其他Java庫如https://github.com/jpmml/jpmml-sparkml
如何導出,你可以在這個問題 - Spark ml and PMML export。
您還可以使用星火流來計算值,但是它有更高的延遲,直到連續型處理模式是可用
對於非常耗時的計算,如推薦算法,這是我覺得很正常的預計算值並保存在數據庫中,如Cassandra
您使用哪種算法? –
你可以看看以前的這個問題:https://stackoverflow.com/questions/40533582/how-to-serve-a-spark-mllib-model – Shaido