Word2Vec模型存儲模型的單聲部

Question

val model: org.apache.spark.ml.feature.Word2VecModel = new Word2Vec().setNumPartitions(20).setInputCol("value").setOutputCol("feature").fit(copus) 
word2VecModel.save(s"$HDFS_URL/w2vmodel") 

當我保存這個模型則創建數據文件夾下只有單個分區part-r-0000-988jdu-sduj76-jh433.snappy.parquet 大小爲900 MB

val model: org.apache.spark.ml.feature.Word2VecModel =Word2VecModel.load("$HDFS_URL/w2vmodel") 

所以，當我加載此模型那麼我獲得OutOfMemory異常

有什麼辦法這個模型可以保存實木複合地板的多部分或任何其他人的事情

我是newbee所以任何建議將理解

Answer 1

巧合的是這個問題已經recently discussed on the developers lists和討論導致了JIRA票，並拉入請求：

• SPARK-19247 - 提高毫升word2vec保存/載入
• https://github.com/apache/spark/pull/16607

如果你想有一個快速的解決方案，你可以嘗試使用MLL用Spark 2.0或更高版本實現ib（SPARK-11994）。