如何序列化一個pyspark管道對象？

我試圖序列化一個PySpark Pipeline對象，以便以後可以保存和檢索它。嘗試使用Python pickle庫以及PySpark的PickleSerializer，dumps()調用本身失敗。如何序列化一個pyspark管道對象？

在使用本機pickle庫時提供代碼段。

pipeline = Pipeline(stages=[tokenizer, hashingTF, lr]) 
with open ('myfile', 'wb') as f: 
    pickle.dump(pipeline,f,2) 
with open ('myfile', 'rb') as f: 
    pipeline1 = pickle.load(f)

提示以下錯誤：運行時：

py4j.protocol.Py4JError: An error occurred while calling o32.__getnewargs__. Trace: 
py4j.Py4JException: Method __getnewargs__([]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344) 
    at py4j.Gateway.invoke(Gateway.java:252) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:209) 
    at java.lang.Thread.run(Thread.java:785)

是否可以序列化PySpark Pipeline對象？

來源

2016-04-15 Dinoop Thomas

從技術上講，你可以很容易地泡菜Pipeline對象：

from pyspark.ml.pipeline import Pipeline 
import pickle 

pickle.dumps(Pipeline(stages=[])) 
## b'\x80\x03cpyspark.ml.pipeline\nPipeline\nq ...

你不能泡菜是什麼星火Transformers和Estimators其中只有大約JVM對象的瘦包裝。如果你真的需要這個你可以在一個函數把這個包，例如：

def make_pipeline(): 
    return Pipeline(stages=[Tokenizer(inputCol="text", outputCol="words")]) 

pickle.dumps(make_pipeline) 
## b'\x80\x03c__ ...

，但因爲它僅僅是一段代碼，不存儲任何持久數據它看起來並不特別有用。

來源

2016-04-15 15:25:42 zero323

這適用於我嘗試使用空管道對象 - pickle.dumps（Pipeline（stages = []）），但是當我嘗試用階段醃製Pipeline對象時，它仍然失敗。嘗試了你提出的方法格式，但是如果我嘗試pickle.dumps（make_pipeline（）），它仍然會失敗並出現相同的錯誤。 –

我會:)再看看我的代碼'pickle.dumps（make_pipeline）'和你的'pickle.dumps（make_pipeline）'。我只醃一個可用於生成管道的對象，而不是管道本身。 – zero323

如何序列化一個pyspark管道對象？

回答

相關問題