Pyspark ML錯誤對象有沒有屬性地圖

Question

下面是我的數據框和代碼

df=  
a b c d  
1 3 10 110  
2 5 12 112  
3 6 17 112  
4 8 110 442 

下面是我的代碼

spark =SparkSession.builder.appName('dev_member_validate_spark').config('spark.sql.crossJoin.enabled','true').getOrCreate() 
sqlCtx=SQLContext(spark) 
from pyspark.ml.linalg import DenseVector 
from pyspark.mllib.regression import LabeledPoint 
temp = df.select("a","b").map(lambda line:LabeledPoint(line[0],[line[1:]])) 

當我執行TEMP =行，我得到以下錯誤

Error:Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1- 
    1.cdh5.7.0.p0.120904/lib/spark2/python/pyspark/sql/dataframe.py", line 964, in __getattr__ 
    "'%s' object has no attribute '%s'" % (self.__class__.__name__, name)) 
AttributeError: 'DataFrame' object has no attribute 'map' 

我使用pyspark 2.1與Cloudera 5.10

我參照執行上述腳本鏈接：

https://databricks.com/product/getting-started-guide/machine-learning

請幫我解決這個問題。

Answer 1

首先請注意： 有獨立ML庫： 第（從中已經導入了線性代數庫）是pyspark.ml。 第二個是pyspark.mllib，您從中導入了LabelPoint。

試圖互操作這兩個包是一個充滿痛苦的道路。嘗試堅持一個，並堅持下去。

其次，作爲例外，你有： temp = df.select("a","b").map(...) df是DataFrame，它不具有map方法。

但請把我的第一個忠告 - 不要混用mllib和毫升模塊。

Answer 2

這是因爲Dataframe根本沒有'map'屬性。在Spark 2.0之前，它已經有了，但現在已經不復存在了。 Databricks沒有更新教程。您可以地圖通過轉換爲RDD，即df.rdd