如何培養給予RDD

Question

SparkML梯度推進分類器鑑於以下RDD

training_rdd = rdd.select(
    # Categorical features 
    col('device_os'), # 'ios', 'android' 

    # Numeric features 
    col('30day_click_count'), 
    col('30day_impression_count'), 
    np.true_divide(col('30day_click_count'), col('30day_impression_count')).alias('30day_click_through_rate'), 

    # label 
    col('did_click').alias('label') 
) 

我感到困惑的語法訓練梯度推進分類器。

我正在學習本教程。 https://spark.apache.org/docs/latest/ml-classification-regression.html#gradient-boosted-tree-classifier

但是，我不確定如何將我的4個特徵列放入向量中。因爲VectorIndexer假定所有功能都已在一列中。

Answer 1

您可以使用VectorAssembler來生成特徵向量。請注意，您必須先將rdd轉換爲DataFrame。

from pyspark.ml.feature import VectorAssembler 
vectorizer = VectorAssembler() 

vectorizer.setInputCols(["device_os", 
         "30day_click_count", 
         "30day_impression_count", 
         "30day_click_through_rate"]) 

vectorizer.setOutputCol("features") 

啥都，你將需要把vectorizer爲第一階段爲Pipeline：

pipeline = Pipeline([vectorizer, ...])