apache-spark-mllib

0熱度

2回答

如果唯一字的總數大於10億，那麼在word2vec算法中要設置的矢量大小的最佳數量是多少？我爲word2vec使用Apache Spark Mllib 1.6.0。示例代碼： - public class Main { public static void main(String[] args) throws IOException { SparkConf conf

-3熱度

1回答

在Spark 1.6中如何避免數據傾斜問題並均勻分佈數據

您好我正在閱讀包含json格式記錄的序列文件，當讀取json記錄轉換爲Dataframe導致數據歪斜問題時，您可以看到形式Spark UI屏幕快照。如何避免這種數據歪斜問題？ val src = sc.sequenceFile(FilePath, classOf[Text], classOf[Text]) val df = sqlCntxt.read.json(src) 261級完成的任務

0熱度

1回答

爲什麼使用輸出火花庫（1 + 1）多層感知器的前面三角洲計算

看着this代碼 for (i <- (L - 2) to (0, -1)) { layerModels(i + 1).computePrevDelta(deltas(i + 1), outputs(i + 1), deltas(i)) } 我想知道爲什麼我們通過outputs(i+1)，而不是outputs(i)在上述代碼段中。據我瞭解，這只是需要S形活化層，其中有一個衍生物f'

1熱度

1回答

如何轉換org.apache.spark.mllib.linalg.SparseVector至org.apache.spark.ml.linalg.SparseVector？

怎麼把轉換成org.apache.spark.ml.linalg.SparseVector？我將代碼從mllib轉換爲ml api。 import org.apache.spark.mllib.linalg.{DenseVector, Vector} import org.apache.spark.ml.linalg.{DenseVector => NewDenseVector, Vecto

0熱度

1回答

將所有標稱變量轉換爲pyspark中的分類變量

我只是在將PySpark數據框中的所有String類型變量轉換爲分類變量之後才能在數據框上運行決策樹。由於資源限制，我不能使用熊貓，只能使用PySpark庫。我已經確定VectorIndexer作爲一種可能的解決方案，但是，我不明白如何將所有String類型列其中documentation說是可能的轉換。可能有人幫助我如何做到這一點的語法？我這樣的事情後，我： featureIndexer =

1熱度

1回答

帶二進制輸入的ALS

我有一個使用Spark ALS構建的協作系統。我想根據他們購買的產品向用戶推薦產品，而不是評分。所以我已經爲用戶購買的所有產品設置了1。並建立了一個ALS系統。預測值超過1分，rmse爲0.99。我設置了implicitprefs = True。請找到下面的代碼。 rmse爲0.99是不是太高了？這是一個正確的方法嗎？注意：我用for循環改進了迭代和排名參數。 Ratings = Ratings

0熱度

1回答

在Spark中，如何使用SparseVector將DataFrame轉換爲RDD [Vector]？

正在關注this example我爲某些文檔計算了TF-IDF權重。現在我想用RowMatrix來計算文件的相似度。但我無法將數據轉換爲正確的格式。我現在所擁有的是一個DataFrame，它的行具有（String，SparseVector）作爲兩列的類型。我應該將其轉換爲RDD[Vector]，我認爲將是一樣簡單： features.map(row => row.getAs[SparseVecto

1熱度

1回答

如何從管道

提取的詞彙，我可以通過以下方式 fl = StopWordsRemover(inputCol="words", outputCol="filtered") df = fl.transform(df) cv = CountVectorizer(inputCol="filtered", outputCol="rawFeatures") model = cv.fit(df) print(mod

0熱度

1回答

什麼因素使訓練集（5000）的訓練（fit（））極其緩慢？

我正在運行fit（），使用約5,000行的訓練集，使用LogisticRegression作爲分類器。我正在使用CrossValidator和參數網格（假設每個參數都與其他參數的所有組合一起嘗試，可能總共約有480個組合）這是本地運行的（「本地[*]」 - 所有可用內核應該被使用），並被分配12GB的RAM。相比於我們最終的訓練集，訓練集是很小的。這是運行幾天 - 不是我所期望的。有人可以提供

0熱度

1回答

使用模板進行培訓時出現錯誤https://github.com/apache/incubator-predictionio-template-text-classifier.git

我是PredictionIo的新手。我開始測試一些模板。當我用文字的分類和我做pio train 我有以下異常 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext$implicits$.rddToDataFrameHolder(Lorg/apache/spark/rdd/RD