我對Spark很新,我有一個問題。在apache-spark RDD中處理多個'行'
我嘗試用一些數據做簡單的情感分析。 在數據文件中,每行包含產品評論。
這裏是我的處理一行代碼:
// wordlist
val pos_file = "/user/cloudera/Data/pos_list.txt"
val neg_file = "/user/cloudera/Data/neg_list.txt"
val pos_words = sc.textFile(pos_file).cache().collect().toSet
val neg_words = sc.textFile(neg_file).cache().collect().toSet
val test_string = "Line with positive or negative review."
val test_rdd = sc.parallelize(List(test_string))
val test_rdd2 = test_rdd.flatMap(line => "[a-zA-Z]+".r findAllIn line map (_.toLowerCase))
val pos = test_rdd2.filter(x => pos_words contains x)
val neg = test_rdd2.filter(x => neg_words contains x)
我現在的問題是如何處理在RDD每個記錄(在這種情況下,3):
val file_in = "/user/cloudera/Data/teststring.txt"
val data = sc.textFile(file_in).cache()
val reviews = data.flatMap(_.split("\n"))
scala> reviews.count()
res29: Long = 3
下面的代碼
val reviews2 = reviews.flatMap(line => "[a-zA-Z]+".r findAllIn line map (_.toLowerCase))
給我所有的單詞。 我想獲得每行/評論pos和neg的值。 計算非常簡單:如果一個單詞位於pos_words/neg_words集合中,則將其置於pos/neg中。實際上,我只是指出了正面或負面詞語的出現。
我該如何得到像'''''',''''''的值?
提前感謝
該行在review2會給你所有的單詞在一行,而不是一個cummulated pos/neg值。不知道你的分數應該如何計算。你能更新你的例子嗎? – maasg 2015-03-02 19:02:10
是的,你是對的。 如果我加載一個文本文件,文本文件中的每一行都是一個評論。我想爲每行/評論獲取pos和neg的值。 計算非常簡單:如果一個單詞位於pos_words/neg_words集合中,則將其置於pos/neg中。實際上,我只是指出了正面或負面詞語的出現。 我的問題是reviews2包含了所有評論的單詞,所以我無法統計單行的單詞。 – bademaster 2015-03-03 13:20:06