scala

1熱度

1回答

我有Intellij IDEA社區版。我需要爲配置用於IntellJ的Apache Spark提供幫助。我想Scala..I使用crealytics獲得來自GA數據.. 我build.sbt： name := "scala-project-test" version := "1.0" scalaVersion := "2.11.8" libraryDependencies ++= Se

0熱度

2回答

獲取類字段

例如我的情況類是 case class Test(id: String, myValues: List[Item]) case class Item(id: Long, order: Long) ，我得到這樣 val checkValue: String = "id" 我想排序項測試的字符串值，我希望它看起來像 val test= Test("0", List(Item(0, 14),

-1熱度

1回答

如何將目錄中的所有文件移動到hadoop中的另一個

我正試圖使用spark scala將所有文件從目錄移動到HDFS中的另一個目錄。總之，我需要以程序化的方式找到使用hadoop fs -mv命令的方法。正如我對hadoop新手一樣，如果有人能夠提供幫助，這將會很棒。

1熱度

3回答

斯卡拉 - 使用參數化類型參數化類型

裏面我試圖編譯下面的代碼： case class Settings(settingsList:List[Setting]) abstract class Setting[T](name:String, value:T) 但是編譯器會抱怨： Error:(9, 54) class Setting takes type parameters case class Settings(settin

1熱度

2回答

單次提取類途徑

我看到由同事寫入一個方法類以下代碼： class Foo(boo: Boo){ def doSomething() {...} } 其中存在數據初始化用應用的配置數據。我想知道它比以下方法有什麼優勢。 object Foo { def doSomething(boo: Boo){...} } 的做法，我認爲，這就是其中的而不是類在一個地方創建一個更好的情況和方法在那

1熱度

1回答

使用另一個數據幀或RDD搜索數據幀

6熱度

1回答

從火花DataFrame提取`Seq [（String，String，String）]`

我有一個火花DF行Seq[(String, String, String)]。我試圖做某種flatMap的與任何東西，但我會盡力結束了扔 java.lang.ClassCastException：org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema不能轉換爲scala.Tuple3 我可以採取單行或多行從DF就好 df.map

1熱度

1回答

如何從Spark中的文本文件中獲取第二個字段（使用scala）

我想將我的MapReduce代碼轉換爲使用Scala的spark。並且無法從逗號分隔的輸入中提取第二個字段。我嘗試了多個選項，但沒有成功運行。它編譯OK，但拋出一個運行時異常：scala.MatchError: MapPartitionsRDD[2] 任何暗示會有所幫助：輸入： Australia,6,2,7690,15,1,1,0,0,3,1,0,1,0,1,0,0,blue,0,1,1,1,

0熱度

2回答

`_`缺少參數類型

我想通過多少接近列表的條目來排序列表。我決定嘗試使用sortWith，但下面的代碼片段： list.sortWith(math.abs(_ - num) < math.abs(_ - num)) 失敗，在Scala中缺少參數類型_。列表是List[Int]類型。繼其他線程，我知道_是某種類型曖昧，但我不知道爲什麼，（爲什麼下面的代碼片段不是類型曖昧）： scala> val sorted

1熱度

1回答

嵌套Scala未來需要管理阻塞嗎？

對於我的fork-join-pool（默認全局）能夠分配新線程，如果我嵌套了Futures，是否需要用阻塞{...}封裝所有單個期貨，如果它們是DB調用或其他I/O /網絡進程，例如？這是正確的嗎？ Future.sequence( blocking{ val f1 = Future(...) val f2 = Future(...) val f3 =