scala

0熱度

2回答

我試圖計算每個「DayOfWeek」的「ViewTime」和每個「id」的每個「DayOfWeek」的總和和平均值。作爲一個例子，當DayOfWeek ==「Monday」時，我試圖做到這一點。我試圖製作一個id列表和一個ViewTime列表，但遇到以下錯誤。什麼是最好的解決方案？ case class ds(DayOfWeek : String, id: String, ViewTime: Lo

0熱度

1回答

akka系統 - 在演員之間執行共同邏輯的最佳實踐

我對akka演員系統非常陌生，並且漫遊在演員中執行共同邏輯的最佳實踐。所以這裏有一個例子：我有以下演員： class MyActor @Inject()(eventBus: EventBus) extends Actor{ eventBus.subscribe(context.self, Topics.TimeoffPolicy) override def receive:

4熱度

1回答

如何在最新的Akka（2.4.6）中節流Flow？

如何在最新的Akka（2.4.6）中節流Flow？我想限制Http客戶端流量，將請求數量限制爲每秒3個請求。我在網上找到了下面的例子，但是它對於舊的Akka和akka流API改變了太多，我無法弄清楚如何重寫它。 def throttled[T](rate: FiniteDuration): Flow[T, T] = { val tickSource: Source[Unit] = Tic

1熱度

2回答

性能降低讀取文件拼花與斯卡拉在星火

我從一個數據幀中階保存在S3存儲桶分區文件 data_frame.write.mode("append").partitionBy("date").parquet("s3n://...") 當我讀到這個分區的文件，我嘗試很慢的表現，我只是在做一個簡單的組由 val load_df = sqlContext.read.parquet(s"s3n://...").cache() 我也嘗試 load_d

1熱度

1回答

Scalatest Matcher - 檢查單個值是否存在於一組值中

我正在生成一個值，並且我知道它可能的值。我想寫這個 val myInt = someFunction() myInt shouldBe oneOf (1, 2, 3) 然而，這似乎並沒有爲我工作作爲Scalatest 3 M15的。我的解決方法是 List(myValue) should contain atMostOneOf (1, 2, 3) 這是一個更多的混淆閱讀和理解。有沒有辦

0熱度

2回答

節儉調試中存在的問題與我的欺騙服務器

我有一個簡單節儉服務器，在斯卡拉與欺騙來實現： import com.twitter.util.{ Await, Future } import com.jakiku.thriftscala.{ RealTimeDatabasePageImpressions, PageImpressions } import com.twitter.finagle.Thrift im

5熱度

2回答

spray-json無法找到JsonReader的類型列表[T]

我正在爲案例類創建自定義json讀取器，但無法找到用於其他案例類的List [T]的隱式JsonReader類型類。當我檢查DefaultJsonProtocol時，它已經隱含了集合的格式; implicit def listFormat[T :JsonFormat] = new RootJsonFormat[List[T]] { def write(list: List[T]) =

0熱度

1回答

apache spark sql數據框過濾器按字符串多規則

我會使用火花數據框來搜索內容'喜歡' ，我們可以使用'或'功能像sql'||'像這樣過濾。 voc_0201.filter(col("contents").like("intel").or(col("contents").like("apple"))).count 但我必須過濾很多字符串，我怎麼能過濾字符串列表或數組到數據框？感謝

2熱度

1回答

定義文件輸入的手動分割算法

我是Spark和Hadoop生態系統的新手，已經愛上它了。現在，我試圖將現有的Java應用程序移植到Spark。該Java應用程序的結構方式如下：讀取文件（S）逐個與一個自定義的解析器的類，它的輸入數據的一些繁重的計算一個BufferedReader。輸入文件的大小爲1到最大2.5 GB。將數據存儲在內存中（在HashMap<String, TreeMap<DateTime, List<D

1熱度

1回答

如何在FlowShape中獲得連接的入口和出口實例？

如何獲得連接Inlet和Outlet的實例FlowShape？考慮下面的例子 def throttleFlow[T](rate: FiniteDuration) = Flow.fromGraph(GraphDSL.create() { implicit builder => import GraphDSL.Implicits._ val ticker = Source.tic