scala

1熱度

1回答

我想知道Spark將在哪些情況下作爲UDAF函數的一部分執行合併。動機：我在Spark項目的窗口中使用了很多UDAF函數。我經常想回答這樣一個問題：信用卡交易在同一個國家與30天窗口中的當前交易進行了多少次？該窗口將從當前事務開始，但不會將其包括在計數中。它需要通過當前交易的價值來了解過去30天內哪個國家/地區的數量。 val rollingWindow = Window .p

-2熱度

1回答

通過SBT進行Docker化Scala應用程序的Marathon Healthcheck

我正在使用Marathon和Mesos。我的應用程序基於Scala，我正在使用SBT docker插件來dockerize應用程序並部署到Marathon。應用程序是異步的（基於隊列），並且不通過HTTP調用。如何爲異步應用程序執行健康檢查，並且可以在此處利用SBT Scalatest。該應用程序是dockerized的，所以我們如何在dockerized應用程序中調用Scalatest。有什麼想

0熱度

1回答

用sbt和IntelliJ IDEA管理依賴關係

我正在開發一個後端項目，第一次使用IntelliJ IDEA的Scala和Play Framework。我已經讀了很多文件和主題： SBT Library dependencies doc IntelliJ support post Another post從計算器我不明白如何導入依賴關係。當我嘗試附加新的依賴項時，IntelliJ強調它並顯示「未知問題，未解決或索引」或日誌顯示並顯示「SB

0熱度

1回答

訪問私有變量在斯卡拉測試沒有鑄造

我需要你的幫助，我有這個斯卡拉問題。我有一個類的層次結構：車輛只有每個車輛的共同變量，然後是3個子類：Car，Truck和MotorCycle，每個人都有自己的特定變量。我使用模式匹配在輔助對象的方法來做這取決於車輛的類型的一些變換： object Transformation { def someTransformation(vehicle:Vehicle):Vehicle = {

0熱度

1回答

Pureconfig類型安全配置與層次的根密鑰

我有以下application.conf並試圖找出定義我的課班上最好的方式來加載配置： allKeys { mysql { dev { host = <host1> user = <user1> } prod { host = <host1> user = <user1> } hdfs {

0熱度

1回答

Scala中Tuple成員的重新排序

如何重新排列元組的成員？我有2元組的列表如下 ((115,vp,London,1001),(2,ZIP1,ZIP2)) 我要重新排序的元組作爲 ((vp,London), (115,1001,2,ZIP1,ZIP2))

0熱度

1回答

錯誤而使用PostgreTable JDBCUtils的truncateTable方法使用星火

我試圖用JDBCUtils截斷表從星火postgre_table，但它拋出下面的錯誤 < console>:71: error: value truncateTable is not a member of object org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils val trucate_table = JdbcUtils.t

2熱度

1回答

作爲_：type寫成的scala符號是什麼？

我遵循scala教程。在功能上的文字，它具有以下符號： (_ : *type*) => println("pressed") 例如， (_ : Int) => println("pressed") 在這個符號，我不明白（_：型）手段。

0熱度

1回答

如何將行轉換爲火花數據幀中的列，scala

有什麼方法可以將數據幀行轉置爲列。我有以下結構作爲輸入： val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2", "")).toDF("MemberID", "EncounterID", "entry") in

1熱度

1回答

轉化油滑流數據，並使用阿卡的Http

目的是從數據庫流數據，在這個組塊數據的執行一些計算（該計算返回一些情況下類的未來）發送分塊響應，併發送該數據作爲分塊的響應給用戶。目前，我能夠流式傳輸數據併發送響應，而無需執行任何計算。但是，我無法執行此計算，然後傳輸結果。這是我實施的路線。 def streamingDB1 = path("streaming-db1") { get { val src = Source.