在Scala數據框中用公用密鑰存儲大量時間序列數據

Question

我想在Spark數據框中存儲超過200,000個時間系列變量，並且要確保每個時間系列的日期與主鍵集匹配在1-1-1930和1-1-2017之間的所有日子。最終目標是構建基於貝葉斯的模型，該模型使用許多時間序列作爲特定時間序列的預測變量。眼下

+---------------------+----------------------+ 
|timeSeries1_date  |timeSeries1_value  | 
+---------------------+----------------------+ 
|   1997-01-01|     10.49| 
|   1997-01-02|     15.64| 
|   1997-01-03|     53.06| 
|     ....|     ....| 
+---------------------+----------------------+ 

我試圖做一個完整的外部聯接每個額外的時間序列增加了總體組時間序列：我讀取XML時間串聯成星火數據幀，看起來像這樣

allSeries = allSeries.join(series, allSeries.col("date") === newSeries.col("timeSeries2_date"), "outer") 
allSeries = allSeries.drop("timeSeries2_date") 

輸出看起來是這樣的：

+---------------------+----------------------+----------------------+ 
|date     |timeSeries1_value  |timeSeries2_value  | 
+---------------------+----------------------+----------------------+ 
|   1997-01-01|     10.49|     11.93| 
|   1997-01-02|     15.64|     null| 
|   1997-01-03|     53.06|     43.04| 
|     ....|     ....|     ....| 
+---------------------+----------------------+----------------------+ 

此連接變爲它是不可用的點極其緩慢。我的經驗主要是關係數據庫，所以我無法理解這種情況下正確的方法。我甚至需要將這些數據加入到相同的Dataframe中？有沒有更有效的方法來做到這一點？

Answer 1

您應該避免在大型數據集上使用交叉連接 - 正如您所提到的那樣，速度非常慢。

你可以通過時間戳分組數據（你需要一個時間粒度 - dayofmonth，hour，month或year）解決您的問題，然後用aggAPI或定製UDAF應用聚合函數。舉例來說，如果你的任務是計算平均每日價格以下數據幀：

scala> data.show() 
+----------+-------+ 
| timestamp| price| 
+----------+-------+ 
|1997-01-01| 10.49| 
|1997-01-01|1150.63| 
|1997-01-02| 15.64| 
|1997-01-03| 53.06| 
+----------+-------+ 

可以按如下步驟實現它：

scala> data.groupBy(dayofmonth(col("timestamp")).alias("day")).agg(mean(col("price")).alias("mean_daily_price")).show() 
+----+-----------------+ 
|day |mean_daily_price | 
+----+-----------------+ 
| 1|580.5600000000001| 
| 3|   53.06| 
| 2|   15.64| 
+----+-----------------+