PySpark使用函數創建多重索引配對RDD

Question

不久前，我問了一個關於使用多個鍵組織和構造RDD的問題。見PySpark Suggestion on how to organize RDD

在我目前RDD每個對象都包含一個start_time，end_time，id和position。我想分組id和time。如果兩個或多個對象具有相同的id或任何重疊時間，我會將它們組合在一起。

尋找重疊的邏輯非常簡單：

if x1.start_time > x2.start_time and x1.start_time < x2.end_time 
if x2.start_time > x1.start_time and x2.start_time < x2.end_time 

我只是不完全得到如何去使用這個邏輯創建配對RDD雖然。

任何建議將不勝感激，謝謝！

Answer 1

我認爲最簡單的方法是使用ID連接，然後過濾結果（如果使用相同的ID沒有太多）。爲此，我首先將RDD映射到（id，record），然後進行連接。