Apache Spark - 三維數據的最佳數據結構是什麼

我正在處理大量不同三維數據的應用程序。三維數據相對較小（如100 x 100 x 1000），但可能有數百萬這些對象。現在我想知道是否有人在微風中處理這些數據的經驗。儘管我可以使用嵌套數據結構（如向量矩陣），但通過索引（x，y，z）解決該結構的單個值很重要。定義像Point3d（x，y，z）這樣的自己的結構是更好嗎？但是x，y，z是矢量本身 - 或者使用DenseMatrix等預定義的微風類。我的問題是如何影響這些替代品的表現。Apache Spark - 三維數據的最佳數據結構是什麼

感謝您的答覆羅爾夫 - 迪特爾

來源

2016-07-01 kumaro

你想達到什麼目的？對於簡單的索引，微風可能不是你想要的，即使是apache-sparc可能會對數百萬個對象進行矯正，這取決於你的要求... – TilmannZ

以我的經驗，性能，簡單的物體更好。這意味着僅使用基本類型，不使用嵌套對象等。簡單對象的序列化速度更快，而且體積更小，因此您可以將更多內容打包到內存中。

在你的情況下，我認爲使用一個9元素的元組比3個元素的元組要好。

(x1, x2, x3, y1, y2, y3, z1, z2, z3) 
is better than 
((x1, x2, x3), (y1, y2, y3), (z1, z2, z3))

來源

2016-07-01 17:38:25 Dikei

感謝Dikei，我是按照你的建議做的 - 一個非常大的平面地圖。它需要一些邏輯來提取正確的值進行處理，但我看到的性能很好。 – kumaro

Apache Spark - 三維數據的最佳數據結構是什麼

回答

相關問題