Spark Graph中的Complee圖的分區策略X

Question

我用Spark graphX創建了一個圖，其中每個頂點直接連接到圖的每個其他頂點，即完成圖。 如果任何人都可以建議這種情況的好分區策略或任何想法來實現自定義分區策略。

我有100萬個頂點和5億條邊。

任何想法或建議與此相關將不勝感激。 在此先感謝。

Answer 1

如果您有完整的圖表，則不必關心複雜的分區算法。只需要使用GraphX已經實現的隨機分區方法。

如果您有n個圖頂點和k個分區，任何balanced (edge-cut) partitioning strategy都會爲每個分區分配約n/k個頂點，從而導致每個分區的輸出邊到其他分區（nn/k個）：每個頂點連接到另一個頂點在另一個分區上。