如何爲pregel分割圖以最大化處理速度？

Question

我有一個衆包應用程序。收集用戶的數據，然後處理，然後更新以供所有人查看。數據收集幾乎是實時的。處理速度隨着用戶（數據節點）的增加而增加。我需要調整這個。

看看基於圖的模型的縮放比例，mapreduce似乎很有名。有沒有比較它與其他技術的基準文件？ Pregel令人印象深刻。請向我指出關於pregel中的'分區'的任何線索，即如何智能地分割一個圖表，以便將進程相互之間的差距最小化。

Answer 1

爲了最大限度地減少執行時間而對圖進行「智能」劃分的問題是一個有趣的問題，但這並不簡單，它取決於您的數據和算法。 您可能會發現，在實踐中，這不是必要的，而且隨機分區足夠好。

例如，如果您有興趣探索類似Pregel的方法，您可以查看Apache Giraph並嘗試使用不同的分區技術。