2014-04-22 25 views
0

我在研究新的GridGain發行版中的改進,並且想知道GridGain 6如何處理具有許多作業的任務。GridGain 6可以處理一個有很多作業的任務

考慮任務產生大量工作(數十萬)的情況。在GridGain 4中,我們觀察到作業在可能導致「內存不足」問題的節點上排在內存中。我們通過創建基於磁盤的隊列來限制作業提交,並在作業完成時提交排隊作業。

可以(如何?)GridGain 6處理這種情況,並有任何具體的建議?我看到有一個Streaming API可用,但可以處理我們的情況。

感謝

回答

1

我認爲你需要採取GridComputeTaskContinuousMapper類,它可以讓你有一個任務中出色工作的恆定數,然後發出一次其他工作新的工作完成的優勢。

看看GridGain附帶的ComputeContinuousMapperExample(也可在GitHub上獲得)。

+0

好的,我會的。也就是說,GridComputeTaskContinuousMapper在gridgain 6中,受到我在第一篇文章中描述的相同的內存限制 - 或者排隊的作業可以無限增長嗎?我會盡量強調它,無論 –

+0

@VinayB GridComputeTaskContinuousMapper在調用者端而不是在接收端調用。通過這種方式,您可以創造更多的工作,並在其他任務完成時提交,因此不會因工作過多而受到內存方面的限制。 – Dmitriy