2013-01-11 43 views
0

我有一個任務:加快當前執行inverted index。在我看來,最好的辦法是在雲中運行它:什麼雲提供商用於實現簡單的並行算法?

  1. 將輸入文本幾個部分(或者只是抓幾個不同的文本文件)
  2. 發送短信到節點
  3. 運行對於不同的輸入數據
  4. 每個節點上的算法收集的結果,並把它們合併

我的問題是:什麼是實現它的最簡單的方法?

我現在的想法是:

  • 的Windows Azure與工人的角色 - 是它可以將不同的數據發送到節點,後來合併到一起?
  • Windows Azure和HPC調度程序 - 對於像這樣的任務是不是太強大了?我害怕配置和成本(新節點=新工作者角色?)
  • 使用任何其他雲,如亞馬遜或谷歌 - 我想在C#代碼,我熟悉微軟的技術,所以我是一個小怕他們

請給我任何建議你將如何實現這一目標,我是新來的雲計算(雖然我有一些基礎知識,例如MPI,SOA,CUDA,蔚藍的基礎)

+0

在提交此計劃之前,請確保您將文本文件發送到雲所需的時間不會超過在此處運行算法所節省的時間。 –

+0

是的,我知道,這些文件會更大,而且它們可能已經在雲端,所以我希望將它們分發到節點上不會花費很長時間。 – user963935

+1

算法的劃分和重組特性表明Hadoop可能是一個不錯的選擇。在Windows Azure的Hadoop選項(稱爲HDInsight)中,如果需要,可以使用C#編程Map和Reduce功能。 – codingoutloud

回答

相關問題