starcluster

1熱度

2回答

我正在研究開源工具，它必須在EC2中的集羣上運行，組織爲「一個主 - 幾個從屬」方式。我需要一些關於如何以最簡單但可靠的方式正確組織事情的建議。我基本上需要的是將在主實例上運行（其中用戶手動運行）代碼並執行以下操作： a）運行N個從實例（N由用戶來） B）每個實例啓動並運行後 - 通過SSH連接並啓動一些內容。三）跟蹤上從實例活着（例如通過簡單的ping命令他們） d）如果從實例失敗 - 確

7熱度

2回答

在R中用於並行處理的雪（和降雪）用於並行處理

與我之前的similar SO question相比，我嘗試使用AWS上的降雪/降雪來進行並行計算。我所做的是：在sfInit()功能，我提供的公共DNS來socketHosts參數，像這樣 sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com")) 錯誤返回Permission d

1熱度

2回答

如何動態調整StarCluster/qsub/EC2以跨多個節點運行並行作業

我是使用Startcluster/qsub/grid引擎運行並行作業的新手，我嘗試閱讀其他相關文章。我仍然不確定如何爲我的特定需求構建可擴展的解決方案。在繼續進行這項工作之前，我想先提出一些建議。這裏是我的要求：我有一個巨大的tar文件[〜40 - 50 GB，它可以達到100GB] ----->沒有太多我可以做這裏。我接受一個巨大的單個tar文件作爲輸入。我要解壓縮它 ----->我運行t

5熱度

3回答

在Google Compute Engine上設置和運行網格作業的工具？

我需要在Google Compute Engine上設置並運行「令人尷尬」的並行作業。我正在尋找工具來促進這一點。在EC2上，我使用MIT的Starcluster來設置羣集，然後將作業提交給SGE。 Google Compute Engine還有類似的工具可用嗎？如果沒有，我可能會手動設置Condor Cluster來完成這些工作。嗡嗡聲。

0熱度

1回答

在EC2上運行C仿真

我一直在SGE集羣上運行並行，獨立的仿真，並希望轉換爲使用EC2。我一直在尋找StarCluster的文檔，但由於缺乏經驗，我仍然缺少一些東西。 1）我的代碼是用C語言編寫的，使用GSL - 我需要在虛擬機上安裝GSL並在那裏編譯，還是可以預編譯代碼？是否有任何教程涵蓋EC2的確切用法？ 2）我需要運行大概10,000個CPU小時的代碼，但我可以很容易地將它設置爲多個短實例或更少，更長的作業。鑑於

1熱度

1回答

如何使StarCluster AMI與IPython 0.13一起使用？

我試着在兩個不同的StarCluster AMI（它們的默認64位Ubuntu 11.10和QIIME 1.5映像）上升級IPython。在任何一種情況下，當我啓動羣集時，初始化腳本都掛在'正在等待JSON連接器文件...'。我登錄到實例，實際上，即使一個ipcluster守護進程正在運行，它也沒有將任何JSON文件寫入profile_default/security。也許這是IPython 0

3熱度

1回答

並行處理雲中的小函數

我有幾百萬/十億（10^9）個數據輸入集，需要處理。他們很安靜小< 1kB。他們需要大約1秒的時間來處理。我已閱讀了很多關於Apache Hadoop，Map Reduce和StarCluster的信息。但我不確定什麼是最有效和最快的方式來處理它？我在考慮使用Amazon EC2或類似的雲服務。

5熱度

1回答

在AWS上使用starcluster和ipython進行集羣計算

我正嘗試使用AWS上的集羣計算進行一些實驗。我在這方面是全新的，並且有一些問題。我試圖按照這裏找到的教程：http://star.mit.edu/cluster/docs/latest/plugins/ipython.html#using-the-ipython-cluster。我使用星羣啓動具有以下內容的羣集實例： starcluster start mycluster 一切都如預期的那樣出

5熱度

1回答

在Amazon ec2上部署科學python算法

我有一個Python科學模型，它調用一些C代碼並使用numpy，scipy和許多地理分析模塊。我想將它部署在EC2上，但我對EC2還不太瞭解。我已經檢查過可以在設置從StarCluster AMI派生的AMI之後使用StarCluster包來部署我的堆棧。這些已經有numpy，scipy和ipython，所以我只需要添加地理模塊。我的計劃是編寫一個在客戶機器上運行的獨立GUI，並確保他們的輸入

0熱度

1回答

所有羣集計算庫是否與星羣集兼容？

我有一個高度線程化的應用程序在亞馬遜EC2上運行。我會將此應用程序轉換爲EC2上的羣集。我想用starcluster作爲它易於管理集羣的方式。不過，我是集羣/分佈式計算的新手。一個谷歌搜索後，我發現Python庫的集羣計算如下表： http://wiki.python.org/moin/ParallelProcessing（看看集羣計算部分）我想知道是否所有的圖書館將與starcluster工