在Amazon ec2上部署科學python算法

Question

我有一個Python科學模型，它調用一些C代碼並使用numpy，scipy和許多地理分析模塊。我想將它部署在EC2上，但我對EC2還不太瞭解。

我已經檢查過可以在設置從StarCluster AMI派生的AMI之後使用StarCluster包來部署我的堆棧。這些已經有numpy，scipy和ipython，所以我只需要添加地理模塊。

我的計劃是編寫一個在客戶機器上運行的獨立GUI，並確保他們的輸入對我的模型有效。然後，獨立GUI將最多約10 GB的壓縮文檔發送到FTP位置。然後他們登錄到我在EC2上運行的網頁，並在其中配置運行屬性（實例數量，模型運行數量）。該網頁啓動一個腳本，用於在他們指定的大小的集羣上完成客戶的工作。後處理器處理模型輸出，並寫入結果網頁和圖形，這些網頁和圖形最初僅由用戶查看密碼保護。我的模型由單個迭代組成，可能需要5分鐘到3個小時。

任何人都可以提供任何建議與理想的設置與這種模式？我想我可以計算出它的科學的一部分，但我不明白的出發點是什麼，運行Web界面...

感謝

Answer 1

有趣的項目！

向部署在AWS EC2上的AMI添加模塊可以通過pip完成。首先，您需要SSH訪問您的實例。這個文檔是在這裏： http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AccessingInstancesLinux.html 然後，如果你沒有它已經安裝，您可以安裝PIP &您的附加軟件包&模塊如下：

sudo apt-get install -y python-pip 
sudo pip install numpy (already installed so no need for this) 
sudo pip install scipy (same as above) 

Ubuntu的& Debian的 sudo易於得到安裝python -numpy python-scipy python-matplotlib ipython ipython -book python-pandas python-sympy python-nose

Ubuntu 12.10和Debian 7.0中的版本符合當前的Scipy堆棧規範。用戶可能還需要爲額外的Scipy軟件包添加NeuroDebian存儲庫。 Fedora的 須藤yum的安裝numpy的SciPy的蟒蛇，matplotlib IPython的蟒蛇，大熊貓sympy蟒蛇鼻的Fedora 17的

用戶和更早則應使用PIP升級IPython的： 須藤PIP安裝--upgrade IPython中 （信息通過以上發現SciPy的文檔：http://www.scipy.org/install.html）

至於你的計劃的GUI &大文件的上傳，看看AWS S3（儘管這對文件存儲&一些限制），這取決於你想多遠，把你的解決方案，可能會使用分塊文件上傳或傳輸類似於這些文件傳輸的多部分請求sfers：

https://github.com/blueimp/jQuery-File-Upload/wiki/Chunked-file-uploads 
https://devcenter.heroku.com/articles/paperclip-s3 
https://github.com/heiflo/play21-file-upload-streaming 
https://github.com/netty/netty/issues/845 
https://github.com/playframework/playframework/pull/884 
https://github.com/floatingfrisbee/amazonfileupload 
http://blog.assimov.net/blog/2011/04/03/multi-file-upload-with-uploadify-and--carrierwave-on-rails-3/ 

（快速搜索「分塊文件上傳github上」或「分塊文件上傳谷歌代碼」應打開了很多的選擇在可用的代碼&的詳細信息方面。）

但是，對於文件上傳/傳輸更容易的方向可能是在這樣的解決方案來看看：

http://www.bucketexplorer.com/be-download.html 
https://forums.aws.amazon.com/thread.jspa?messageID=258228&tstart=0 
https://forums.aws.amazon.com/thread.jspa?messageID=257781&tstart=0 
http://www.jfileupload.com/products/js3upload/index.html 
http://codeonaboat.wordpress.com/2011/04/22/uploading-a-file-to-amazon-s3-using-an-asp-net-mvc-application-directly-from-the-users-browser/ 

無論如何，你要確保你的環境，你的EC2實例& /或您的S3存儲桶配置爲允許大文件上傳&處理。例如，您的AMIs php版本需要編譯&通過php.ini安裝以上載特定大小的文件 - 您還需要注意超時 - 您可能需要64位AMI以及一個大型EBS爲此提供動力。

至於不那麼複雜的GUI前端組件，jQuery或node.js是很好的起點。還有噸的Github上或在AWS EC2/S3論壇代碼包&文件，如下列：

https://github.com/josegonzalez/upload 

不知道您的具體要求，計劃&時間/預算限制，這是最意見，我可以給。但是，請隨時回覆此主題或直接與​​其他任何問題聯繫。