distributed-computing

0熱度

1回答

我已經在1000個商品框的羣集上部署了應用程序。在啓動時，應用程序的每個實例都會從數據庫加載不重要的數據量，並將其用作緩存。在一天中，大約20％的緩存數據需要更新。幾乎同時更新整個集羣的內存數據的有效方法是什麼？我想到了JMX，Zookeeper，但不確定這是否真的有效/足夠快。

2熱度

2回答

Hazelcast ScheduledExecutorService

使用ScheduledExecutorService來自hazelcast 3.8我有一個內存不足的例外。事情是我正在提供一項服務，應該在一天中提醒用戶關於某些事件。任務的執行應該是容錯的。用戶設置了新的提醒，這是ScheduledExecutorService的一項任務，因此每天的任務數量可能幾千。每個任務使用時間表（Runnable命令，長延時，TimeUnit單元）作爲一次性動作添加到調度

1熱度

1回答

風暴拓撲：正確的方法ACK當兩個螺栓有相同的源螺栓

我是相當新的風暴，最近改變了我的螺栓從IRichBolt 而不是BaseBasicBolt繼承，這意味着我現在負責ACKING的和失敗一個元組根據我自己的邏輯。 My topology looks like this: 螺栓A向螺栓B和C發出相同的元組，每個堅持數據到卡桑德拉。這些操作不是冪等的，並且包含對兩個不同計數器列族的更新。我只對失敗的元組感興趣，並在Cassandra的某些異常（不

1熱度

1回答

DB訪問

我打算下一代我開發一個分析系統，我想使用的MapReduce/Stream-Processing平臺，如Flink之一，Spark Streaming等對於分析實現它的，映射器必須具有數據庫訪問權限。所以我最關心的是，當一個映射器是並行的，來自連接池的連接都將被使用，並且可能有一個映射器無法訪問數據庫。我該如何處理？這是我需要關注的東西嗎？

0熱度

1回答

分佈式架構如何適用於動態和靜態內容

這是我的場景。我有地圖平鋪在服務器不同的縮放級別創造了數千個映射磚。目前這在一個EC2實例上運行。我想堅持使用AWS。當前的工作流程 - 一種用於瓷磚請求時，nginx的檢查，如果在高速緩存中存在瓷磚。如果該圖塊存在，它就會顯示出來。如果它不存在，它會將請求傳遞到一個貼圖創建腳本，該腳本既將新創建的貼圖提供給用戶，也將其緩存以供將來使用。當需要創建大量圖塊時，這開始陷入困境。我想把它移到一個

9熱度

1回答

分佈式互相關矩陣計算

如何計算大型（> 10TB）數據集（可能採用分佈式方式）的皮爾森互相關矩陣？任何有效的分佈式算法建議將被讚賞。更新：我看了阿帕奇火花MLIB相關 Pearson Computaation: /home/d066537/codespark/spark/mllib/src/main/scala/org/apache/spark/mllib/stat/correlation/Correlation

-2熱度

2回答

如何將matlab與hadoop集成

我對分佈式圖像處理感興趣。我有一個包含32個節點的Hadoop集羣，我希望在節點上分發圖像，處理它們，然後從每個節點收集結果（更像是map-reduce）。請解釋分佈式圖像處理的所有可能方式（如使用matlab分佈式服務器，使用Hadoop集羣等）。

2熱度

1回答

通過Aurora在mesos大泊塢窗圖像發射工作可能會很慢

當啓動一個使用一個相當大的泊塢窗圖像（〜2GB）有實際開始執行任務前，漫長的等待時間通過極光在mesos的任務。即使任務之前已經被啓動，我們預計泊塢窗圖像已經提供給工作節點，還有一段等待時間取決於圖像大小的任務實際啓動之前。使用docker，你可以立即啓動一個容器，只要它已經在你的圖片列表中，那麼容器容器是否也不支持這種「緩存」？這個功能是否可以配置？我還沒有嘗試過使用docker conta

-3熱度

2回答

如何安裝虛擬機？

我正在使用MPI（消息傳遞接口）的分佈式系統上的項目。我需要多個系統進行模擬，但我只有一個系統。我如何在我的系統上安裝虛擬機來達到目的？操作系統：Ubuntu的15.04

1熱度

1回答

針對EhCache的分佈式驅逐建議最佳實踐？

我有多個節點運行使用ehcache進行本地緩存的JVM Spring應用程序。我想從社區中找出最佳做法是如何在整個節點集羣中正確執行特定元素的緩存逐出。例如，如果在節點1上，我們意識到我們需要驅逐id 123的項目（或使用CachePut進行更新），則我們還需要在所有其他節點之間驅逐（或CachePut）。我目前做的方式是節點1，通知使用Redis的發佈/訂閱強制所有節點上的所有其他節點驅逐I