distributed-computing

    1熱度

    2回答

    MPI - 在多臺計算機上執行程序

    我試圖在兩臺計算機上執行mpi程序。 第一臺計算機：192.168.0.101 第二臺計算機：192.168.0.100 我可以在一臺計算機上執行多個進程，但是當我嘗試做這樣的事情（我使用命令提示符在192.168.0.101）： mpiexec -hosts -2 192.168.0.100 192.168.0.101 "\\192.168.0.101\temp\mpi.exe" 我得到一些
    c networking mpi distributed-computing hosts 2016-09-26

    1熱度

    1回答

    我得到錯誤，而原絲的服務，同時Hadoop配置

    原絲的守護進程， 啓動資源管理器，登錄到/opt/hadoop/logs/yarn-root-resourcemanager-Web.out [Fatal Error] yarn-site.xml:24:1: The end-tag for element type "property" must end with a '>' delimiter. localhost: starting node
    xml hadoop syntax-error yarn distributed-computing 2016-10-01

    2熱度

    1回答

    Spark RDD：如何最有效地計算統計信息？

    假設元組的RDD存在類似如下： (key1, 1) (key3, 9) (key2, 3) (key1, 4) (key1, 5) (key3, 2) (key2, 7) ... 什麼是計算對應於每個關鍵統計數據的最有效的（和，理想情況下，分佈式）的方式？ （此刻，我要找計算標準偏差/方差，尤其如此。）據我所知，我的選擇權相當於： 使用colStats function in M
    apache-spark pyspark distributed-computing rdd apache-spark-mllib 2016-10-11

    1熱度

    1回答

    TestHazelcastFactory客戶端模擬不工作

    我試圖用TestHazelcastFactory使嘲笑hazelcast客戶端連接到嘲笑HazelCast intance.Here是我曾嘗試 服務器 TestHazelcastFactory factory = new TestHazelcastFactory(); HazelcastInstance instance= factory.newHazelcastInstance(config)
    java distributed-computing hazelcast 2016-11-03

    6熱度

    2回答

    Pyspark簡單的重新分區和toPandas（）無法完成只有600,000+行

    我有JSON數據，我正在閱讀到一個數據框與幾個字段，重新分區它基於兩列，並轉換爲熊貓。 該作業在僅有600,000行數據的EMR上保留失敗，並出現一些模糊的錯誤。我還增加了火花驅動程序的內存設置，但仍然沒有看到任何分辨率。 這裏是我的pyspark代碼： enhDataDf = ( sqlContext .read.json(sys.argv[1]) ) enhDa
    apache-spark memory pyspark distributed-computing bigdata 2016-10-01

    2熱度

    2回答

    火花劃分/集羣執行

    我將使用大量的結構化文件的如下： /day/hour-min.txt.gz 以總共14天。我將使用一個由90個節點/工人組成的羣集。 我正在閱讀與wholeTextFiles()的所有內容，因爲它是允許我正確分割數據的唯一方法。所有的計算都將在每分鐘的基礎上完成（所以基本上每個文件），並在最後減少一些步驟。大約有20,000個文件;如何有效地對其進行分區？我是否讓火花決定？ 理想情況下，我認爲
    file apache-spark distributed-computing partitioning bigdata 2016-10-02

    1熱度

    1回答

    拒絕訪問屬性權限的Java

    新並行/分佈式計算和我正在嘗試編寫的客戶端 - 服務器程序有問題。應該發生的事情是服務器從客戶端收到一個整數，然後將總和的所有數字（例如，用戶輸入5，服務器計算1 + 2 + 3 + 4 + 5，服務器返回15）返回總和。我仍然試圖弄清楚，所以我在客戶端硬編碼輸入。 這是我在服務器端： import java.rmi.*; import java.rmi.server.*; import ja
    java parallel-processing client-server rmi distributed-computing 2016-10-07

    0熱度

    1回答

    順序一致性

    是以下順序一致性 P1：W（x）1 R（x）1 ----------------------- R （x）的1 P2：W（X）2 ------------- R（X）2 R（x）的1 P3：W（X）3 R （x）3 ---------------------- R（x）1 我相信這是順序一致的，因爲程序順序是由個人處理器
    parallel-processing distributed-computing 2016-10-11

    3熱度

    2回答

    如何在kafka中創建自定義序列化程序？

    內只有少數像串行， org.apache.kafka.common.serialization.StringSerializer org.apache.kafka.common.serialization.StringSerializer 我們如何創建自己的自定義序列？
    java apache-kafka distributed-computing kafka-consumer-api 2016-10-20

    0熱度

    1回答

    你什麼時候在分佈式系統中使用一致性算法？

    正如我所理解的分佈式系統，我們應該處理網絡分區故障，這是通過使用相同數據的多個副本來解決的。 這是我們使用共識算法的唯一地方嗎？ 2PC/3PC/Paxos有什麼區別（是3PC的paxos修改版本嗎？如果是的話2PC/3PC，PC也有共識算法嗎？）
    database distributed-computing distributed-database 2016-10-26
最新問題