distributed

2熱度

1回答

下面的簡單腳本啓動時顯示其標題中顯示的參數。它的行爲不同，但通常其中一個工作人員掛起並打印這些「CreateSession仍在等待其他任務」消息。爲什麼新的MonitoredTrainingSession需要其他人？爲什麼其他人不等它開始呢？ # #!/bin/bash # python train.py --job master --task 0 & # python train.py --

0熱度

1回答

分佈式J計：來自從服務器的響應沒有返回給主站

我在同一個網絡中運行j計主從站配置。當我遠程啓動服務器時，我可以看到服務器啓動和關閉，但在主服務器中沒有響應樹或摘要報告下的響應。試過非gui模式也沒有成功。它甚至在執行時創建空白結果文件。沒有錯誤返回。 **"<?xml version="1.0" encoding="UTF-8"?> <testResults version="1.2"> </testResults>"** 而且當

3熱度

1回答

谷歌毫升引擎秤級未在遠程分佈式培訓中運行

在指定「scale-tier STANDARD_1」後，使用REMOTE分佈式命令運行張量流：。批次運行失敗.... 現在，我只能用簡單的單節點運行「規模級= BASIC」 gcloud ml-engine jobs submit training census_20171005_162623 --stream-logs --scale-tier STANDARD_1 --staging-bu

0熱度

1回答

如何在分佈式Tensorflow中實現「DistBelief」體系結構

分佈式Tensorflow的當前體系結構基於「Parameter-Server-like」框架。使用tf.device(tf.train.replica_device_setter())，所有張量「變量」被放置在「參數服務器」（「PS」）上，並且其他張量操作被分配給「工人」。據我所知，「工作人員」和「PS」之間會有很多通信開銷。原因是每個工作人員沒有沒有存儲在「PS」中的那些「變量」的本地副本，其

0熱度

1回答

dask分佈式抓取所有可用內存+ swap

我正在運行一個非常簡單的操作，或者我認爲這樣做，所以我必須做一些非常愚蠢的事情。但我用盡了選擇..所以這是一個問題。我正在使用dask分發來加載數據從parquet表配置單元/ snappy/80文件，400M /行，8列，其中，由於絕望，我只讀了一列，並計算其總和，無濟於事。我正在使用內存限制來強制內存使用率很低，但是這樣的限制被忽略。在筆記本 c=Client("192.168.33.23

0熱度

2回答

分佈式Tensorflow：CreateSession仍然只在等待不同節點

我正在嘗試獲取mnist_replica.py示例工作。根據this問題的建議，我正在指定設備過濾器。我的代碼在ps和工作任務在同一個節點上時工作。當我嘗試將節點1上的ps任務和節點2上的輔助任務放到「CreateSession仍在等待」時。例如：僞分佈式版本（作品！）節點1的終端轉儲（例如1） node1 $ python mnist_replica.py --worker_hosts=

0熱度

1回答

erlang ssh_sftp start_channel函數調用失敗

我們有一個基於erlang的分佈式系統系統，其中包含一個服務器節點和數百個客戶端節點（系統通過內部網絡分佈）。我們要求所有客戶端節點都將連接到服務器節點，並嘗試使用sftp同時下載某個文件（大多數情況下所有客戶端節點將訪問相同的文件）。我們按照下載的文件的步驟是：建立服務器節點和客戶端節點之間的ssh連接SFTP使用如下函數調用： ssh_sftp:start_channel/2。然後按照下面

1熱度

1回答

在dask分佈式fastparquet處理時間不一致

我有一個hive格式和快速壓縮的parquet文件。它適合內存，pandas.info提供以下數據。在拼花文件每組的行數僅僅是100K >>> df.info() <class 'pandas.core.frame.DataFrame'> Index: 21547746 entries, YyO+tlZtAXYXoZhNr3Vg3+dfVQvrBVGO8j1mfqe4ZHc= to oE4y

-1熱度

2回答

什麼是亞馬遜網絡服務*本機*產品最接近Apache Kudu？

我在尋找原生產品，例如任何RDS解決方案，Elastic Cache，Amazon Redshift，而不是我必須自己託管的東西。從Apache的庫杜：https://kudu.apache.org/： Kudu provides a combination of fast inserts/updates and efficient columnar scans to enable multi

1熱度

1回答

完全基於空閒而不是數據通信來調度任務

使用分佈式來調度運行在谷歌計算引擎上的大量相互依賴的任務。當我在中途啓動一個額外的工作實例時，沒有任何任務被安排到它（儘管它與調度程序一起正常登記）。我相信這是因爲（從http://distributed.readthedocs.io/en/latest/scheduling-state.html#distributed.scheduler.decide_worker）：「如果任務需要數據通信，