parallel-python

0熱度

1回答

獲取「ImportError：No module named」與包中的並行python和方法

我試圖使用並行python爲了做一些分佈式基準測試（本質上，協調和運行一些機器上的代碼從一箇中央服務器）。我的代碼工作得很好，直到我將功能移到一個單獨的包中。從那時起，我一直在收到ImportError: No module named some.module.pp_test。我的問題實際上是雙重的：有沒有人遇到這個問題pp，如果是的話，如何解決它？我嘗試使用dill（import dill），

0熱度

1回答

在並行進程之間共享信號量對象python

當我使用並行python傳遞任何信號量對象或同步對象（如事件，管道，隊列等等）到子進程時遇到問題當我通過並行python時出現跟隨錯誤一個隊列到子進程。「通過繼承」％類型（個體經營）.__ name__ RuntimeError：隊列對象只能進程之間通過繼承共享當我用一個多進程庫 import pp import time from multiprocessing import Even

0熱度

1回答

如何告訴parallel-python進程在哪個文件夾中搜索模塊？

我正在使用安裝在常用文件夾（/ usr/lib64/....）中的NumPy 1.4.1的計算機羣集。因爲我想要使用NumPy 1.7.0，我已經安裝了它/.../myPath，並將export PYTHONPATH=/.../myPath添加到我的.bashrc，使得使用import numpy將自動加載NumPy 1.7.0。這工作正常，除了使用parallel python時的特殊性。加載在

0熱度

1回答

如何在pp中的某個函數中調用該函數中的某個模塊，其中的函數具有其他函數？

我目前使用的是並行python，並且在job_server.submit的參數中，我在模塊中添加了庫，但問題是即使該庫中還有其他庫.so我應該怎麼做？這裏是我試圖運行代碼： from tools.demo import detect_cn import pp job_server = pp.Server() f1 = job_server.submit(detec

2熱度

1回答

使用並行python來並行化網絡中的節點上的循環x

我在網絡x中做了一些複雜的計算。計算涉及爲網絡中的每個節點反覆計算一些數量。正如這樣一個計算的例子，假設我們想要計算網絡中每個節點的平均鄰近度並將該值保存爲節點屬性。下面的代碼片段對我的作品： import networkx as nx G = nx.erdos_renyi_graph(10, 0.5) def ave_nbr_deg(node): value = 0.

1熱度

2回答

如何動態調整StarCluster/qsub/EC2以跨多個節點運行並行作業

我是使用Startcluster/qsub/grid引擎運行並行作業的新手，我嘗試閱讀其他相關文章。我仍然不確定如何爲我的特定需求構建可擴展的解決方案。在繼續進行這項工作之前，我想先提出一些建議。這裏是我的要求：我有一個巨大的tar文件[〜40 - 50 GB，它可以達到100GB] ----->沒有太多我可以做這裏。我接受一個巨大的單個tar文件作爲輸入。我要解壓縮它 ----->我運行t

0熱度

1回答

並行的Python：限制在每個核心

我的下一個代碼工作procceses的數量（這僅僅是一個完整的代碼的一部分）並行蟒蛇在一臺計算機與兩個核心 import pp from scheduling import * from numpy import * def sched_pp_process(B,T,D,BL,blocks,number_block,number_core): ppservers =()

0熱度

2回答

加速PostgreSQL的添加使用Django Python腳本

從文本文件中的數據，我用的服務器是誰的配置作爲工作： RAM - 56GB 處理器 - 2.6 GHz的×16個內核如何使用shell做並行處理？如何利用處理器的所有核心？我必須從包含數百萬條目的文本文件加載數據，例如一個文件包含50萬行數據。我正在使用Django的python腳本來加載postgresql數據庫中的數據。但是，在數據庫中添加數據需要很長時間，即使我有這樣一個好的配置。服

0熱度

1回答

將函數參數間隔分解爲單獨部分時出錯。並行Python

首先，對所有代碼抱歉。我很難制定一個具體的問題。我已經修好了一段時間，只是無法讓它工作。該錯誤消息不是很有幫助。我將不勝感激一點幫助。爲了加速計算，我想對函數'EMatCreatorrx（umin，umax，vmin，vmax，stepsize，pstep，alphamax，A，rot）：'的三個實例並行執行不同的參數範圍。 umin，umax和vmin，vmax分別定義了要在u和v方向分別計算

0熱度

1回答

使用並行python和類

我很驚訝地瞭解到，在互聯網上找到關於並行python（PP）和處理類的小教程和指南。我遇到了一個問題，我想要啓動幾個同一類的實例，然後再檢索一些變量（例如並行讀取5個數據文件，然後再檢索它們的數據）。以下是一段簡單的代碼來說明我的問題： import pp class TestClass: def __init__(self, i): self.i = i d