如何加速熊貓？

-1

我有一個數字運算程序，通過一個csv文件（2500行x 180列），併爲每一行執行一堆計算。它在經過每一行之後總結這些計算，然後將所有摘要放入一個新的數據框中。這需要很長的時間，大約30秒鐘左右。我期待構建另一個程序，該程序將創建這些新數據幀中的大約20個，恐怕完成整個循環需要很長時間。如何加速熊貓？

是否可以在熊貓中進行並行處理？這是加速的最佳方式嗎？

編輯：每行的摘要取決於前面的800行。

來源

2014-02-28 user1367204

這有點寬泛這個問題，這取決於你在做什麼。摘要是否依賴於其他行？聽起來好像不是這樣，導入整個csv會更好，假設它可以全部適合內存並在整個數據框或面板上執行操作 – EdChum

是的，他們是，謝謝您澄清。 – user1367204

最好發佈你認爲慢的代碼，更好的嘗試不同的策略包括時間，我們可以對更好的方法發表評論。由於行依賴於以前的行，因此將整個數據集導入多個數據框或面板然後彙總所有數據是有意義的。取決於所執行的操作，它可以非常快速 – EdChum

沒有看到您的代碼，您有幾個選項。

嘗試在cython中的代碼。 http://cython.org/
嘗試用pypy運行你的代碼。 http://pypy.org/
在更快的服務器（例如AWS）上運行您的代碼。

來源

2014-02-28 22:55:33 joel3000

如何加速熊貓？

回答

相關問題