Python將大列表分成更小的列表以檢查性能？

Question

出於性能目的拆分大型清單（超過1000項）的最佳方式是什麼？並使用大型列表的「部分」？

例如;我有一個我想掃描的10k地址列表。我怎樣才能將這個列表分成4份，並按部分完成列表以提高性能？

Answer 1

所以你想對整個列表進行一個操作，但是它按順序執行會很慢嗎？我想你想要一個工作人員池。 this有幫助嗎？

Answer 2

如果您正在閱讀列表中的所有元素，分割實際上會降低您的性能。你應該分析你的程序（如果你能夠充分簡化它，可以在這裏發佈一個問題）。

如果您沒有閱讀所有元素，爲什麼您首先使用列表？使用set或dict。兩者的操作都非常快速。

Answer 3

查看this的問題如何將任意列表拆分爲更小的塊。它沒有明確涵蓋提高性能，所以你可能要考慮查看multiprocessing模塊，以便實際操縱那些小列表，如果這正是你想要的。