通過Python的多部分/線程下載？

Question

我見過幾個線程downloaders在線，甚至有幾個multi-part downloaders（HTTP）。

我還沒有把它們看作是一個類/函數。

如果您有任何人有類/功能，我可以放入任何需要抓取多個文件的應用程序中，我會非常感激。

如果有這樣的庫/框架（或程序的後端），請指示我走向它？

Answer 1

Threadpool克里斯托弗阿恩特可能是你在找什麼。我已經使用this「易於使用的面向對象的線程池框架」來達到您描述的確切目的，並且效果很好。請參閱鏈接頁面底部的usage examples。它確實很容易使用：只需定義三個函數（其中一個函數是一個可選的異常處理程序代替默認處理程序），然後您就可以開始使用了。

從http://www.chrisarndt.de/projects/threadpool/：

• 面向對象的，可重複使用的設計
• 提供回調機制來處理結果，因爲他們從工作線程返回。
• WorkRequest對象包裝分配給工作線程的任務，並允許將任意數據輕鬆傳遞給回調。
• 使用Queue類可以解決大多數鎖定問題。
• 所有工作線程都是守護進程的，所以它們在主程序退出時退出，不需要加入。
• 線程一旦創建就開始運行。無需啓動或停止它們。您可以隨時增加或減少池大小，多餘的線程將在完成當前任務時退出。
• 在將最後一個任務分配給它之後，您不需要保留對線程的引用。你只是告訴它：「當你完成後，不要回來找工作！」
• 線程在等待分配任務時不會吃掉週期，只是在任務隊列爲空時（儘管它們每隔幾秒鐘會喚醒以檢查它們是否被解除），它們就會阻塞。

也可在http://pypi.python.org/pypi/threadpool，easy_install或作爲顛覆檢查（參見項目主頁）。