延遲使用ruby線程

我寫了一個ruby腳本，其中包含要下載的文件列表（〜250）。由於順序下載需要很長時間。我想在單獨的線程中下載每個文件。儘管我已經給出了20的延遲，但它看起來像所有的線程一次觸擊服務器。因此，我得到502錯誤，並沒有下載任何文件。如何在不超載服務器的情況下並行下載所有文件。延遲使用ruby線程

#list of fiiles 
files = [] 
threads = [] 
files.each do |file| 
    threads << Thread.new(file){ | file | 
    sleep(20) 
    #Download the file using either curb or Net::HTTP 
    sleep(20) 
} 
end 

threads.each(&:join)

來源

2012-07-26 Sriharsha

你的線程都具有相同的延遲，你一次啓動它們。 – Yossi 2012-07-26 06:46:08

你應該考慮在後臺使用這樣做。

查看一些實際上不會阻塞並在背景中執行操作的寶石 - 例如DelayedJob。此外，檢查出一些railscasts的：

http://railscasts.com/episodes/128-starling-and-workling

來源

2012-07-26 06:41:58 ddb

線程怎麼樣？沒有必要嗎？ – Sriharsha 2012-07-26 06:46:37

創建從中創建新線程的線程池。這樣，您不會創建比池中提供的更多的內容，並避免崩潰應用程序/服務器。或者，看看SideKiq這是一個多線程替代後臺隊列處理器，如DelayedJob和Resque。

來源

2012-07-26 06:44:36 Kashyap

-1

threads.each {|thread| thread.join; sleep 1}

來源

2015-01-03 09:22:09 ll14m4n

延遲使用ruby線程

回答

相關問題