並行運行腳本紅寶石

Question

我需要轉換視頻在4個線程

比如我有活動記錄模式的視頻與標題：視頻1，視頻2，視頻3，VIDEO4，Video5

所以，我需要執行這樣的事情

bundle exec script/video_converter start 

當腳本會處理未轉換的視頻爲4個線程，例如

Video.where(state: 'unconverted').first.process 

但如果4個視頻一個轉換，下一個視頻必須被自動添加到線程

，這是什麼最好的解決辦法？ Sidekiq寶石？守護進程gem + Ruby手動線程？

現在我使用這個腳本：

THREAD_COUNT = 4 
SLEEP_TIME = 5 
logger = CONVERTATION_LOG 
spawns = [] 
loop do 
    videos = Video.where(state:'unconverted').limit(THREAD_COUNT).reorder("ID DESC") 
    videos.each do |video| 
    spawns << Spawnling.new do 
     result = video.process 
     if result.nil? 
     video.create_thumbnail! 
     else 
     video.failured! 
     end 
    end 
    end 
    Spawnling.wait(spawns) 
    sleep(SLEEP_TIME) 
end 

但這個腳本等待4個視頻，另需4個視頻之後。我想，在轉換完第四個視頻後，它會自動添加到新的線程中，該線程爲空。

Answer 1

如果您的目標是通過僅使用4個線程（或任何Spawnling配置爲使用 - 因爲它支持fork和thread）來處理視頻，那麼您可以使用Queue來排列要處理的所有視頻記錄，產生4個線程並讓它們一個接一個地處理記錄，直到隊列爲空。

require "rails" 
require "spawnling" 

# In your case, videos are read from DB, below array is for illustration 
videos = ["v1", "v2", "v3", "v4", "v5", "v6", "..."] 


THREAD_COUNT = 4 

spawns = [] 

q = Queue.new 

videos.each {|i| q.push(i) } 

THREAD_COUNT.times do 
    spawns << Spawnling.new do 
    until q.empty? do 
     v = q.pop 

     # simulate processing 
     puts "Processing video #{v}" 

     # simulate processing time 
     sleep(rand(10)) 
    end 
    end 
end 

Spawnling.wait(spawns) 

該回答是從this answer

_{PS啓發：我添加幾個要求和限定videos陣列，使上述代碼自給式運行的例子。}