限制運行的併發任務數

Question

所以我用go來討論這個問題很多。假設我有一個包含100,000行文本的文本文件。現在我想將所有這些行保存到數據庫中。所以我會做這樣的事情：

file, _ := iotuil.ReadFile("file.txt") 

fileLines := strings.Split(string(file), "\n") 

現在我會遍歷文件中的所有行：

for _, l := range fileLines{ 
    saveToDB(l) 
} 

現在我想運行這個saveToDB FUNC同時：

var wg sync.WaitGroup 

for _, l := range fileLines{ 
    wg.Add(1) 
    go saveToDB(l, &wg) 
} 

wg.Wait() 

我不知道這是否有問題，但會運行100,000個併發功能。有沒有什麼辦法說嘿嘿跑100個併發功能等所有這些完成再跑100多呢。

for i, _ := range fileLine { 
    for t = 0; t < 100; t++{ 
    wg.Add(1) 
    go saveToDB(fileLine[i], &wg) 
    } 
    wg.Wait() 
} 

我需要做這樣的事情還是有更清晰的方式去做這件事？還是我運行100,000個併發任務不是問題？

Answer 1

我認爲最好的方法是保持一個工人的例行公事，在渠道中爲他們派遣工作，然後關閉渠道以便他們退出。

是這樣的：

// create a channel for work "tasks" 
ch := make(chan string) 

wg := sync.WaitGroup{} 

// start the workers 
for t = 0; t < 100; t++{ 
    wg.Add(1) 
    go saveToDB(ch, &wg) 
} 

// push the lines to the queue channel for processing 
for _, line := range fileline { 
    ch <- line 
} 

// this will cause the workers to stop and exit their receive loop 
close(ch) 

// make sure they all exit 
wg.Wait() 

然後saveFunction看起來是這樣的：

func saveToDB(ch chan string, wg *sync.WaitGroup) { 
    // cnosume a line 
    for line := range ch { 
     // do work 
     actuallySaveToDB(line) 
    } 
    // we've exited the loop when the dispatcher closed the channel, 
    // so now we can just signal the workGroup we're done 
    wg.Done() 
}