.NET中的多線程C＃隊列4

Question

我正在爲網頁開發一個簡單的爬蟲程序。我搜索了一個發現了很多實現多線程爬蟲的解決方案。創建線程安全隊列以包含唯一URL的最佳方式是什麼？

編輯： 在.Net 4.5中有更好的解決方案嗎？

Answer 1

使用Task Parallel Library並使用使用ThreadPool的默認調度程序。

---

OK，這是一個最小實現它一次排隊30個網址：

public static void WebCrawl(Func<string> getNextUrlToCrawl, // returns a URL or null if no more URLs 
     Action<string> crawlUrl, // action to crawl the URL 
     int pauseInMilli // if all threads engaged, waits for n milliseconds 
     ) 
    { 
     const int maxQueueLength = 50; 
     string currentUrl = null; 
     int queueLength = 0; 

     while ((currentUrl = getNextUrlToCrawl()) != null) 
     { 
      string temp = currentUrl; 
      if (queueLength < maxQueueLength) 
      { 
       Task.Factory.StartNew(() => 
        { 
         Interlocked.Increment(ref queueLength); 
         crawlUrl(temp); 
        } 
        ).ContinueWith((t) => 
        { 
         if(t.IsFaulted) 
          Console.WriteLine(t.Exception.ToString()); 
         else 
          Console.WriteLine("Successfully done!"); 
         Interlocked.Decrement(ref queueLength); 
        } 
        ); 
      } 
      else 
      { 
       Thread.Sleep(pauseInMilli); 
      } 
     } 
    } 

假用法：

static void Main(string[] args) 
    { 
     Random r = new Random(); 
     int i = 0; 
     WebCrawl(() => (i = r.Next()) % 100 == 0 ? null : ("Some URL: " + i.ToString()), 
      (url) => Console.WriteLine(url), 
      500); 

     Console.Read(); 

    } 

Answer 2

將System.Collections.Concurrent.ConcurrentQueue<T>符合該法案？

Answer 3

我會使用System.Collections.Concurrent.ConcurrentQueue。

您可以安全地排隊和從多個線程出列隊列。

Answer 4

看看System.Collections.Concurrent.ConcurrentQueue。如果您需要等待，您可以使用System.Collections.Concurrent.BlockingCollection

Answer 5

ConcurrentQueue確實是框架的線程安全隊列實現。但是，由於您可能在producer-consumer的情況下使用它，因此您真正參加的課程可能是無限有用的BlockingCollection。