如何閱讀從多個線程C＃

一個文本文件，我有一個使用多線程（300）來查詢API的程序。目前它作爲一個爬蟲行爲，每個線程根據剛剛處理的API調用結果和一個隨機參數來確定其下一個Web API調用。如何閱讀從多個線程C＃

我建立的，將採取「隨機參數」的方程，並通過消除發生如使用隨機參數的結果，多餘的API調用它更有效的參數列表。

這份名單是在大約800萬行的文本文件的形式。

理想情況下，我想要的是我的主線程中的流讀取器對象是線程安全的，並且所有（300）其他線程在完成處理後都會使用文本文件中的「getLine」最後一個，直到文件耗盡。

我，什麼我應該看什麼，有什麼建議和答案，將不勝感激有點失落！

2013-07-08 Pi_

你的意思是，你實際上* *有300個線程的應用程序？如果沒有閱讀其餘的問題，我可以立即說你做錯了什麼。要回答你的問題，你應該看看[ConcurrentQueue]（http://msdn.microsoft.com/en-us/library/dd267265.aspx）。 –

@ LasseV.Karlsen是的，300線程恰好是在我多少頁，我能夠每分鐘掃描方面線程的最佳數量。 –

@ LasseV.Karlsen這看起來和我需要的完全一樣，唯一的問題是我是否會遇到一個有800萬個超高壓被推入隊列的問題？ –

第一種方式

public static string GetLineThreadSafe(this StreamReader sr) 
    { 
     lock (sr) 
     { 
      return sr.EndOfStream ? null : sr.ReadLine(); 
     } 
    }

方式二

public static IEnumerable<string> GetEnumirator(this StreamReader sr) 
    { 
     while (!sr.EndOfStream) 
     { 
      yield return sr.ReadLine(); 
     } 
    } 

    public static void ProcessParalel(this StreamReader sr, Action<string> action, int threadsCount) 
    { 
     ParallelOptions po = new ParallelOptions(); 
     po.MaxDegreeOfParallelism = threadsCount; 
     Parallel.ForEach(sr.GetEnumirator(), po, action); 
    }

來源

2013-07-14 06:26:40

如何閱讀從多個線程C＃

回答

相關問題