LINQ：從一個集合中獲取一系列元素

我有一個對象集合，需要批量處理100個對象，並對它們進行一些處理，直到沒有剩餘的對象處理爲止。LINQ：從一個集合中獲取一系列元素

而不是循環通過每個項目，抓住100個元素，然後下一百等有沒有更好的方式與linq做呢？

非常感謝

2010-10-06 Bob

LukeH的答案是好多了，請接受並使用它。 – Andrey 2010-10-06 13:22:08

static void test(IEnumerable<object> objects) 
{ 
    while (objects.Any()) 
    { 
     foreach (object o in objects.Take(100)) 
     { 
     } 
     objects = objects.Skip(100); 
    } 
}

來源

2010-10-06 10:19:19 Andrey

如果在Entity Framework中使用此方法，請小心。它生成的SQL在每次迭代中都會有一個額外的子查詢。如果批次超過50個，則查詢失敗。 – 2013-10-07 11:31:16

int batchSize = 100; 
var batched = yourCollection.Select((x, i) => new { Val = x, Idx = i }) 
          .GroupBy(x => x.Idx/batchSize, 
            (k, g) => g.Select(x => x.Val)); 

// and then to demonstrate... 
foreach (var batch in batched) 
{ 
    Console.WriteLine("Processing batch..."); 

    foreach (var item in batch) 
    { 
     Console.WriteLine("Processing item: " + item); 
    } 
}

來源

2010-10-06 10:51:45 LukeH

這是非常低效的。 GroupBy是昂貴的操作 – Andrey 2010-10-06 11:20:25

@Andrey：我建議你在針對低效率提出任何聲明之前，先將自己的答案與「GroupBy」版本進行比較。結果你可能會感到驚訝。 – LukeH 2010-10-06 11:44:46

你是對的，你的方法更高性能（超過10倍）！ – Andrey 2010-10-06 13:21:39

我不認爲LINQ是真正適合這種處理的 - 這是用於對整個序列的操作，而不是分裂主要是有用的或修改它們。我會通過訪問底層的IEnumerator<T>來做到這一點，因爲任何使用Take和Skip的方法都會非常低效。

public static void Batch<T>(this IEnumerable<T> items, int batchSize, Action<IEnumerable<T>> batchAction) 
{ 
    if (batchSize < 1) throw new ArgumentException(); 

    List<T> buffer = new List<T>(); 
    using (var enumerator = (items ?? Enumerable.Empty<T>()).GetEnumerator()) 
    { 
     while (enumerator.MoveNext()) 
     { 
      buffer.Add(enumerator.Current); 
      if (buffer.Count == batchSize) 
      { 
       batchAction(buffer); 
       buffer.Clear(); 
      } 
     } 

     //execute for remaining items 
     if (buffer.Count > 0) 
     { 
      batchAction(buffer); 
     } 
    } 
}

來源

2010-10-06 10:53:17 Lee

這會將列表分割成您指定的很多項目的列表列表。

public static IEnumerable<IEnumerable<T>> Partition<T>(this IEnumerable<T> source, int size) 
{ 
    int i = 0; 
    List<T> list = new List<T>(size); 
    foreach (T item in source) 
    { 
     list.Add(item); 
     if (++i == size) 
     { 
      yield return list; 
      list = new List<T>(size); 
      i = 0; 
     } 
    } 
    if (list.Count > 0) 
     yield return list; 
}

來源

2010-10-06 12:11:04 Foole

var batchSize = 100; 
for (var i = 0; i < Math.Ceiling(yourCollection.Count()/(decimal)batchSize); i++) 
{ 
    var batch = yourCollection 
     .Skip(i*batchSize) 
     .Take(batchSize); 

    // Do something with batch 
}

來源

2013-10-07 11:25:13

LINQ：從一個集合中獲取一系列元素

回答

相關問題