Python：數字範圍非常大？

Question

val = long(raw_input("Please enter the maximum value of the range:")) + 1 
start_time = time.time() 
numbers = range(0, val) 
shuffle(numbers) 

我找不到一個簡單的方法來使這項工作具有非常大的輸入 - 任何人都可以提供幫助嗎？

我看到一個這樣的問題 - 但我無法實現他們描述的範圍函數與洗牌工作。謝謝。

Answer 1

以內存有效的方式獲得範圍[0, n)的隨機置換;你可以使用numpy.random.permutation()：

import numpy as np 

numbers = np.random.permutation(n) 

如果您只需要在範圍如值的小部分，從[0, n)範圍得到k隨機值：

import random 
from functools import partial 

def sample(n, k): 
    # assume n is much larger than k 
    randbelow = partial(random.randrange, n) 
    # from random.py 
    result = [None] * k 
    selected = set() 
    selected_add = selected.add 
    for i in range(k): 
     j = randbelow() 
     while j in selected: 
      j = randbelow() 
     selected_add(j) 
     result[i] = j 
    return result 


print(sample(10**100, 10)) 

Answer 2

要注意的重要一點是，它會是不可能對於計算機如果它大於幾十億個元素，則具有存儲器中的數字列表：其存儲器佔用空間變得比典型的RAM大小大（因爲它需要大約4GB十億個32位數字）。

在的問題，val是long整數，這似乎表明，你確實使用超過十億整數比較多，所以這不能在內存中方便地進行（即，洗牌將是緩慢的，因爲操作系統會交換）。

這就是說，如果要素的數量是足夠小（比方說小於0.5十億），那麼元素的列表可以在內存中感謝適合由array模塊提供的緊湊表示，並進行改組。這可以通過標準模塊array來完成：

import array, random 
numbers = array.array('I', xrange(10**8)) # or 'L', if the number of bytes per item (numbers.itemsize) is too small with 'I' 
random.shuffle(numbers) 

Answer 3

如果您不需要號碼的完整列表（如果你得到數十億美元，其很難想象你爲什麼會需要他們所有的），你可能最好是採取random.sample你的號碼範圍，而不是洗牌。在Python 3中，random.sample也可以在range對象上工作，因此您的內存使用可能非常適中。例如，下面的代碼將從一個範圍內採樣一萬個隨機數，直到您指定的任何最大值。它應該只需要超過10000個結果值相對較小容量的內存，即使你的最大值是（你想或任何數量巨大）×100十億：

import random 

def get10kRandomNumbers(maximum): 
    pop = range(1, maximum+1) # this is memory efficient in Python 3 
    sample = random.sample(pop, 10000) 
    return sample 

唉，這不很好地爲在Python工作2，因爲xrange對象不允許大於系統的整數類型的最大值可以容納。