子集DASK DataFrames

Question

這是一個DASK數據幀的負荷子集的內存的有效方法：

while i < len_df: 
    j = i + batch_size 
    if j > len_df: 
     j = len_df 
    subset = df.loc[i:j,'source_country_codes'].compute() 

我讀的地方，這可能不是因爲DASK如何分配，因爲這將在更大的索引號是正確的數據幀轉換成更小的熊貓dfs。另外我不認爲dask數據框具有iloc屬性。 我正在使用的版本是0.15.2

就用例而言，這將是一種將批量數據加載到深度學習（如keras）的方式。

Answer 1

如果你的數據集有衆所周知的分區，那麼這可能會奏效，但我建議每次只計算一個分區。

for part in df.to_delayed(): 
    subset = part.compute() 

您可以通過預先重新分區

for part in df.repartition(npartitions=100).to_delayed(): 
    subset = part.compute() 

這是不完全一樣的大致控制大小，因爲它並不能保證在每個分區行的固定數量，但可能保證取決於數據的獲得方式，費用相當昂貴。