Azure Data Lake Analytics中的內存限制

Question

我已經爲NetCDF文件實施了一個自定義提取器，並在輸出它們之前將這些變量加載到內存中的數組中。有些陣列可能很大，所以我想知道ADLA中的內存限制。是否有可以分配的最大內存量？

Answer 1

（Azure Data Lake Team here）

每個頂點有6GB可用。請記住，該內存在操作系統，U-SQL運行時和在頂點上運行的用戶代碼之間共享。

Answer 2

除了Saveen的回覆：請注意，一行最多可以包含4MB的數據，因此您的SqlArray將受限於最大行大小以及從您的提取器返回後。