memory-mapped-files

2熱度

1回答

問題是關於內存映射文件 - 它幫助我實現更好的寫性能，如果我只需要保持附加數據到內存映射文件比較直接將文件寫入磁盤。我的分析應用程序會生成大量數據，然後在完成所有輸入行的處理時結束彙總。當我按順序處理輸入行時，我沒有任何問題，因爲在拾取下一個輸入行之前，我可以執行聚合並釋放輸出數據。問題是當我並行處理輸入行時，我必須保留輸出數據直到完成所有輸入行。大約100K輸入行的輸出數據可能大到10GB

5熱度

2回答

MemoryMappedFile非常緩慢CreateViewStream

我使用的內存映射文件是近似的。 100 GB的數據。當我在該文件上調用CreateViewStream時，需要30分鐘來創建它，並且似乎是因爲內存映射文件的大小，但爲什麼要花這麼長時間？它是否將整個文件複製到託管內存中？當我用文件流寫入文件並在不重新啓動的情況下訪問文件需要很長時間。（奇怪）

0熱度

1回答

鏈接增強內存映射文件

我有一個程序，我開始在Linux Debian上，所以鏈接很容易。我所要做的只是命令行： LIBS += -lboost_system -lboost_iostreams 現在我必須在Windows上編譯相同的程序。我下載了升級版本1.58，然後執行bootstrap，然後bjam。這編譯提升並創建了包含所有庫的stage文件夾。現在我使用內存映射文件類boost::iostreams::m

-1熱度

1回答

創建內存映射文件，並用fread使用它在Windows

我想在Windows上創建的內存映射文件（我知道的方法是WINAPI的的CreateFileMapping是否還有其他方法，請提及他們），然後用FREAD從中讀取數據，是有可能使用fread從它讀取？如果可能的話，編程是否很好？它有效嗎？謝謝。

0熱度

1回答

上重新初始化

防止內存泄漏我有一個類，可以打開內存映射文件，讀取和寫入： public class Memory { protected bool _lock; protected Mutex _locker; protected MemoryMappedFile _descriptor; protected MemoryMappedViewAccessor _acce

2熱度

2回答

當使用大內存映射文件時紗線容器內存不足

我正在使用hadoop 2.4。減速器使用幾個大型內存映射文件（總共大約8G）。減速機本身使用很少的記憶。據我所知，memeory映射文件（FileChannel.map(readonly)）也使用少量內存（由OS而不是JVM管理）。我得到這個錯誤： Container [pid=26783,containerID=container_1389136889967_0009_01_000002]

0熱度

1回答

以最小內存足跡在python中跨文件夾複製文件

我想要將文件從一個zip文件有效地複製到另一個文件中，但只能使用有限的內存和磁盤。 Python的zipfile庫不支持附加到阻止我進行部分寫入的文件。問題：是否存在，允許部分文件的讀/寫操作的蟒蛇拉鍊庫？我可以在打開的文件（zipfile.ZipExtFile）上創建緩衝區接口，然後將其傳遞給zipfile.writestr？我可以創建一個由zipfile.ZipExtFile支持的內存

0熱度

1回答

如何在iOS上使用linux內存映射？

我想閱讀iOS設備上的一些大文件，以使iOS設備成爲更好的內存，有人告訴我也許我可以在iOS上使用linux內存映射，但我不知道它。或者在iOS平臺上還有其他一些方法就像linux內存映射一樣？ Thx這麼多。

0熱度

1回答

Ç視窗 - 內存映射文件 - 共享結構

我試圖共享類似於以下示例的結構內動態數組： typedef struct { int *a; int b; int c; } example; 我試圖進程之間共享這個結構，這個問題我發現當我用malloc初始化'a'時，我將無法從第二個進程中訪問數組。是否有可能將此動態數組添加到內存映射文件中？

0熱度

1回答

MemoryMapped從一個巨大的文件中讀取換行符

我正在使用內存映射I/O讀取一個大文件。我碰到的問題是，我正在閱讀MemoryMappedByteBuffer字符。所以我需要傳遞文件中存在的多個字符串，這些字符串之間用「\ n」分隔。 RandomAccessFile aFile = new RandomAccessFile(this.getFileName(), "r"); FileChannel inChannel = aF