large-files

0熱度

1回答

我目前使用python處理由像belkasoft，ftk imager等應用程序創建的內存轉儲，它們通常是擴展名.mem或.dmp，形式： 53 FF 00 F0 53 FF 00 我想要可視化這些數據讓我們說，使用熱圖或使用曲線也許試圖可視化每個字節。在2GB文件的情況下，這將是2147483648字節。你將如何做法讀取和處理這種大文件> = 2GB 我一直在嘗試的東西，如： with o

3熱度

2回答

將大型csv文件讀入字典時出現內存錯誤

我是一名博士研究生，學習市場微觀結構。我需要處理非常大的數據集（幾百GB的毫秒數據）。我一直在使用SAS，這對於處理數據幀格式的大數據非常好。但是，這是昂貴的。我想用Python來進行我的學習/研究。我在Python中有一些但並不是先進的技能。我聽說熊貓在處理數據幀方面非常有效，但它僅限於RAM，這對我的目的來說並不是很好。我曾嘗試過：我試圖逐行迭代數據，處理它們並存儲到字典中，但是這具有內

0熱度

1回答

用BFG清理git歷史

正如我最近試圖將我的提交推送到github，我得到了與question相同的錯誤信息。我從存儲庫中刪除了這些文件，但現在必須清理歷史記錄。正如我在回答中所建議的那樣，我研究了BFG，這似乎是解決方案。在閱讀instructions時，它首先使用git --mirror link-to-remote-repo。現在我想知道，因爲我無法推送最新的提交，可能我的本地提交歷史比github上的更長。此外

0熱度

1回答

處理大型XML文檔

據我所知，存儲爲securefile binary xml的xmltype可以處理最大4 GB的文件大小。我想知道是否有人知道處理大於4 GB xml文件的任何好方法，它們都存儲在數據庫中並讀取\從中選擇數據。

0熱度

1回答

大型csv文件在服務器上工作時不能導入R中的所有行？

我有一個大約470 MB的大csv文件。首先，我試圖在筆記本電腦中以csv格式打開4GB內存中的大量數據。但它引發了一個錯誤/消息，說明文件沒有完全加載。有1048576行被打開。後來我試着用我的大學的服務器使用下面的代碼以打開R中的數據： library("sqldf") postcodes = read.csv("ONS_Postcode_Directory_Latest_Centroid

0熱度

1回答

powershell迭代通過一個大文件

你好，我剛剛開始使用PowerShell，我正在使用一個PowerShell腳本來遍歷一個大文件，如「ABCD ########」;「#### 「;」 @@ 「; ##;」 @@ 「; ####; #####;」 @「;.我需要在PowerShell中執行的操作是遍歷此文件，該文件可以包含20,000多行，並從每行中獲取部分信息並將其輸出到另一個文件。我有這個工作，問題是它真的很慢，並想知道如果有

0熱度

1回答

如何從1 M個文件收集中收集獨特的單詞及其頻率？

我只是想解決這個問題，但在這裏和那裏雜耍。 import java.io.*; import java.util.*; public class file{ public static void main(String[] args) throws Exception { Scanner in = new Scanner(System.in); Scanner

1熱度

1回答

對於編寫和閱讀大文件而言是開放的Python

我正在嘗試使用os.open,mmap和from_buffer()來讀取大型二進制文件（> 5 GB）。運行fd = os.open(filePath, O_RDWR)錯誤OSError: [Errno 22] Invalid argument: H:\\xyz.wdp引發。我意識到問題在於文件太大，因爲使用類似但較小的文件，O_WRONLY或O_RDONLY，它的工作。不幸的是，如果我使用O

3熱度

1回答

Perl大的下載直接到文件（以避免RAM過載）

我試圖下載一個文件與1 GB的aproximated大小到1 GB的RAM內存的服務器，所以如果我嘗試下載到一個變量（代碼如下），操作系統會因RAM過載而殺死進程。 require LWP::UserAgent; my $ua = LWP::UserAgent->new; $ua->timeout(3600); $ua->env_proxy; my $response = $ua->g

0熱度

1回答

off_t與c99的定義

我想將一些代碼從windows移植到linux，但是我很難支持大文件。 off_t似乎在gcc以-std = c89運行但不是-std = c99時定義。即使是微不足道的測試用例不會編譯： #define _LARGEFILE_SOURCE #define _LARGEFILE64_SOURCE #define _FILE_OFFSET_BITS 64 #include <stdio.h>