large-files

0熱度

2回答

我有大量（數百MB或更多）文件需要讀取在Windows上使用C++的塊。目前相關的功能有： errorType LargeFile::read(void* data_out, __int64 start_position, __int64 size_bytes) const { if(!m_open) { // return error } else { seekPos

3熱度

3回答

如何獲取大型（> 4 GB）文件的文件大小？

當文件大小大於4GB時，如何獲取C文件的文件大小？ ftell返回一個4字節的有符號長整型，將其限制爲兩個字節。 stat有一個off_t類型的變量，它也是4個字節（不能確定符號），所以最多可以告訴我一個4GB文件的大小。如果文件大於4 GB，該怎麼辦？

2熱度

4回答

在MySQL中執行非常大的（20 GB）.sql文件的更高速度選項

我的公司提供了20+ GB的.sql文件，以響應政府對數據的請求。我沒有很多選擇以不同格式獲取數據，所以我需要選擇如何在合理的時間內導入數據。我使用Navicat的批處理執行工具在高端服務器（Win 2008 64bit，MySQL 5.1）上運行它。它已經運行了14個小時，並沒有顯示出接近完成的跡象。有誰知道這種交易有更高的速度選項嗎？或者這是我應該期待的大文件大小？謝謝

12熱度

3回答

隨機訪問gzip流

我希望能夠對gzip文件進行隨機訪問。如果預處理的結果比文件本身小得多，我可以對它進行一些預處理（比如說構建某種索引）。有什麼建議嗎？我的想法是：哈克在現有的gzip實現和序列化其解壓縮器狀態每一個，比方說，1兆字節的壓縮數據。然後進行隨機訪問，反序列化解壓縮器狀態並從兆字節邊界讀取。這看起來很難，特別是因爲我正在使用Java，而且我找不到純java gzip實現:( 重新壓縮1Mb塊的文

3熱度

1回答

Google API中的可恢復文件上傳Ver 2

我正嘗試在Google文檔上上傳大文件。而我碰到Resumable Upload。但是我如何在Google API Ver 2中實現它？感謝名單

5熱度

4回答

如何使用System.Net.Mail將具有大尺寸附件的郵件發送至Google Apps？

我試圖發送大尺寸附件upto（1MB，2MB）的郵件。但是發送郵件失敗（發送至谷歌企業應用套件）爲： MailItemEntry[] entries = new MailItemEntry[1]; String EmlPath = "C:\\testemail.eml"; String msg = File.ReadAllText(EmlPath); entries[0

2熱度

4回答

用於大型數據集的字典接口

我有一組太大的鍵/值（全部文本），無法一次加載到內存中。我想通過類似Python字典的界面與這些數據交互。這樣的模塊是否已經存在？爲了節省空間，讀取鍵值應該是有效的，並且在磁盤上壓縮值。編輯：理想的跨平臺，但只使用Linux，現在需要是線程安全的

1熱度

2回答

是否有一種使用XMLReader跳轉到元素的快速方法？

我正在使用XMLReader讀取大約一百萬個元素的大型XML文件，這些元素是我讀取的級別。然而，我計算它將花費超過10秒，當我跳轉到 - 例如500.000元素使用XMLReader::next ([ string $localname ])或XMLReader::read (void ) 這不是很實用。有沒有更快的方法來做到這一點？

1熱度

1回答

給定一些數據包，你會如何將它們分組爲流？

到目前爲止，我已經嘗試過這些方法： 1）將源IP /端口和目標IP /端口作爲關鍵字進行散列。哈希中的每個位置都是數據包的列表。散列然後保存在一個文件中，每個流都由一些特殊字符/行分隔。問題：沒有足夠的內存來處理大量痕跡。 2）使用與上述相同的密鑰進行散列，但只保留內存中的文件句柄。然後將每個數據包放入指向正確文件的hash [key]中。問題：流量/文件太多（〜200k），並且可能會耗盡內存。

2熱度

2回答

使用動態列數解析大型分隔文件

分析文件之前解析分隔文件時列未知的最佳方法是什麼？的文件格式是Rightmove的V3（.blm），該結構是這樣的： #HEADER# Version : 3 EOF : '^' EOR : '~' #DEFINITION# AGENT_REF^ADDRESS_1^POSTCODE1^MEDIA_IMAGE_00~ // can be any number of columns #D