large-files

10熱度

5回答

我會在版本控制下將大量數據，即一個目錄結構（深度爲< = 5）與數百個大小約爲500Mb的文件放在一起。我需要的東西是一個系統，幫助我： - 檢測是否文件已更改 - 檢測是否添加文件/刪除 - 克隆整個存儲庫中的另一個位置 - 來存儲「檢查點」並稍後恢復我不需要sha1進行更改檢測，更快的操作是可以接受的。 git值得嗎？有更好的選擇？

2熱度

6回答

gcc/g ++：編譯大文件時出錯

我有一個自動生成的C++源文件，大小約爲40 MB。它主要由push_back命令組成，用於某些向量和字符串常量，這些命令將被推送。當我嘗試編譯這個文件時，g ++退出並且說它無法保留足夠的虛擬內存（大約3 GB）。谷歌搜索這個問題，我發現，使用命令行開關 --param ggc-min-expand=0 --param ggc-min-heapsize=4096 可以解決該問題。然而，他們

0熱度

1回答

使用Zlib庫來壓縮大型包含文件的體驗？

我對使用Zlib的其他開發人員的經驗感興趣，並且壓縮大文件，以及它如何依賴於應用程序進程，會導致應用程序變慢，或者會降低應用程序的性能。如果還有其他更好的解決方案拍攝。

8熱度

3回答

在eclipse中查看大型XML文件？

我正在研究涉及一些大型XML文件（從50MB到超過1GB）的項目，如果我可以在eclipse中查看它們（簡單文本視圖是好的），而沒有Java耗盡堆空間，那將會很好。我已經嘗試調整eclipse.ini中的jvm的可用內存量，但沒有取得太大的成功。有任何想法嗎？

1熱度

4回答

從大型格式不正確的XML文件的特定元素中提取文本

我有一個大的（〜50Mb）文件，其中包含描述位於<item> </item>標籤之間的文檔和屬性的格式不良的XML文件，我想從中提取文本。 Python的標準XML解析實用程序（dom，sax，expat）對錯誤的格式造成了阻塞，而更多的原諒庫（sgmllib，BeautifulSoup）會解析整個文件並花費太長時間。 <item> <title>some title</title>

1熱度

3回答

將大文件上載到WSS v3中

我構建了一個WSSv3應用程序，它以小塊方式上傳文件;當每個數據塊到達時，出於性能原因，我暫時將其保存到SQL 2005圖像數據類型字段中。上傳結束時出現問題;我需要通過WSSv3對象模型將數據從我的SQL Server移動到Sharepoint文檔庫。現在，我能想到的兩種方法： SPFileCollection.Add(string, (byte[])reader[0]); // OutOf

1熱度

1回答

C++ 64位std :: ostream支持

我即將從使用一些舊代碼的標準FILE指針轉換到使用C++流，但我需要LARGEFILE尋求支持（激活此支持的編譯器標誌是： -D_FILE_OFFSET_BITS = 64 et al），我可以通過使用off64_t數據類型來獲得它。我的original question was answered關於這個主題和C API，現在我希望能夠轉向使用C++流。在C++中對文件流執行相同的標誌觸發器尋找

2熱度

3回答

是否有可能在git中只存儲一個大文件的校驗和？

我是一位目前從基因組文件中提取正常大小序列的生物信息學家。一些基因組文件足夠大，我不想將它們放到主要的git存儲庫中，而我將提取的序列放入git中。是否有可能告訴git「這是一個大文件 - 不要存儲整個文件，只要取其校驗和，並告訴我該文件是否丟失或修改。」如果這是不可能的，我想我必須要麼git忽略大文件，要麼按照this question中的建議，將它們存儲在子模塊中。

8熱度

4回答

使用Java壓縮ZIP文件中的大文件

我需要通過Java類ZipOutputStream壓縮一個Big文件（〜450 Mbyte）。這個大的維度導致了我的JVM堆空間的「OutOfMemory」錯誤。發生這種情況是因爲「zos.write（...）」方法在壓縮之前將所有文件內容存儲在內部字節數組中。 origin = new BufferedInputStream(fi, BUFFER); ZipEntry entry

5熱度

3回答

如何使用WCF將大型文件從客戶端發送到服務器？

如何發送大文件從客戶端到服務器在C＃中使用WCF？在配置代碼下面。 <system.serviceModel> <bindings> <basicHttpBinding> <binding name="HttpStreaming_IStreamingSample" maxReceivedMessageSize="67108864"