large-files

3熱度

2回答

我正在嘗試使用Java讀取1,000,000行CSV文件。我正在使用OpenCSV庫，它可以在30,000行的較小文件上正常工作。在不到半秒的時間內處理它。但是當我嘗試從一百萬行文件中讀取時，它永遠不會結束。現在我測試看看，什麼時候會真正停止，並用自己的二進制搜索的版本，我第一次嘗試閱讀500K線，然後250K，等等，我發現它容易讀數145k行，在0.5-0.7sec，而150k甚至沒有完成。

0熱度

1回答

服務器無法上傳與gunicorn大文件

我做了一個小型服務器與燒瓶上傳文件（然後做他們的東西）。上傳是通過和發送文件的HTML表單： <form action="/upload" method="POST" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit"> </form> 在服務器端，我做到以

1熱度

1回答

Pandas HDFStore用於外核對可變大小的集合的順序讀取/寫入

我想逐步讀寫數據到hdf5文件，因爲我無法將數據放入內存。要讀取/寫入的數據是整數集。我只需要按順序讀取/寫入集合。不需要隨機訪問。就像我讀set1，然後set2，然後set3等問題是，我不能通過索引檢索集。 import pandas as pd x = pd.HDFStore('test.hf', 'w', append=True) a = pd.Series([1]) x.app

1熱度

1回答

Java堆空間錯誤，我無法在java中處理大型xlsx文件

我正在使用Apache Poi XSSFWorkbooks來操作xlsx文件;我的程序在小型Excel文件（60 000行）上正常工作。當我開始在一個大文件（700 000行）上測試我的代碼時，我遇到了內存問題。我在16 GB RAM的計算機上測試我的代碼，但無法正常工作。這個問題的任何幫助？我閱讀了SAX解析器，但我不想修改我的代碼，而且我也覺得它不直觀，它不是簡單的，如xssf哪些有簡單的方

0熱度

2回答

使用AWS Kinesis進行大文件上傳

我的客戶端有一項存儲大量文件的服務，如視頻或聲音文件。該服務運行良好，但看起來像長期文件存儲是一個相當大的挑戰，我們希望使用AWS來存儲這些文件。問題在於，客戶想要使用AWS kinesis將我們的服務器中的每個文件傳輸到AWS。這可能嗎？我們可以使用該服務傳輸文件嗎？有很多視頻文件，我們每天都收到越來越多的視頻文件。而且每個文件都比較大。我們也想將文件的一些細節保存到dynamoDB中，我們

0熱度

1回答

在java中無法讀取大於1kb的信息

我有一個關於在java中處理大型文件的問題。我在Mac Pro上使用Eclipse霓虹燈。我想用Java讀取.txt文件，文件大小以MB或GM爲單位。我搜索谷歌，我已經閱讀了所有的問題在這裏在stackoverflow，我嘗試閱讀文件的方式。我試過 FileReader and BufferedReader , also I tried FileInputStream 當我讀取等於或小於10

0熱度

1回答

軌SEND_DATA無法處理大文件（2G +）

我ENV：的Mac：10.12.4 內存：16G 紅寶石：2.1.4 軌道：3.2.22.5 Web服務器：薄1.7.0 當文件大小爲2G下，一切順利。 class ItemListsController < ApplicationController ... send_data IO.read(zip_path), :type => 'application/zip',

1熱度

1回答

任何兼容Heroku的Git LFS替代品？

我在週末創建了一個簡單的節點/表達HTML5視頻應用程序，我想將我的代碼放在GitHub上，並將其部署到Heroku上。問題是我的應用程序以mp4格式提供電影預告片（每個平均2分鐘），並且太大而無法使用像git lfs之類的東西上傳到github。從閱讀Heroku文檔看來，git lfs似乎與該平臺不兼容。我應該在這裏做什麼？有沒有像git lfs和heroku這樣的替代服務可以讓我將代碼上傳

0熱度

2回答

Git - 刪除大文件的提交

我錯誤地提交了一個大文件（> 100Mb），我真的不必在我的git歷史記錄中包含該文件。我刪除了文件，我也從git緩存中刪除了它，然後再次提交。儘管如此，當我嘗試推送到我的遠程分支時，git給了我一個大小錯誤。我也試過git rebase，但是提交仍然存在，我該怎麼辦？ remote: error: GH001: Large files detected. You may want to t

0熱度

2回答

如何搭配幾種模式，但每一次

我知道，如果我有圖案的文件，我可以用 grep -f pat_file search_file 正常搜索的文件。你將如何執行這個任務，以便該命令只查找每個模式一次？我要找的效率，所以它可能是寫一個Python程序是這樣做的最有效的方式，但我敢打賭，有什麼東西在那裏。