large-files

    -1熱度

    1回答

    從排序非常大的文件（每個200G）列表中刪除重複項的最佳方法？

    以前的其他問題沒有回答我的問題！ 我有一系列的大文件（200克）每每個文件進行排序幷包含重複它看起來就像這樣： 50.21.180.100|a.ac 50.21.180.100|a.ac 50.21.180.100|a.ac 50.21.180.100|a.ac 50.21.180.100|a.ac 50.21.180.100| b.ac 50.21.180.100| b.ac 50
    python linux large-files duplicate-removal 2014-12-08

    0熱度

    1回答

    在PHP中生成大型Excel文件後通知用戶

    什麼是生成excel文件並在此之後通知用戶的最佳方式？ 我使用PHPExcel產生從MSSQL服務器到Web服務器的Excel文件，並允許用戶通過鏈接下載。問題是，每一次我們試圖執行PHP腳本它總是拋出一個快速CGI超時錯誤。該腳本需要讀取2000 - 5000行數據。 我們試圖經由使用exec()和殼牌命令提示來執行它。它成功地在服務器中生成文件，但是在腳本完成後我們沒有通知用戶的方法/方法。
    php phpexcel large-files timeoutexception 2014-10-27

    1熱度

    2回答

    [R取決於對大數據的其他變量創建索引設置

    這是一個小的數據集一個簡單的任務，但我有幾百萬的觀察，所以我需要一個非常快的替代品。 我想創建索引標識對α-β的。 Alpha-beta總是成對的。用這個創建一個循環很容易，但是我發現R停止需要很長時間。任何人都知道大數據集的快速解決方案來創建下面的右列？ id var1 var2 index A 2 alpha 1 A 3 beta 1 B 5 alpha 2 B 6 beta 2 B
    r bigdata large-files 2014-12-19

    0熱度

    1回答

    在matlab中導入多個大文件的快速方法

    我需要讀取大約4000個數據文件，每個大約400 kB。數據將在稍後分析，因此我將這些文件寫入數據結構。進口操作大約需要4分鐘，我也試過importdata和dlmread，但沒有太大的區別。 請讓我知道，如果是循環，輸入函數或Matlab只是慢導入多個大文件。使用catch/try是因爲這些文件中的某些文件無法正常讀取，但似乎不會減慢腳本的速度。 這裏的腳本： for k=40020:10:75
    matlab import large-files 2014-12-21

    1熱度

    2回答

    最好的方式來讀取和處理大於0.5GB的數據文件C

    我需要用C編寫代碼，它可以讀取包含double值的大型數據矩陣的大型csv文件。我必須逐列閱讀，而且我沒有關於文件中行數和列數的事先信息。 什麼是以C語言處理它的最有效的方式 - 在時間和內存方面？我基本上需要分別處理每列，但如果讀取更有效，可以通過閱讀行來實現。 如果之前詢問過，請直接回答問題。 謝謝
    c performance csv large-files 2015-02-11

    0熱度

    2回答

    用戶拆分大文件

    我有一個包含9列（「|」作爲分隔符）的呼叫詳細記錄（CDR）的大文件（3 * 10^7行）。每行是具有以下屬性的通信實例： Date|Time|Duration|Caller|Receiver|serviceType|junk|cellReceiver|cellCaller|CallerLAC 我需要根據用戶將此文件拆分爲更小的塊。因此，無論用戶是呼叫者還是接收者（即，如果A稱爲B，則該行應該
    python bash shell split large-files 2014-12-26

    1熱度

    1回答

    如何拆分使用Python3的18 GB xml文件？

    我需要將一個大的xml文件（18GB）分割成更小的文件，同時保持原始的xml結構。文件中的所有元素都屬於單個根元素。 我已經成功地使用readlines（）方法，但是，我想知道是否有更好的方法來使用Python3來做到這一點。 經過一番搜索，我發現一些有用的代碼似乎正在工作，但需要相當長的時間。必須有更快的方式來做到這一點 - 任何幫助表示讚賞。 這將文件分割成〜21個小的文件： #num_lin
    xml large-files python-3.4 2014-12-30

    0熱度

    1回答

    在matlab中使用memmapfile讀取和表示mp3文件

    我必須使用matlab分析生物聲學音頻文件。最終我希望能夠在音頻中找到異常。這就是我需要找到一種以我可以提取和比較功能的方式來表示音頻的原因。我正在處理高達150 MB的mp3文件。這些文件對於matlab讀取它的內存來說太大了。因此我想使用memmapfile（）函數。我使用了下面的代碼和一個小的mp3文件來了解它是如何工作的。 [testR, ~] = audioread('test.mp3'
    matlab audio machine-learning mp3 large-files 2015-01-10

    0熱度

    1回答

    反向讀取文件，直到Python中的特定行（字符）

    我有一個大的日誌文件。 每分鐘我都會添加最近的操作系統。 它看起來像： #@#@#@#@#@#@#@ Time:12:00 PM, CPU:12.0,RAM:12334321,Network:1231231233,.... #@#@#@#@#@#@#@ Time:12:01 PM, CPU:14.0,RAM:12354621,Network:1239864833,.... #@#@#@#@
    python reverse large-files readfile 2014-11-24

    1熱度

    2回答

    CSV與56.6mb的數據，存儲爲CSV文件或數據庫？

    我正在創建一個網站，我希望人們提交位置地址。爲避免拼寫錯誤，我希望用戶從列表中選擇（城鎮名稱，縣）。 我遇到以下網站http://www.doogal.co.uk/london_postcodes.php，它允許我下載一個包含我需要的位置數據的56 MB大型csv文件。 但是我從來沒有用過大於1mb的csv文件，在我的網站上有30000多行數據。通常我只會上傳到PhpMyAdmin。 有什麼更好？
    php csv phpmyadmin large-files 2015-01-15
最新問題