large-files

1熱度

1回答

我有10 GB的SQL文件，我導入使用命令行此文件：的mysql -u用戶名-p數據庫名稱< file.sql 然而，它採取了太多的時間。有沒有其他選項或工具可以快速導入此文件？

0熱度

1回答

在我們的使用案例中，我們從我們的客戶（大小約30GB）獲得大量快照文本文件（tsv，csv等）以及數百萬條記錄。數據是這樣的： ItemId (unique), Title, Description, Price etc. shoe-id1, "title1", "desc1", 10 book-id-2, "title2", "desc2", 5 無論何時，我們從客戶得到的快照，我們需要

0熱度

4回答

需要在非常大的文件中的每列中查找不同值的數量

我正在C＃中處理大型文件（希望），並且需要一種方法來確定文件每列中不同值的數量。我已經閱讀了所有我能找到的有關使用C＃確定不同值的問題。面臨的挑戰是，由於某些文件的大小和一列（可能有數百列 - 各種數據類型）中數千萬個不同值的可能性，因此需要創建列表，字典或數組等等。每一列 - 然後使用先前回答的問題中描述的技術 - 會使我處於達到2 GB內存限制的危險中。目前，我正在讀取/處理文件一行一行，並

0熱度

1回答

PHP：因爲速度太慢而無array_count_values而獲得結果的更好方法

我的腳本合併了18個文件，並返回合併中出現> = 13次的所有數字。我計時腳本和array_count_values是如此之慢，它佔2.35秒時間的80％。這些文件很大，每個文件有200,000個數字，所以合併後的數組超過200萬。任何想法，我可以踢出array_count_values函數或寫一個更好的方式，仍然得到所有數字在合併數組中發生> = 13倍？注意：我縮短了代碼以僅反映18個合併

0熱度

1回答

處理大熊貓數據幀（模糊匹配）

我想做模糊匹配，其中我從大數據框（130.000行）的列到列表（400行）的字符串進行匹配。我寫的代碼是在一個小樣本上測試的（匹配3000行到400行）並且工作正常。它太大複製到這裏，但它大致是這樣的： 1）列 2的數據標準化）創建笛卡爾積列和計算Levensthein距離 3）選擇在單獨的得分最高的比賽和商店的large_csv_name「名單。 4）比較'large_csv_names'到'

-2熱度

3回答

如何打開大（10GB +），文本文件和編輯

我有大的txt文件，超過10GB 我應該打開此文件，並進行簡單的版本： - 刪除重複的行 - 拆分此文件（如5x2gb文件）我需要什麼軟件？ Windows pref ...但是如果不行的話，Linux也可能很棒。謝謝！

2熱度

1回答

從S3流出一個大文件行

我在s3中有幾個10gb csv文件，我想用它來播種我的數據庫。我在Heroku上運行RoR應用程序，我無法弄清楚如何逐行傳輸csv來處理它，因爲它太大而不適合內存，我不能使用File.open來訪問外部文件。我已經研究過使用Tempfile一次流式傳輸字節，但它們不匹配新行，並且在Ruby中重建它是很困難的。謝謝！

1熱度

3回答

將巨大的圖像加載到QT窗口中，並且能夠放大和縮小圖像

我的應用程序需要處理巨大圖像（> 1 GB）。我的出發點是安裝QT5時可以在widget文件夾中找到的圖像查看器示例。這個例子的問題是，似乎不適合操縱像我需要處理的巨大圖像。放大和縮小需要永久更新，因此用戶體驗不夠好。我需要的東西就像Windows照片應用程序。加載圖片可能需要很長時間，但一旦完成，您可以非常快地放大和縮小圖片。但我需要用C++和QT構建這樣的應用程序，以便以後我可以對像素進行子

1熱度

1回答

大型XML數據的邏輯應用程序和存儲過程

我試圖通過Azure中的邏輯應用程序來解決較小的集成問題。我有一個存儲過程，從數據庫中選擇數據並輸出XML作爲結果。事情是，Xml結果是大約50k行和相當大。我做了一個本地網關連接，通過邏輯應用程序運行存儲過程。但是當我得到結果時，它不僅分裂了大的xml，而且還在大約15k行之後削減了整個結果。我知道我可以使用blob，這意味着我需要首先將sql-xml導出到文件，這也意味着我需要使用類似

2熱度

1回答

FFprobe報告在非常大的.mov文件上無效的sample_count

我有一個1.1TB的ProRes 422 MOV文件（有點超過24小時的記錄）。當運行ffprobe -v error -print_format xml -select_streams v:0 -show_format -show_streams "Metadata Error.mov"我得到如下： <ffprobe> [mov,mp4,m4a,3gp,3g2,mj2 @ 000000000