large-data

    1熱度

    1回答

    在Apachi POI中將大數據轉換爲excel Java

    我正在處理一個大的CSV （〜200 mb的文本文件）我想將其轉換爲Excel表格，但工作簿變得非常消耗內存Java的拋出「GC開銷限制超過」！ 我檢查了代碼，如果我生成虛擬參考，但我認爲不存在。 在我看來，從這些庫調用Apachi - POI可能會產生一些引用，使垃圾回收器如此繁忙。 我的問題是，如果我可以通過像文本文件這樣的附加到文本文件而不將它帶入內存的塊來將工作簿寫入文件塊。有沒有解決方案
    java excel garbage-collection apache-poi large-data 2017-07-13

    0熱度

    1回答

    MingW Windows GCC無法編譯帶有2GB全局數據的C程序

    當使用大型全局或靜態數據構建應用程序時，MingW的GCC/G ++給出了重定位錯誤。 Understanding the x64 code models 引用代碼和數據在x64與 指令相對尋址模式（在64用語RIP-相對）進行。 這些指令中來自RIP的偏移量限於32位。 小代碼模型向編譯器承諾，32位相對偏移量 應該足夠用於編譯的 對象中的所有代碼和數據引用。另一方面，大代碼模型告訴它不要對 進
    gcc mingw global large-data 2017-09-02

    3熱度

    2回答

    MATLAB：尋找更快/更優雅的方式來計算很長時間系列的移動中值絕對偏差

    我有一個非常大的陣列，有五個通道和約600萬個條目（5 x 6000000）。我的目標是通過7點窗口掃過陣列，並去除「尖峯」，其定義爲比中值絕對偏差（MAD）大一些的縮放量。 我正在測試代碼，只運行10000個時間序列的初始點。目前，我需要大約3秒才能運行前10000個點。我正在運行一臺相對較舊的帶有2.30 GHz處理器和4 GB RAM的32位戴爾筆記本電腦。很明顯，如果我使用的是新電腦，我可
    matlab performance median large-data 2017-07-20

    1熱度

    1回答

    內存問題：使用Gower距離和k-medoids對R中的非常大的多比例數據進行聚類分析

    我有一個非常大的數據框，名爲'data'，有350000行和138列，我想用於k - 類羣聚類。我使用從該頁面的代碼：http://dpmartin42.github.io/blogposts/r/cluster-mixed-types 這是我的代碼： packages <- c("dplyr", "ISLR", "cluster", "Rtsne", "ggplot2") if (leng
    r out-of-memory cluster-analysis large-data 2017-07-25

    2熱度

    1回答

    Python：尋找填充大部分零的大型4D陣列平均值的快速方法

    我有許多大型4D陣列，我想取其平均值。這些數組大多填充零（> 99％），但每個數組在不同位置都有非零值。每個數組也有一個相應的數組，用於對其平均值進行加權。 以直接方式取得數組的平均值（如下所示）需要很長時間來計算，並且通常會導致我的內存錯誤。 >>> a, b, weights_a, weights_b = [np.zeros((150,150,150,150)) for i in range(
    python large-data 2017-07-25

    1熱度

    3回答

    針對100M +密鑰的Java緩存設計？

    需要爲Java獨立應用程序緩存超過1億個字符串密鑰（〜100個字符長度）。 標準緩存性能必要的： 持久。 TPS在10s毫秒範圍內從緩存中獲取密鑰。 允許無效和失效。 獨立緩存服務器，允許多線程訪問。 最好不要使用企業數據庫，因爲這100M密鑰可以擴展到500M，這將使用高吞吐量的內存和系統資源。
    java caching persistence large-data 2017-07-27

    0熱度

    1回答

    以JSON行格式處理和查詢大量大文件

    哪種技術最適合導入大量大型JSON行格式文件（每個文件大約2 GB）。 我在想索爾。 一旦數據將被導入，它將不得不被查詢。 您會建議導入哪種技術，然後及時查詢JSON行格式數據？
    json solr large-files jsonlines large-data 2017-07-28

    0熱度

    1回答

    建設和巨大的樹，並與stackoverflow錯誤bug

    即時通訊工作的項目和我的項目我必須建立一棵樹。樹將有大約64000葉子。不幸的是我一直運行到一個stackoverflow錯誤，我不知道該怎麼做。我寫錯了遞歸方法嗎？還是有錯誤的解決方法？ 代碼在構造： for(int i = 0; i < wordHolder.size(); i++) { add(i); } 添加方法： public void add(int i)
    java tree binary-tree stack-overflow large-data 2017-08-05

    1熱度

    1回答

    Keras處理無法放入內存的大型數據集

    我正在進行面部表情識別，我正在使用Keras。我收集了許多數據集，然後在圖像上應用了數據增強功能，在.csv文件（與fer2013.csv格式相同）上保存了約500 000個圖像（以像素爲單位）。 這是我使用的代碼： def Zerocenter_ZCA_whitening_Global_Contrast_Normalize(list): Intonumpyarray = numpy.a
    csv keras training-data large-data 2017-08-05

    0熱度

    2回答

    SQL Server存儲過程需要優化

    我正在使用一個存儲過程，它爲SystemTree表中的所有可用節點生成等級。 我的存儲過程工作得很好，但問題是執行時間太長。 下面是表的詳細信息： SystemTree - 14000+行 PaymentSchedule - 5000+行 MasterRankChart - 只有15行 我需要優化我的存儲過程。至少需要20分鐘才能執行。 這是我的存儲過程： ALTER PROCEDURE[dbo]
    sql-server stored-procedures sql-server-2014 large-data 2017-08-29
最新問題