large-data-volumes

    0熱度

    1回答

    MySql數據庫響應緩慢，多個大表

    我是使用Mysql的新手，在嘗試讀取大型數據庫表時出現問題。我已創建的下一個數據的基礎上： CREATE DATABASE `chamber_master_db` /*!40100 DEFAULT CHARACTER SET utf8 */ 用80代表作爲以下之一： CREATE TABLE `chamber_el_801_server_tb` ( `id` int(11) NOT N
    mysql database-performance multiple-tables large-data-volumes 2013-06-24

    0熱度

    1回答

    Lustre：向不同的OST發送不同的寫入請求

    我有一個典型的場景，其中可以並行寫入請求，每個文件的大小爲幾百GB。 我的Lustre文件系統有4個OST（每個3TB），1個MDS（它是一個測試系統） 我實際上觀察到的情況是，如果禁用了條帶，光澤會將所有文件寫入單個OST，除非它已滿。 是否可以配置光澤，以便在出現並行或重疊寫請求時，MDS自動選擇當前不忙的目標？ 我很感興趣，爲什麼光澤不是默認這樣做，或者也許是因爲我錯過了某些東西？
    filesystems large-data-volumes glusterfs large-data bigdata 2013-06-26

    2熱度

    3回答

    如何處理海量數據集並提供實時用戶體驗

    我是一家主要製作工具的網絡營銷公司的程序員。這些工具有certian要求： 他們在瀏覽器中運行，必須在所有這些工作。 用戶要麼上傳某些東西（.csv）來處理它們，要麼提供一個URL並調用API來檢索關於它的信息。 他們正在移動數千行數據（認爲大型數據庫）。這些工具通常會在幾個小時內運行，通常會在夜間運行。 用戶必須能夠在處理他們的信息並向他們呈現時觀看直播。 目前我們正在寫PHP，MySQL和Aj
    php ajax large-data-volumes 2013-02-01

    0熱度

    1回答

    在R中使用ffdf時出現內存不足錯誤

    我想知道如何解決以下問題。 我在PostgreSQL中有一張表，裏面有1億行和4列，我想在R中使用ffdf。這裏是我的代碼 query <- "select * from ratings" drv <- dbDriver("PostgreSQL") rating.ff <- read.dbi.ffdf(query = query, dbConnect.args=list(
    r large-data-volumes out-of-memory 2013-02-08

    0熱度

    2回答

    在Xcode中高效地初始化大型陣列

    我需要在我的項目中存儲大量不同類型的機密數據。 數據可以表示爲編碼的NSStrings。我寧願在代碼中進行初始化，而不是從文件中讀取，因爲這樣更安全。 所以我需要大約10萬行這樣的： [myData addObject: @"String"]; 或類似這樣的 myData[n++] = @"String"; 把在Xcode這些線路會導致編譯時間，廣泛提高長達數小時（順便說一句在Eclips
    xcode large-data-volumes 2013-02-10

    0熱度

    1回答

    計數超過在DB

    一大組的記錄我有一個表[ID，ITEM_NAME，ITEM_PRICE，ITEM_STATUS，ITEM_TYPE，ITEM_OWNER，ITEM_DATE] 應用程序可以查詢該表中包含關於項目的任何數量的檢索條件日期和/或項目業主等 在結果，我還需要在不同的ITEM_STATUS狀態來獲取計數。 它往往造成超時，當我試圖讓基於狀態的計數。 如何爲這種情況下，大容量應用程序處理。說Y郵件。我已經統
    database oracle count scalability large-data-volumes 2013-05-21

    0熱度

    1回答

    針對零售POS的SQL DB重新設計 - 大批量交易和批量處理

    我們正在重新設計支持增長的POS後端數據庫。目前，我們的POS交易通過Web服務傳遞給DB。 我知道硬件擴展是增加吞吐量（每秒事務數）的一個選項。然而 - 我期待通知是否有其他選項，如數據庫緩存，數據庫分區或從非事務性數據庫中隔離事務性數據庫等。 另外 - 我們運行一些通常鎖定DB的計劃批處理作業。我打開對於如何避免這種情況下DB鎖定的建議。 數據庫是SQL Server 2008 R2。
    sql-server-2008 database-design transactions scalability large-data-volumes 2013-05-22

    0熱度

    2回答

    表示數據組合層次結構的Oracle

    我遇到Oracle數據庫問題，我認爲這是由數據表示問題導致的。我有一個由七個不同列表組成的層次結構，需要存儲這些元素的所有獨特潛在組合。我需要存儲所有可能的組合，因爲我需要將附加信息與它們一起存儲。 從歷史上看，我們一直在管理四個列表，它來到了幾千元的組合。這很好，但需求已經改變，因爲他們不願意這樣做，現在我們正在運行七個列表。在我的真實環境中，列表存儲20到200個項目。現在令人難以置信的組合總
    oracle large-data-volumes data-representation large-data 2013-04-05

    3熱度

    1回答

    處理大圖像量

    我有一個巨大的3D卷，大小超過2GB。我想加載這些數據，對其進行處理，並在我的應用程序中顯示爲3D體積，在其中執行體積cn的縮放和旋轉。 我看到了加載這些龐大數據並顯示它的應用程序。 我的疑問是，Windows32位應用程序的地址空間限制爲2GB，那麼在這些應用程序中用於處理這個龐大體積的技術是什麼？ 或 如何在最佳性能的應用程序中管理這些龐大的數據？
    opengl image-processing 3d large-data-volumes volume-rendering 2013-02-15

    1熱度

    1回答

    通過合併較小的csv文件創建一個350000列csv文件

    我有大約350000個一列csv文件，其實質上是200 - 2000個數字打印在另一個之下。數字格式如下：「-1.32％」（不含引號）。我想合併這些文件來創建一個csv文件的怪物，其中每個文件都是一個單獨的列。合併的文件最多有2000行（每列可能有不同的長度）和350000列。 我想到用MySQL做它，但有一個30000列限制。 awk或sed腳本可以完成這項工作，但我不太瞭解它們，恐怕這需要很長
    sql csv unix large-data-volumes large-data 2013-07-17
最新問題