large-data-volumes

    0熱度

    1回答

    MySQL全文表格結構

    我有一個擁有6000萬條記錄的數據庫。目前的設置是有一張桌子，有三千萬以上的桌子和一個小桌子，每個桌子有五百萬（ish）。每個表的數據結構都是相同的。第一次創建我們的搜索的人（3-4年前我在這裏）使用了多個小桌子。我們爲每個連接使用match against。我的老闆和他的印象是，使用多個表讓MySQL可以同時搜索每個表。在我讀到的所有內容中，每個人都說一張大桌子會更好，但隨着3000萬張桌子變得
    mysql database full-text-search large-data-volumes 2013-01-10

    0熱度

    1回答

    如何在Google App Engine中解決具有條件的聚合查詢

    假設，在我的應用程序中，我要求用戶輸入一些字符串。用戶可以多次輸入字符串。無論何時用戶輸入字符串，我都會將其與日期一起記錄在數據庫中。即使由不同的用戶輸入，許多字符串也可以是相同的。在主頁中，我需要提供界面，以便任何用戶在任何時間段（例如最後45天，或者2012年1月10日至2012年1月30日）之間查詢前n個（比如50個）字符串。如果是SQL，我可以寫如下查詢： select string, c
    google-app-engine aggregate condition large-data-volumes 2012-06-26

    0熱度

    1回答

    慢選擇COUNT（*），information_schema，基數字段

    我有一個很大的（超過60多萬條記錄）表。 此表有一個主鍵（id，AUTO_INCREMENT索引ID） 我從這個表中選擇記錄的報告。要瀏覽並瀏覽此報告（用PHP編寫），我正在使用分頁腳本。 此腳本使用SELECT COUNT（）獲取此表中的記錄總數。 SELECT COUNT（）非常緩慢。 問題： 我可以查詢統計表基數場，INFORMATION_SCHEMA DB在表格名= my_large_ta
    mysql database-performance large-data-volumes large-data 2012-10-04

    4熱度

    1回答

    Mayavi可視化巨大的3D陣列

    我有一個約600萬點的3D數據集。有沒有辦法使用contour3D繪製它？每次嘗試，mayavi都會失去記憶。 否則，是否有一種方法可以將volume（）ctf中的顏色數量增加到256種以上的顏色。我有浮點數據值，並且必須將它們分離以使用Volume（）。因此，我失去了很多信息。有沒有辦法解決這個問題？
    3d large-data-volumes mayavi 2012-11-26

    0熱度

    1回答

    從openJPA查詢創建155000個實體

    我有一個查詢，在最壞的情況下會創建超過150K的實體。可能有30萬個實體的上限。我已經嘗試了幾種方法將這組數據返回給用戶......我使用sql Developer運行查詢，運行時間約爲.348秒。所以這不是任何形式的瓶頸。 創建像這樣嵌套查詢... List<Object[]> ObjList = (List<Object[]>) emf.createNativeQuery(assembleNe
    openjpa large-data-volumes 2012-10-10

    2熱度

    1回答

    在大型數據集上使用正則表達式時的空間和時間問題

    我有一個很大（大於200K）的字符串數組，用於搜索文檔中的模式。在將其應用到文檔之前，我將數組中的每個條目轉換爲正則表達式。當我這樣做時，通過陣列並順序執行搜索所花費的時間將大大增加。我相信這對我在執行搜索之前依次應用於每個正則表達式的Pattern.compile語句是有用的。預編譯正則表達式可能是一種解決方法，但我注意到當我這樣做時，內存使用量急劇增加。在預編譯之前，Java應用程序在大小約爲
    java regex large-data-volumes 2012-10-24

    1熱度

    1回答

    大量交易數據信息模式生成

    我想從大量交易數據中找出信息數據模式。 通常，我的數據是具有定義良好的列的記錄集（例如發件人，收件人，金額，貨幣地址等 - 我有大約40-50個不同的列），數據量將是數百萬（可能是100萬）記錄和我的目標是從這樣產生信息交易模式 - 誰購買特定項目最多，交易量最高的交易接受者，費用模式，誰獲得更多來自同一個另一個發件人的交易等。 此前我打算加載關係數據庫（Oracle/MySQL）中的數據並編寫復
    hadoop distributed-computing large-data-volumes 2012-10-25

    0熱度

    2回答

    MySQL查詢變異上巨大的情況下：

    我目前計算值，以填補15個長槍記錄的數據庫。第7工廠去只是鰭片，電子但是現在我的更新查詢開始給人的問題： 現在&然後隨機字母變成一些jibberish。 在java中我生成查詢這樣做的： String updateSql = "UPDATE VanNaar SET time = CASE ID "; for (int i = 0; i < routes.size(); i++) {
    java mysql large-data-volumes large-data 2012-07-18

    4熱度

    1回答

    如何以最有效的方式更新數據庫？

    我正在建立一個價格比較網站，可以容納大約300,000個產品和幾百個客戶。 在日常基礎上的站點需要價格和供應商的庫存情況的更新。 當供應商需要更新我在想刪除所有的供應商信息，然後拉起並插入一個新的 - 每一次。 這樣做，我不擔心供應商刪除產品。以一種簡單的方式，我每天都會得到一組新的數據。 在另一方面，我需要保持在檢查自動增量計數器，它似乎是一種浪費，以從供應商刪除一切，如果他在他的整個倉庫只有更
    database performance large-data-volumes 2012-07-18

    4熱度

    4回答

    從大型表中獲取隨機結果

    我試圖從包含約700萬條記錄的表中獲得4個隨機結果。此外，我還希望從同一個表中獲取4個按類別過濾的隨機記錄。 現在，您可能會想像在一張桌子上隨機排序，這會導致查詢花費幾秒鐘，這並不理想。 我認爲non-filtered結果集的另一種方法是讓PHP選擇一些在1-7,000,000左右的隨機數，然後用查詢做一個IN(...)只抓住這些行 - 是的，我知道這種方法有一個警告，因爲如果具有該ID的記錄不再
    php mysql large-data-volumes 2012-09-10
最新問題