large-data-volumes

    1熱度

    2回答

    閱讀成千上萬的文件並寫入數百萬的Java文件

    我正在做一些不尋常的數據操作。我有36,000個輸入文件。然後可以一次加載到內存中。我想把每個文件的第一個字節放在一個輸出文件中，然後再次執行第二個文件，依此類推。它不需要以任何特定的順序來完成。由於輸入文件是壓縮加載它們需要更長的時間，並且它們不能一次讀取1個字節。我最終得到每個輸入文件的一個字節數組。 輸入文件約爲1-6MB未壓縮和〜.3-1MB壓縮（有損壓縮）。輸出文件最終成爲輸入文件的字節
    java large-data-volumes 2016-04-27

    1熱度

    1回答

    如何通過播放scala發送較大響應

    我正在使用Scala播放框架2。從控制器我有一個行動方法，我需要返回一個對象包含100000行與其他一些數據。但在JSON序列化期間，它在 org.json4s.native.Serialization.write（Serialization.scala：37） 中得到一個異常，它似乎無法處理該數據量。可以在某處設置大小嗎？或者它的解決方案是什麼？
    json scala serialization playframework large-data-volumes 2016-09-25

    0熱度

    1回答

    超過10個000 000 sesssions在通用Analytics（分析）

    我們有我們的客戶，每月超過10個000 000會話（未命中）的資源。是否有可能，他們將我們的客戶儘快聯繫，並請他在通用Analytics（分析）使用付費帳戶（或減少數據量）？
    universal-analytics large-data-volumes 2016-09-30

    0熱度

    1回答

    當在Excel中保存時，緩慢增加保存時間

    好的，堆棧溢出，據我所知，這是一個乏味的。 我已經創建了一個宏啓用Excel文件，該運行時，執行以下操作（高電平）：通過文件對話框 用戶 用戶選擇模板文件（其本身是宏啓用）通過文件對話框選擇數據文件（不啓用宏） 宏步驟通過數據文件並逐個打開它們，格式化數據，將數據遷移到中間工作簿中的新工作表中，然後關閉數據文件不保存 一旦所有文件都被循環使用，中間工作簿也會被保存，但保持打開狀態 一旦所有數據文件
    excel-vba large-data-volumes save-as 2017-07-28

    0熱度

    1回答

    Docker - 將數據從主機上的只讀目錄導入容器

    我是Docker的相對新手，如果答案很明顯，請耐心等待。 我想讓我的碼頭容器訪問主機上的共享數據目錄，該主機具有特定的組權限，並且對於目標用戶組是隻讀的。 我已經嘗試過docker run -it -v /data:/data ubuntu /bin/bash，由此產生的錯誤docker: Error response from daemon: error while creating mount
    docker ubuntu-16.04 large-data-volumes 2017-04-25

    1熱度

    1回答

    在Matlab中組織大型數據集

    我有一個問題，我希望你能幫助我。 我已導入在Matlab大的數據集（200000×5細胞），其具有以下結構： 'Year' 'Country' 'X' 'Y' 'Value' 列1和5包含數值，而列2至4包含字符串。 我想安排所有這些信息到一個變量，將具有以下結構： NewVariable{Country_1 : Country_n , Year_1 : Year_n}(Y_1 : Y_n , X
    matlab cell-array organization large-data-volumes 2016-07-04

    -1熱度

    1回答

    尋找在Ilnumerics中繪製容積切片的示例

    是否有任何用於在Ilnumerics中使用社區版本繪製容積切片的示例。這是一個例子，我從MATLAB網站得到： Volumetric slice image example of matlab 我有陣列X，Y，Z如posistions和V（速度）成爲用於彩色繪圖值。我所做的全部工作就是使用Ilpoint在位置X，Y，Z上繪製V，而不是曲面。下面是我的代碼，結果， ILArray<float> pl
    c# plot 3d large-data-volumes ilnumerics 2016-03-31

    0熱度

    1回答

    大數據集Solr索引

    我有大約50TB的內容。這套文件的數量約爲2.5億。每天增加到這個不是很大，不過我的約10000個大小不超過50MB的文檔。 目前的索引工作時間太長，估計要在100天以上完成！ 所以......這真的是一大堆數據集？對我而言，50TB的內容（在這個時代）並不是很大。你有這個尺寸的內容嗎？如果你這樣做，你是如何提高一次性索引的時間？另外，您是如何通過實時索引來縮短時間的？ 如果你可以回答..很好。如
    performance indexing solr large-data-volumes 2015-09-25

    0熱度

    1回答

    在一個200萬行的表中加速慢計數

    我有一個有200萬行的Mysql表。 大小是600Mb。 此查詢需要2秒鐘。 我不知道如何加快速度。該表已經是Myisam格式。 我不知道我是否達到了選擇計數緩慢的極限。 SELECT COUNT(video) FROM yvideos use index (PRIMARY) WHERE rate>='70' AND tags LIKE '%;car;%' 感謝所有
    mysql large-data-volumes 2016-07-26

    0熱度

    2回答

    無法迭代大量的DataStore記錄

    我正在嘗試迭代大量的數據存儲記錄，目前大約有33萬個。從概念上講，每條記錄都有一行，一列和一個值，我遍歷記錄並構造一個矩陣，然後我將用它來進行計算。 我得到的錯誤是：超時：數據存儲操作超時或數據暫時不可用。 [ADDED：請注意，我的問題不是應用程序引擎超時。作爲CRON工作運行，我有足夠的時間，數據存儲錯誤發生得比應用程序引擎超時更快。另外，我已經嘗試了其他問題中給出的答案，正如我在下面提到的那
    python google-app-engine google-cloud-datastore large-data-volumes 2015-10-03
最新問題