large-data

    -1熱度

    1回答

    在線外的核心Logistic迴歸與TensorFlow

    我目前正在嘗試使用TensorFlow（特別是tf.contrib.learn.LinearClassifier估計）來訓練在線Logistic迴歸： optimizer = tf.train.AdagradOptimizer(learning_rate=1.0,initial_accumulator_value=0.4) m = tf.contrib.learn.LinearClassifie
    python machine-learning tensorflow classification large-data 2017-05-31

    1熱度

    3回答

    多列處理和動態命名新列

    變量錯誤地輸入到多列，例如：「aaa_1」，「aaa_2」和「aaa_3」或「ccc_1」，「ccc_2」和「ccc_3」）。單個新列（例如「aaa」或「ccc」）。一些變量當前在單列中（「hhh_1」），但可以添加更多列（hhh_2等）。 ： aaa_1 <- c(43, 23, 65, NA, 45) aaa_2 <- c(NA, NA, NA, NA, NA) aaa_3 <- c(N
    r naming data-cleaning large-data 2017-06-05

    0熱度

    3回答

    從多個大型列表

    我有一個大字典獲取所有可能的對：600個鍵與項目=大名單（約10000-20000元）。 我的目標是從字典每個列表獲得對和在一個列表合併。 E.g.我有： d1 = {'key1': ['a', 'b', 'c', 'd'], 'key2': ['f', 'a']} 預期結果： d2 = ['a_b', 'a_c', 'a_d', 'b_c', 'b_d', 'c_d', 'a_f'] 我
    python python-3.x itertools large-data 2017-06-11

    0熱度

    2回答

    Clara_具有R中許多級別的分類數據的大數據集的數據集

    我有一個相當大的數據集，其中包含純粹的分類數據。 數據的行數（樣本）超過30,000,000。 屬性已減少到4（列），所有屬性（屬性）都是明確的，其中一個屬性幾乎有50,000個級別！ 我想在進一步處理之前將我的數據集羣。但是，由於數據量很大，因此不可能使用大多數聚類算法。 我選擇使用ClusterR軟件包中的Clara_Medoids來嘗試集羣。我面臨的問題是運行代碼給我一個我無法解決的錯誤。
    r cluster-analysis similarity categorical-data large-data 2017-06-12

    0熱度

    1回答

    如何部分更新大表中的數百萬條記錄

    我有一張名爲Employee的表，爲了使問題保持​​較短，我沒有在此粘貼所有列，但例如爲了讓說的遞減員工如下： EMPNO NOT NULL NUMBER(4) FIRST_NAME VARCHAR2(10) LAST_NAME VARCHAR2(10) SALARY NUMBER(24) HIREDATE DATE DEPT_ID VARCHAR2(20
    oracle11g updates large-data 2017-06-14

    0熱度

    1回答

    使用HDF5和cPickle保存圖像比直接在磁盤中直接存儲相同數量的圖像文件需要更多的磁盤存儲空間？

    我想保存大量的圖像。我想將它們保存爲儘可能減少磁盤內存的格式。我已經用python測試過HDF5和cPickle。令人驚訝的是，我發現由PyTables和cPickle生成的數據文件比包含相同數量圖像的文件夾大得多。 我的代碼是在這裏： import cv2 import copy import cPickle as pickle import tables import numpy as
    python image-processing pickle hdf5 large-data 2017-06-14

    -2熱度

    1回答

    如何處理大量數據的解析（800k記錄）？

    我有一個桌面應用程序驗證某些CSV文件。 我得到這個CSV文件，我需要根據多個業務規則進行解析和驗證。這些業務規則特別適用於每條記錄，或者他們可以檢查具有與文件中所有記錄有關的範圍的集成債券。該文件幾乎有800k條記錄。 這裏是我如何處理目前的問題： 我上傳CSV文件，每行轉換爲自定義對象（for循環用在這裏），我最終存儲在列表中。這一點通常需要3到6秒，所以我不認爲這是一個問題。 我將列表傳遞給
    c# .net large-data 2017-06-14

    0熱度

    1回答

    簡化大數據處理腳本

    我正在嘗試做以下事情，但需要很長時間。 可有人請建議做這個 f = open('answer.csv','w') f.write('Datetime,0: Vm,0: Va,1: Vm,1: Va,2: Vm,2: Va,3: Vm,3: Va,4: Vm,4: Va,5: Vm,5: Va,6: Vm,6: Va,7: Vm,7: Va,8: Vm,8: Va,9: Vm,9: Va,10:
    python-3.x large-data 2017-07-04

    1熱度

    1回答

    Django - Heroku - 服務動態大文件超時

    我有一個函數視圖，它使用xlsxwriter創建一個報告，它使用StringIO作爲緩衝區即時創建，最後通過HttpResponse發送。 它使用本地服務器運行良好。 問題是，在Heroku上，幾秒鐘後（文檔提到30秒超時並且不可修改），服務器掛起並重新啓動Web進程，從而給出錯誤響應。 什麼是......的最佳方式？： 在內存中動態創建（動態）的xmlx文件 服務於整個文件到客戶端。 防止服務器
    python django heroku large-data 2017-06-01

    1熱度

    1回答

    Swift 3.1：數組太大而無法初始化？ （程序只是凍結）

    問題： 我有一個半大的[Int]數組，其中包含〜25K到60K元素。它最初是通過我的第一個程序輸出到一個文本文件中的，並且需要將其作爲let的值輸入到第二個程序中。要做到這一點，我手動將其複製。但是，每當我嘗試初始化它時，Swift都會凍結。通過凍結，我的意思是它什麼都不做，即使在一個小時之後。 進一步調查： 我證實，這是陣列造成封河的大小，只用一行，只是說let test = [the_arra
    arrays swift variables integer large-data 2017-06-17
最新問題