0

困境:什麼是填充MS SQL數據庫與大量數據的最快方法

我即將MS SQL服務器(2012開發版)上執行數據的人口。數據基於生產數據。金額約爲4TB(約2.5億項)。

目的:

要在全文搜索和定期指數以及測試性能。目標人數應該在500K左右,每人約3億件。

問:

我應該怎麼做之前,加快這一進程,或後果,我應該擔心?

Ex。

  1. 關閉統計數據?
  2. 我應該做每筆交易1K項目的批量插入而不是單筆交易嗎?
  3. 簡單恢復模式?
  4. 日誌截斷?

重要:

我將使用的生產項目2K樣本來創建將被插入到數據庫中的每個隨機項。我將使用在c#中生成的獨特樣本。它將是一個表格:

table 
(
    long[id], 
    nvarchar(50)[index], 
    nvarchar(50)[index], 
    int[index], 
    float, 
    nvarchar(50)[index], 
    text[full text search index] 
) 
+0

可能的重複http://stackoverflow.com/questions/410653/test-user-data-fake-data – Kermit

+0

@njk我沒有問題的建設數據。我有性能方面的問題關於填充大量數據的數據庫。 – Falcon

回答

1

幾乎總是在這樣的情況下,我已經有了其中的幾個,我使用了SSIS。 SSIS是我知道將大量數據導入SQL Server數據庫的最快方式。您可以完全控制批量(事務大小),它將執行批量插入。另外,如果您有轉換需求,SSIS將輕鬆處理。

+0

所有的數據將被動態創建(由於內存)。文本數據來自隨機生成的文件,其他來自隨機生成的信息。生成所有數據以模擬特定情況。將C#生成的信息移植到SSIS中的最佳方式是什麼?有某種供應商嗎?或者我必須創建中間文件? – Falcon

+0

由於我詢問了與生成數據的集成並且不導入,您是否在意詳細說明您的答案?數據數量與其遷移之間存在很大差異。 – Falcon

+0

如果我正確地閱讀了您現在編輯的問題,您將在表中插入2,000個生成的行作爲示例。這是一個很小的數額,你不需要採取任何特殊的預防措施。 –

相關問題