巨大的表（9萬條記錄）

Question

包銷公司剛給我們送來引線的數據提取。有900萬行。這些行由LeadID（guid），RawLeadXML（xml - 最大可能爲3-4kb）和LeadStatusID（int）組成。

我第一次嘗試添加一個自動編號整數，並使其此表的主鍵。那麼，它添加了該字段，但無法使其成爲主鍵（緩衝池中沒有足夠的可用內存）。

我需要做的是將每個記錄逐一取出並獲取XML，將其放入.Net中的XmlDocument對象中，去掉所有我想要的字段（名字，姓氏等），並將解析的信息存儲到另一個表中。

我甚至無法獲得此聲明運行：SELECT * FROM信息，其中編號1和1000

之間

如果我只是在一個時間選擇1000條記錄（前1000 *從信息中選擇），這樣的作品，但是我怎麼會選擇沒有某種參考點的下一個1000條記錄呢？

我的機器有4個處理器（2.53GHz的）和12 GB的RAM。它不是一臺服務器，但它是一臺強健的機器。老實說，我不知道下一步該怎麼嘗試。

編輯：我離開了原來的文件實際上是一箇中密度纖維板（以及相關的LDF）文件，所以我重視他們在SQL Server中。

編輯2：我搞砸了，並表示，RawLeadXML列是XML - 它不是，它只是爲nvarchar（最大）。我真的不知道那裏是一個XML數據類型。

編輯3：我甚至不能出具該表DELETE語句： 「從引線刪去leadid = '100a7927-5311-4f12-8fe3-95c079d32dd4'」 與炸燬：

Msg 802, Level 17, State 20, Line 2 
There is insufficient memory available in the buffer pool. 

我不知道下一步該怎麼做。這到底是怎麼回事？世界上有成千上萬的數據庫比我有更多的記錄。

編輯4：如果有人關心，沒有下面的解決方案的工作。我確信這是我機器的限制，絕對不是對我在下面收到的好答案的譴責。目前，我傳送壓縮DB（2.6 GB）到我們的服務器在Rackspace公司，然後我將嘗試在該硬件上增加一個索引，希望不採取了我們的生產服務器。一旦添加了索引，我希望我可以壓縮數據庫並將其重新下載到本地計算機，然後實際上可以對其進行操作。

編輯5：我的機器字面上無法處理這種大小的表格。我的機器有12 GB RAM，64位Windows 7 Professional，四核2.53Ghz處理器，SSD驅動器等。這對於開發機器來說非常有用。它無法處理這個問題。

所以，我搬到了DB我們在Rackspace公司在倫敦的服務器。 48 GB或內存中，並能夠添加我需要的索引。即使在那之後，我的機器在這裏無法做任何事情都那麼有用了下來，所以我寫了在倫敦運行的撲救記錄1000的時間，把它解析爲另一個表，然後一個.net程序將原始記錄標記爲已處理。

一旦我這樣做，我將不得不離開數據庫在倫敦，因爲我懷疑我可以在本地寫出任何有意義的報告來對付這個怪物。這會讓開發變得有趣。

摘要：我相信沒有好的方法來處理這個大的數據集，而不使用具有至少48 GB的RAM（在我的情況下）的服務器級硬件。

Answer 1

900萬行不是那麼大，您可能沒有LeadId列上的索引。首先創建一個，但它需要一些時間（不必是唯一的或主鍵）。 對於第一個查詢，比使用 「SELECT TOP 1000 LeadId，RawXML ORDER BY LeadId」。 記錄最後LeadId（MaxLeadId）值，使用 「SELECT TOP 1000 LeadId，RawXML凡LeadId> MaxLeadId ORDER BY LeadId」 等等...

Answer 2

如果這是一個平面文件，你可能會得到前1000行，加載它們，然後返回並從文件中刪除基於GUID的行，然後重複？ （當然首先備份文件）

另外，您可以嘗試通過Integration Services包加載此文件，該包應該能夠跟蹤導入的位置，並且應該能夠對它們進行批處理並保留在你的記憶力限制內。

Answer 3

你有磁盤空間嗎？ 也許在「舞臺造型」，但與Autonumeric編號從平面文件創建相同的表結構，然後做從表中插入...

導入到你的舞臺造型（第一導出它，如果它不是一個平面文件） ，這是另一種方式。

獲取您的寄存器的ID是與他們合作的優先事項。

Answer 4

什麼

• 選擇TABEL的第一行（前1），存儲LeadID的變種。
• 加載XML列的值轉換爲XML文檔（.NET）
• 目標，你需要使用XPath
• 插入這個值到一個新的記錄
• 從「主」表中刪除記錄的節點使用leadid（或標記爲「完成」）
• 提交
• 步驟1再次

Answer 5

什麼格式，你得到的最初的提取物？如果它是一個csv或其他，並且你不關心該XML片段中的其他信息，我會使用SSIS並完全跳過這個中間表。原生的XML類型有一些相關的開銷，如果你只是想把一些xml分解一次然後丟棄它，你不需要付出代價。

否則，您應該能夠直接在sql查詢中使用XML路徑語句，以將數據從一個表中獲取到另一個表中。如果你想從設計師那裏添加一個新的PK，它可能會在一張大桌子上失敗。您需要編寫腳本並手動運行它們，並可能調整它們以提高效率。根據現代標準，最終9米行並不是那麼巨大，但你必須通過9k以上的思考。

Answer 6

調查一下row_number（）和rank。

Take a look at this thread。它有讓你開始的基本概念。

Answer 7

添加一個列不是一個選項，因爲添加一個自動編號也沒有工作。 您希望將更改/清理的數據存儲在新表中。 此表格可能具有自動編號和單獨的列，用於從Xml中提取數據。

將數據插入此表後，可以從源表中刪除原始行。 或者創建一個select語句，該語句排除已在新表中的具有GUID的行。

由於源表的行沒有依賴性或特定順序，因此選擇/處理行的順序並不重要。基於註釋

，對於SQL語句的建議：

WHILE EXISTS(SELECT * FROM [source] [s] 
       WHERE NOT EXISTS(SELECT * FROM [destination] [d] WHERE [d].[leadId] = [s].[leadId])) 
BEGIN 
    INSERT INTO [destination] ([leadId], [RawLeadXML], [LeadStatusId]) 
     SELECT TOP 100 [s].[leadId], [s].[RawLeadXML], [s].[LeadStatusId] 
     FROM [source] [s] 
     WHERE NOT EXISTS(SELECT * FROM [destination] [d] WHERE [d].[leadId] = [s].[leadId]) 
END 

我設置的記錄數爲100。這應該放過你的內存使用插入。

Answer 8

錯誤802不會在傳統意義上是說出來的記憶內存不足以執行分配（這會觸發error 701）。 Error 802實際上表明緩衝池不能生長，這可能是由於兩個原因：

• max server memory設定明確防止緩衝池的增長，檢查服務器設置。
• x86虛擬地址空間限制被擊中並且AWE is not enabled。檢查是否有x86（32位）實例，如果是，請檢查是否滿足全部啓用AWE的條件。

如果你還沒有發現問題，請閱讀How to use the DBCC MEMORYSTATUS command to monitor memory usage on SQL Server 2005（文章也同樣適用於SQL Server 2008和2008 R2），並按照指引那裏瞭解誰/什麼在消耗你的記憶。

Answer 9

如何將數據直接從Access數據庫提取到文本文件中 - 然後您可以使用批量插入將其導入到您選擇的RDBM中。

通過MSSQL中的鏈接表訪問數據庫並不理想。在這裏，我們使用一個只讀，只進的記錄集遊標來逐行遍歷行。

這是VBScript，所以它不會是最快的，但它應該工作。您必須爲您的模式定製XML抽取例程。

' Code run against a access DB with column RawLeadXML 

Dim connection 

Set connection = CreateObject("ADODB.Connection") 
connection.Open "Driver={Microsoft Access Driver (*.mdb)}; DBQ=d:\path\to\file.mdb;" 

Dim recs 

' By default this is a read only, forward only cursor 
Set recs = connection.Execute("SELECT * FROM Leads") 

Dim fso 
Set fso = CreateObject("Scripting.FileSystemObject") 

Dim out 
Set out = fso.OpenTextFile("d:\path\to\output.txt", 2, True) 

Dim id 

id = 0 

While Not recs.EOF 
    id = id + 1 
    out.Write CStr(id) ' write an ID counter 
    out.Write "," 
    ExtractFieldsFromXML recs.Fields("RawLeadXML").Value, out 
    out.Write Chr(10) ' Linefeed 
    recs.MoveNext 
Wend 

out.Close 
recs.Close 
connection.Close 

' Extract data from the XML and write it to the stream 
' separated by commas 
Sub ExtractFieldsFromXML(xml, out) 
    Dim doc 

    Set doc = CreateObject("MSXML2.DOMDocument") 

    MsgBox xml 

    doc.loadXML xml 

    out.Write doc.selectSingleNode("/xml/firstname").text 
    out.Write "," 
    out.Write doc.selectSingleNode("/xml/lastname").text 

End Sub