如何將大量的數據從一個表複製到SQL Server中的其他表

Question

我想將大量數據從一個表複製到另一個表。我在存儲過程中使用遊標執行相同的操作。但它僅工作對於少records.If表的表包含它是爲長時間執行和hanged.Please給一些建議，如何能我的快捷方式複製DATAS更多的記錄，我的SP是如下：

--exec uds_shop 

--select * from CMA_UDS.dbo.Dim_Shop 
--select * from UDS.dbo.Dim_Shop 
--delete from CMA_UDS.dbo.Dim_Shop 

alter procedure uds_shop 
as 
begin 
declare @dwkeyshop int 
declare @shopdb int 
declare @shopid int 
declare @shopname nvarchar(60) 
declare @shoptrade int 
declare @dwkeytradecat int 
declare @recordowner nvarchar(20) 
declare @LogMessage varchar(600) 

Exec CreateLog 'Starting Process', 1 

DECLARE cur_shop CURSOR FOR 
    select 
    DW_Key_Shop,Shop_ID,Shop_Name,Trade_Sub_Category_Code,DW_Key_Source_DB,DW_Key_Trade_Category,Record_Owner 
    from 
    UDS.dbo.Dim_Shop 

    OPEN cur_shop 
    FETCH NEXT FROM cur_shop INTO @dwkeyshop,@shopid,@shopname,@shoptrade, @shopdb ,@dwkeytradecat,@recordowner 
    WHILE @@FETCH_STATUS = 0 
    BEGIN 
    Set @LogMessage = '' 
    Set @LogMessage = 'Records insertion/updation start date and time : ''' + Convert(varchar(19), GetDate()) + ''''    

    if (isnull(@dwkeyshop, '') <> '') 
     begin 
     if not exists (select crmshop.DW_Key_Shop from CMA_UDS.dbo.Dim_Shop as crmshop where (convert(varchar,crmshop.DW_Key_Shop)+CONVERT(varchar,crmshop.DW_Key_Source_DB)) = convert(varchar,(CONVERT(varchar, @dwkeyshop) + CONVERT(varchar, @shopdb)))) 
     begin 
     Set @LogMessage = Ltrim(Rtrim(@LogMessage)) + ' ' + 'Record for shop table is inserting...'   
       insert into 
       CMA_UDS.dbo.Dim_Shop 
       (DW_Key_Shop,DW_Key_Source_DB,DW_Key_Trade_Category,Record_Owner,Shop_ID,Shop_Name,Trade_Sub_Category_Code) 
       values 
       (@dwkeyshop,@shopdb,@dwkeytradecat,@recordowner,@shopid,@shopname,@shoptrade) 
     Set @LogMessage = Ltrim(Rtrim(@LogMessage)) + ' ' + 'Record successfully inserted in shop table for shop Id : ' + Convert(varchar, @shopid) 

      end 
      else 

      begin 
      Set @LogMessage = Ltrim(Rtrim(@LogMessage)) + ' ' + 'Record for Shop table is updating...' 
      update 
      CMA_UDS.dbo.Dim_Shop 
      set DW_Key_Trade_Category=@dwkeytradecat, 
      Record_Owner=@recordowner, 
      Shop_ID=@shopid,Shop_Name=@shopname,Trade_Sub_Category_Code=@shoptrade 

      where  
       DW_Key_Shop=@dwkeyshop and DW_Key_Source_DB=@shopdb  
      Set @LogMessage = Ltrim(Rtrim(@LogMessage)) + ' ' + 'Record successfully updated for shop Id : ' + Convert(varchar, @shopid) 
      end 
     end 
     Exec CreateLog @LogMessage, 0 
     FETCH NEXT FROM cur_shop INTO @dwkeyshop,@shopid,@shopname,@shoptrade, @shopdb ,@dwkeytradecat,@recordowner 
    end 
    CLOSE cur_shop 
    DEALLOCATE cur_shop 
End 

Answer 1

從我個人的經驗，當你從一個表複製巨大的數據到另一個表（具有類似的約束）時，將約束放在數據被複制的表上。複製完成後，再次恢復所有約束。

我可以在7小時縮短副本時間爲30分鐘，在我的情況（100萬條記錄與6個約束）

Answer 2

假設targetTable和destinationTable具有相同的架構......

INSERT INTO targetTable t 
SELECT * FROM destinationTable d 
WHERE someCriteria 

避免除非沒有其他方法（罕見）使用遊標。

您可以使用WHERE子句篩選出任何重複的記錄。

如果您有標識列，請使用不包含標識列的明確列列表。

您也可以嘗試禁用約束和刪除索引，只要您替換它們（並確保約束已被選中）。

如果您使用SQL Server 2008（以上版本），則可以使用MERGE語句。

Answer 3

遊標非常緩慢，RAM可能開始成爲非常大的數據集的問題。

它看起來好像在每次迭代中做了很多日誌記錄，所以你可能會被光標卡住，但我會尋找一種方法將作業分解爲多個調用，以便可以保留你的足跡很小。

如果你有一個自動編號列，我想補充一個「@startIdx BIGINT」的程序，並重新定義你的光標聲明採取了「TOP 1000「WHERE [autonumberFeild] < = @startIdx按訂單[autonumberFeild] 」。然後創建一個新的存儲過程是這樣的：

DECLARE @startIdx bigint = 0 
WHILE select COUNT(*) FROM <sourceTable> > @startIdx 
BEGIN 
    EXEC <your stored procedure> @startIdx 
END 
SET @startIdx = @startIdx + 1000 

此外，請確保您的數據庫文件被設置爲自動增長，而且它在大增量這樣做，這樣你就不會花所有的時間越來越多的數據文件。

Answer 4

INSERT INTO targetTable 
SELECT * FROM destinationTable 
WHERE someCriteria (based on Criteria you can copy/move the records)