如何廉價確定列是否僅包含NULL記錄？

Question

我有一個500列和100M行的大桌子。基於一個小樣本，我相信只有大約50個列包含任何值，另外450個只包含NULL值。我想列出不包含數據的列。

在我當前的硬件，這將需要大約24小時查詢每列（select count(1) from tab where col_n is not null）

有沒有更便宜的方法來確定一個列是完全空/空？

Answer 1

這個怎麼樣：

SELECT 
    SUM(CASE WHEN column_1 IS NOT NULL THEN 1 ELSE 0) column_1_count, 
    SUM(CASE WHEN column_2 IS NOT NULL THEN 1 ELSE 0) column_2_count, 
    ... 
FROM table_name 

？

如果您使用INFORMATION_SCHEMA.COLUMNS表，則可以輕鬆創建此查詢。

編輯：

另一個想法：

SELECT MAX（COLUMN_1），MAX（COLUMN_2），...... FROM表名

如果結果中包含值，列填充。它應該需要一個表掃描。

Answer 2

嘗試這一個 -

DDL：

IF OBJECT_ID ('dbo.test2') IS NOT NULL 
    DROP TABLE dbo.test2 

CREATE TABLE dbo.test2 
(
     ID BIGINT IDENTITY(1,1) PRIMARY KEY 
    , Name VARCHAR(10) NOT NULL 
    , IsCitizen BIT NULL 
    , Age INT NULL 
) 

INSERT INTO dbo.test2 (Name, IsCitizen, Age) 
VALUES 
    ('1', 1, NULL), 
    ('2', 0, NULL), 
    ('3', NULL, NULL) 

查詢1：

DECLARE 
     @TableName SYSNAME 
    , @ObjectID INT 
    , @SQL NVARCHAR(MAX) 

SELECT 
     @TableName = 'dbo.test2' 
    , @ObjectID = OBJECT_ID(@TableName) 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN ' + totalrows + 
       ' = SUM(CASE WHEN [' + c.name + '] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    CROSS JOIN (
     SELECT totalrows = CAST(MIN(p.[rows]) AS VARCHAR(50)) 
     FROM sys.partitions p 
     WHERE p.[object_id] = @ObjectID 
      AND p.index_id IN (0, 1) 
    ) r 
    WHERE c.[object_id] = @ObjectID 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

輸出1：

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN 3 = SUM(CASE WHEN [IsCitizen] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
, [Age] = CASE WHEN 3 = SUM(CASE WHEN [Age] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
FROM dbo.test2 

查詢2：

DECLARE 
     @TableName SYSNAME 
    , @SQL NVARCHAR(MAX) 

SELECT @TableName = 'dbo.test2' 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN '+ 
       'MAX(CAST([' + c.name + '] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    WHERE c.[object_id] = OBJECT_ID(@TableName) 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

輸出2：

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN MAX(CAST([IsCitizen] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
, [Age] = CASE WHEN MAX(CAST([Age] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
FROM dbo.test2 

結果：

ID   Name  IsCitizen Age 
----------- ----------- ----------- ----------- 
0   0   0   1 

Answer 3

你能檢查是否colums idexing意志幫助你達到一定的性能提升

CREATE UNIQUE NONCLUSTERED INDEX IndexName ON dbo.TableName(ColumnName) 
WHERE ColumnName IS NOT NULL; 
GO 

Answer 4

SQL server query to get the list of columns in a table along with Data types, NOT NULL, and PRIMARY KEY constraints

運行SQL中的上述問題最好的答案，併產生類似下面的新查詢。

Select ISNULL(column1,1), ISNULL(column2,1), ISNULL(column3,1) from table

Answer 5

500列？！
好吧，你的問題的正確答案是：規範化你的表。

這裏暫且發生了什麼：

您不必對列的索引使SQL Server必須做你的堆積如山的表進行全面掃描。
SQL Server肯定會完全讀取每一行（即使您只對某一列感興趣，也意味着每一列）。
而且，由於你的行是最有可能在8KB ...... http://msdn.microsoft.com/en-us/library/ms186981%28v=sql.105%29.aspx

嚴重，規範化表，並根據需要把它分解水平（把「的主題進行分組」列單獨的表裏面，只有當你需要他們閱讀） 。

編輯：你可以重寫查詢這樣

select count(col_n) from tab 

，如果你想同時得到所有的列（更好）：

SELECT 
    COUNT(column_1) column_1_count, 
    COUNT(column_2) column_2_count, 
    ... 
FROM table_name 

Answer 6

你不會需要「數'所有的100M記錄。當您用一個非空值打開一列時，只要簡單地退出查詢，就可以在提供相同信息的同時節省大量時間。

Answer 7

如果大多數記錄不是空也許你可以把一些該方法的建議（例如檢查只可空字段）與此：

if exists (select * from table where field is not null) 

因爲存在這應該加快搜索就停止搜索當條件滿足時，在這個例子中，一個非空的記錄足以決定該字段的狀態。 如果該字段有索引，這應該幾乎是即時的。

通常將top 1添加到此查詢不是必需的，因爲查詢優化器知道您不需要檢索所有匹配的記錄。

Answer 8

您可以使用此存儲過程的伎倆，您需要提供您想查詢請注意，如果你傳遞給程序@exec參數= 1，將執行SELECT查詢

SET ANSI_NULLS ON 
GO 
SET QUOTED_IDENTIFIER ON 
GO 
CREATE PROCEDURE [dbo].[SP_SELECT_NON_NULL_COLUMNS] (@tablename varchar (100)=null, @exec int =0) 
AS BEGIN 
SET NOCOUNT ON 
    IF @tablename IS NULL 
      RAISERROR('CANT EXECUTE THE PROC, TABLE NAME IS MISSING',16 ,1) 
         ELSE 
    BEGIN 
      IF OBJECT_ID('tempdb..#table') IS NOT NULL DROP TABLE #table 
      DECLARE @i VARCHAR (max)='' 
      DECLARE @sentence VARCHAR (max)='' 
      DECLARE @SELECT VARCHAR (max) 
      DECLARE @LocalTableName VARCHAR(50) = '['+@tablename+']' 
      CREATE TABLE #table (ColumnName VARCHAR (max)) 
      SELECT @i+= 
      ' IF EXISTS (SELECT TOP 1 '+column_name+' FROM ' +@LocalTableName+' WHERE ' +column_name+ 
       ' '+'IS NOT NULL) INSERT INTO #table VALUES ('''+column_name+''');' 
       FROM INFORMATION_SCHEMA.COLUMNS WHERE table_name=@tablename 
       INSERT INTO #table 
       EXEC (@i) 
       SELECT @sentence = @sentence+' '+columnname+' ,' FROM #table     
     DROP TABLE #table     
       IF @exec=0 
         BEGIN 
          SELECT 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
             +' FROM ' +@LocalTableName 
       END 
       ELSE 
         BEGIN 
          SELECT @SELECT= 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
               +' FROM '+@LocalTableName 
        EXEC (@SELECT) 
       END 
END 
END 

表名

使用方法如下：

EXEC [dbo].[SP_SELECT_NON_NULL_COLUMNS] 'YourTableName' , 1