關於數據質量框架定義

Question

有人可以幫我定義一個數據質量框架來分析某種數據嗎？只是對它應該做什麼的高層次的描述？只是你的想法。

Answer 1

答案取決於您感興趣的上下文（例如，支持特定域或使用特定技術）......希望這些高級筆記有一定的用處。因此，考慮到對數據做出的決策假定數據的質量水平 - 例如，使用聚合「管理信息」進行戰略決策，或者用於自動化處理 - 那麼數據質量框架可能會考慮評估這些數據是針對一些措施的，這樣才能理解對數據質量的信心水平。

在實際應用中，每個數據屬性可以評估可測量的東西：

1. 如果它是強制性的，它是填充;
2. 如果它是由特定數據類型（例如日期，數字）表示的，它是否與該定義匹配;
3. 確實屬性滿足業務規則
   • 簡單的規則，如最大值/最小值;
   • 更復雜的規則，如對日常價值變化的限制;
   • 跨越一組值的聚合規則;
4. 交叉屬性規則，其中值依賴於其他屬性的值;
5. 如果它存儲在多個地方，是否一致;
6. 它是正確的價值。

1-5項可能自動化（例如使用SQL如果您正在使用的數據庫，或者定製DQ包）。最後一個項目可能依賴於抽樣（因爲您可能會通過所有規則，但只是有錯誤的值）。

一旦您使用框架的技術元素評估了您的數據，那麼也可能有另一個「治理」角度，例如，數據質量論壇，評估不合規要素的影響，對它們進行優先排序，跟蹤修復，發佈詳細信息等。