数据质量

数据质量既指高质量数据的特征，也指衡量与改进质量的过程。判断标准不是抽象的正确，而是数据是否满足数据消费者在具体场景中的需求。同一份数据在一个用途上足够好，在另一个用途上可能不合格。

• 四类驱动：提升数据价值与利用机会、降低风险与成本、提高效率、保护声誉
• 十项原则：重要性、全生命周期、预防、根因修正、治理、标准驱动、客观测量与透明、嵌入业务流程、系统强制执行、与 SLA 关联
• 低质量数据的成本常被隐藏：返工、客服、错失商机、并购整合受阻、欺诈、错误决策、声誉损失
• 高质量数据不是目的，而是组织成功的手段

质量维度是数据可测量的特性，为定义质量要求和评估改进提供共同词汇。维度必须与关键流程中的风险直接相关，否则测了也没有意义。

• 维度是规则的基础，规则要能落到字段、记录或数据集级别
• 完整性规则要说明字段是否强制、何时必填；有效性规则依赖域与字段间关系
• 规则往往没有文档，需要从流程、代码、触发器、状态码和常识中逆向还原
• 不必一次找全所有规则；分享评估结果常能帮助业务更清晰地说出规则

质量项目应从最关键的数据和最小可行范围开始。先做概念验证，证明改进过程有效，再扩大到更大数据集。剖析能发现问题，但根因与业务影响需要数据链上的利益相关方共同确认。

• 预防优于纠正：根因修正通常比反复清理成本低几个数量级
• 改进 ROI 取决于数据重要性、数据量、数据龄期、影响流程与人数、风险、根因修复成本
• 系统限制、数据龄期、在途项目、复杂环境与文化阻力都会阻碍改进，要提前设计应对
• 质量目标要能解释业务收益，而不是只报字段完整率

1. 01定义高质量数据：与业务确认含义、影响、优先级、容忍度与治理结构
2. 02制定质量战略：选择框架，明确如何识别关键数据、定义规则、评估、改进、监控
3. 03识别关键数据与业务规则：按监管、财务、客户影响排序，逆向还原规则
4. 04初始评估（POC）：选小数据集，检查规则，记录问题类型与级别，量化并确认优先级
5. 05根因分析与优先级：结合数据剖析与业务影响，识别补救项与根因改进项
6. 06设定改进目标：具体、可量化、与业务价值挂钩，如完整性 90% → 95%
7. 07运营化：管理规则、持续监控、问题管理、报告质量水平，并嵌入流程与系统

质量能力要变成日常运营：规则作为元数据管理，监控持续运行，问题有分级、责任人、升级与关闭标准，质量水平定期向业务报告。

• 质量规则和标准是关键元数据，应有统一模板、维度定义与版本管理
• 规则要前置到系统开发与增强中，形成输入校验与控制要求
• 监控要覆盖关键数据、关键流程与关键时点，异常要能告警并定位
• 问题管理要记录分类、状态、优先级、严重程度、解决时间与责任人
• 数据质量团队要与业务、技术数据管理专员协作，而不是单独背锅
• 质量文化需要各级领导参与，让使用数据的人推动改进

数据质量治理要明确谁对哪份数据负责、按什么标准度量、问题如何升级、报告给谁。度量既要看质量水平，也要看改进带来的业务价值。

• 质量报告与问题管理应纳入 SLA，明确响应与修复期望
• 透明度很重要：与利益相关方共享测量方法与结果，他们是质量的裁决者
• 定期复盘重复问题，推动流程与系统变更，而不是只关闭工单