知识库✳

教程与手册

全部教程
  1. 01Oracle 函数手册
  2. 02性能优化手册
  3. 03Linux Shell
  4. 04Oracle 学习与演练
  5. 05网络基础学习
  6. 06数据治理与管理
返回个人网站
数DAMA 数据管理教程从知识体系到落地实践
首页课程目录搜索
知识库

已完成 0 / 17 章

模块一 · 基础与框架

  • 01数据管理:把数据当作资产
  • 02数据处理伦理

模块二 · 治理与架构

  • 03数据治理
  • 04数据架构

模块三 · 建模与存储

  • 05数据建模和设计
  • 06数据存储和操作

模块四 · 安全与集成

  • 07数据安全
  • 08数据集成和互操作

模块五 · 内容与主数据

  • 09文件和内容管理
  • 10参考数据和主数据

模块六 · 分析与质量

  • 11数据仓库和商务智能
  • 12元数据管理
  • 13数据质量

模块七 · 前沿与组织

  • 14大数据和数据科学
  • 15数据管理成熟度评估
  • 16数据管理组织与角色期望
  • 17数据管理与组织变革
❖

DAMA 数据管理教程

返回个人网站知识库

内容框架参考《DAMA 数据管理知识体系指南(原书第 2 版)》,正文为教学改写; 建议对照原书与所在组织的实际场景学习。

以 Next.js 16 · Tailwind CSS v4 · HeroUI v3 装帧

12
  1. 首页
  2. 课程目录
  3. 元数据管理

第 12 章◆高级◆建议 45 分钟◆模块六 · 分析与质量

元数据管理

把「关于数据的数据」变成可检索、可信任的企业资产:理解三类元数据、元模型、存储架构与治理机制。

学完这一章,你应该能

  • 说明元数据对理解、集成、治理和合规的价值
  • 区分业务、技术、操作元数据,并列举典型内容
  • 设计元数据架构与元模型,选择集中、分布或混合存储
  • 按战略、需求、架构、实施、维护的路径推进元数据管理
  • 用完整性、成熟度、使用率与文档质量衡量成效

12.1没有元数据,就没有数据管理

元数据最常见的定义是「关于数据的数据」。图书馆没有目录卡片,读者就不知道该馆有什么、书放在哪里;组织没有元数据,就不知道拥有什么数据、数据表示什么、来自哪里、如何在系统中流转、谁有权访问、质量如何。

  • 元数据帮助理解数据、系统与流程,评估质量,并支撑集成、保护与治理
  • 要实现数据驱动,组织必须先实现元数据驱动
  • 元数据管理不善会导致重复的字典与存储库、定义冲突、版本矛盾和使用者失去信心
  • 元数据本身也是数据,必须像数据一样管理质量、安全与生命周期

提示元数据项目不要从「买一个元数据平台」开始。先明确业务要回答哪些问题(这个指标怎么算、这个字段从哪来、谁能改),再决定采集什么、放在哪里。

12.2三类元数据

元数据通常分为业务、技术和操作三类。分类最好依据来源而不是使用方式,因为同一份元数据可能同时被业务和技术人员使用。

  • ISO/IEC 11179 提供元数据注册框架,从数据元素出发支持元数据驱动的交换
  • 业务元数据常需重新定义,而不是直接接受现有含糊定义;这需要专职岗位与写作/辅导能力
  • 技术元数据可从数据库对象与工具中采集;操作元数据在处理过程中生成
  • 数据湖要为每个对象采集最小元数据集(名称、格式、来源、版本、接收日期)
元数据的类型与示例
类型关注点典型内容
业务元数据数据的内容、含义与治理信息业务名称与定义、业务规则、计算公式、数据模型、质量规则、血缘、标准、所有者、密级、已知问题
技术元数据技术细节、存储系统与流转过程物理表名/字段名、数据类型、键与索引、访问权限、ETL 作业、源到目标映射、调度依赖、备份规则
操作元数据处理与访问数据的细节作业日志、抽取历史、异常、审计结果、错误日志、查询模式与频率、补丁级别、容量与保留规则

图书馆视角还可分描述、结构、管理元数据;非结构化数据更依赖描述与结构元数据才能被检索和保存。

12.3元数据架构与元模型

元数据架构要能扫描不同来源、定期更新存储库,并支持手工维护、查询与多用户访问。对最终用户而言,应提供统一入口,屏蔽底层来源差异。常见存储架构有集中式、分布式和混合式。

  1. 01创建元模型:定义存储库的数据模型,先概念级描述实体关系,再细化属性与处理过程
  2. 02应用标准:对内统一命名、属性、安全、可见性与流程;对外采用交换格式与接口标准
  3. 03选择架构:根据来源数量、实时性、治理成熟度选择集中、分布或混合
  4. 04采集与集成:从数据库、ETL、BI、建模工具、业务术语表等来源抽取,处理冲突与重复
  5. 05管理存储:调度监控、加载统计、备份恢复归档、配置、性能、查询统计与报表
  6. 06发布与使用:提供搜索、浏览、血缘、影响分析与自助查询

提示元模型本身也是元数据。它既描述存储库结构,也是与业务确认「我们到底要记录什么」的规划工具。

12.4元数据管理活动

元数据管理需要战略、需求、架构、实施与持续运营。战略要与业务优先级一致,从短期可见价值切入,再逐步扩展。

  • 需求要明确:更新频率、同步时延、是否保留历史、访问权限、存储结构、集成规则、运维与管理职责、质量与安全要求
  • 业务术语表需要工作流:候选、审批、发布、更新、删除,并管理术语关系与分类
  • 元数据战略要嵌入 SDLC,确保变更及时被采集,避免存储库过期
  • 治理团队负责定义标准、管理状态变化、组织培训与质量提升
  • 敏感元数据也可能泄露机密信息,访问控制同样适用

12.5治理与度量

元数据治理要验证:没有元数据会造成什么影响。可以把「使用者查找信息所花的时间」作为基线,在实施后对比改进。

  • 元数据质量应由产生元数据的流程所有者负责,而不是全压给元数据团队
  • 建立反馈机制,让使用者报告错误或过时的元数据
  • 元数据标准要定期审计,确保跨工具、跨组织可集成
元数据管理度量
指标说明
存储库完整性理想覆盖率与实际覆盖率之比
管理成熟度参考 CMM-DMM 等模型评估
专职人员配备任命情况、覆盖范围、角色定义
使用情况访问次数、查询量、定性调研
业务术语活动使用、更新、定义解析、覆盖范围
文档质量有定义的属性百分比、自动/手动质量评估
存储库可用性正常运行时间、批处理与查询处理时间

元数据质量同样要看完整性、可靠性、一致性与时效性,不能只统计「收录了多少条」。

练习

4 题 · 先自己写,再展开对照

提示口径、血缘、转换规则、时间、过滤条件、版本。

参考答案

需要以下元数据:
1)业务定义与计算口径:销售额是否含税、是否扣退款、是否含运费;
2)血缘:报表字段来自哪些源表、经过哪些中间层与转换;
3)转换规则:过滤条件(如排除测试单、取消单)、币种换算、聚合逻辑;
4)时间口径:按下单时间、支付时间还是发货时间统计;
5)数据新鲜度:两边数据截止时间是否一致;
6)版本:口径是否近期变更,报表与财务使用的版本是否相同;
7)质量状态:是否有已知数据问题或延迟。

有了这些,才能定位差异是定义不同、时点不同还是数据错误。

自评要点

  • 覆盖定义、血缘、转换、时间、版本
  • 能区分口径差异与数据错误
  • 体现元数据对账的价值

提示同一份元数据可能被多类人员使用。

参考答案

业务元数据:业务名称与定义、业务规则/计算公式、数据所有者与密级。
技术元数据:物理表名与字段类型、ETL 作业与源到目标映射、索引与分区。
操作元数据:作业执行日志、查询频率与响应时间、备份与保留记录。

按来源分类的原因:
- 元数据由不同流程产生:业务定义来自术语表/建模,技术元数据来自数据库与 ETL 工具,操作元数据来自运行时;
- 使用方式交叉:技术人员也会用业务定义,业务人员也会关心数据新鲜度;
- 按来源分类便于确定采集方式、质量责任与更新频率。

分类是理解工具,不是边界;关键是定义需求并说明每类元数据用来做什么。

自评要点

  • 三类各举三例
  • 解释按来源分类的理由
  • 指出使用上的交叉

提示从最痛的问题切入:找数、懂数、追数;先做目录与血缘。

参考答案

第一阶段(3~6 个月):
- 目标:让用户能「找到数据、看懂数据、追溯来源」;
- 范围:选 1~2 个高价值主题域(如客户、销售);
- 采集:技术元数据(表、字段、ETL、血缘)、核心业务术语与指标定义、数据所有者;
- 能力:搜索、数据目录、字段级血缘、影响分析;
- 价值证明:统计查找数据时间、口径争议数量、变更影响分析耗时。

第二阶段:
- 扩展主题域,接入 BI 报表与指标口径;
- 建立术语审批工作流与质量规则元数据;
- 增加操作元数据(新鲜度、作业状态)。

第三阶段:
- 全企业覆盖,元数据质量度量,与开发流程集成,自助分析。

关键是第一阶段选对痛点,用可量化改进证明价值,再争取后续预算。

自评要点

  • 分阶段且第一阶段范围聚焦
  • 优先目录、血缘、术语
  • 用可量化指标证明价值

提示采集是否自动、是否嵌入 SDLC、谁对质量负责、是否有反馈闭环。

参考答案

原因:
- 依赖手工录入,变更后未同步;
- 未嵌入开发/发布流程,元数据成为额外负担;
- 元数据质量责任不清,业务与技术互相等待;
- 缺少反馈机制,用户发现错误无法修正;
- 只采集技术元数据,缺少业务定义与血缘;
- 没有使用推广,存储库无人访问。

治理措施:
1)自动采集数据库、ETL、BI 元数据,按计划增量同步;
2)把元数据更新设为发布/变更流程的必过关口;
3)明确流程所有者对元数据质量负责,设专职元数据管理员;
4)建立反馈与工单机制,跟踪修正闭环;
5)优先补齐高价值主题域的业务定义与血缘;
6)定期发布覆盖率、使用率、文档质量指标,向业务汇报价值。

自评要点

  • 诊断覆盖采集、流程、责任、反馈
  • 措施包含自动化与流程嵌入
  • 强调使用推广与度量

本章对应《DAMA 数据管理知识体系指南(原书第 2 版)》第 12 章。正文为教学改写,建议对照原书与所在组织的实际场景阅读。

← 上一章

数据仓库和商务智能

下一章 →

数据质量