为什么需要企业级集成
数据集成是把数据整合成物理或虚拟的一致格式；互操作是多个系统之间通信的能力。两者合起来，支撑数据迁移、数据仓库加载、包系统集成、跨组织共享、分发、归档、接口管理、外部数据获取以及结构化与非结构化数据整合。
- 点对点集成所需接口数量接近系统数量的平方，很快会拖垮支撑团队
- 企业级集成通过共享模型、规范格式与中心节点，降低复杂度和维护成本
- 集成依赖治理（转换规则）、架构（方案设计）、安全（流动中的数据）、元数据（含义与血缘）、存储（物理落地）、建模（结构设计）
- 集成是数据仓库、主数据管理和大数据的基础能力
ETL、ELT 与时延
抽取、转换、加载（ETL）是集成的核心过程。若目标系统比源系统或中间系统具备更强的转换能力，可以改为抽取、加载、转换（ELT），这在数据湖与大数据环境中很常见。映射定义源到目标的结构、识别规则、转换与计算规则。
- 物理分段便于审计与断点续跑，但占用磁盘并增加延迟
- 复制工具通常监控变更日志而非数据本身，对源系统影响小，适合准实时副本
- 多站点同时修改同一数据时，复制可能冲突或静默覆盖，需要明确主副本
- 归档要保证未来技术变化后仍可读取，尤其是仍有法定保留要求的数据
| 方式 | 时延 | 适用场景 | 注意点 |
|---|---|---|---|
| 批处理 | 高（小时/天） | 数仓加载、迁移、归档 | 快照 vs 增量；调度窗口与依赖 |
| 变更数据捕获（CDC） | 较低 | 只同步变化数据，降低带宽 | 基于数据标记或数据库日志；需处理顺序 |
| 准实时 / 事件驱动 | 秒到分钟 | 业务事件触发、状态同步 | 依赖消息中间件；需处理乱序与重复 |
| 异步 | 准实时 | 系统解耦、目标短暂离线 | 源系统不阻塞；最终一致 |
| 实时同步 | 极低 | 强同步要求，如账务与余额 | 吞吐较低；一个系统故障可能阻塞全局 |
| 流处理 | 毫秒到秒 | 传感器、交易、点击流 | 硬件与软件投入大；状态与容错复杂 |
微批处理以更高频率运行批作业，是批处理与准实时之间的折中。
交互模型与规范格式
交互模型描述系统之间如何建立连接和传送数据。选错模型，会在系统数量增长后付出指数级代价。规范格式（Canonical Format）则让每个系统只需与中央格式转换，而不必为每个对手方单独适配。
- 数据交换规范应优先基于行业标准或既有企业标准
- 修改规范要考虑通用性，避免为单个系统开出特例
- 接口、消息与规范模型本身也要建模、登记元数据并纳入版本管理
| 模型 | 结构 | 优点 | 风险 |
|---|---|---|---|
| 点对点 | 系统两两直连 | 小规模下简单直接 | 接口数量平方增长、口径不一致、维护困难 |
| 中心辐射 | 所有系统只与中央枢纽交互 | 降低转换数量、便于集中治理 | 枢纽成为瓶颈与单点，规范格式建设成本高 |
| 发布订阅 | 发布者发事件，订阅者按需接收 | 松耦合、易扩展 | 事件契约与顺序、重复消费需治理 |
三个以上系统交互就应考虑规范格式；上百个系统时，点对点几乎不可维护。
集成项目的生命周期
数据集成遵循开发生命周期：规划与分析、设计、开发、测试、实施与监控。前期投入在探索、剖析和业务规则收集上的时间，往往决定项目后期是否返工。
- 定义需求：业务目标、数据内容、法规与保留要求、时延与格式要求
- 数据探索：定位潜在源与目标，结合元数据扫描与内容分析，维护数据目录
- 记录血缘：数据如何获取、移动、转换、使用，支持影响分析
- 剖析数据：核对格式、空值、值域、模式关系与跨数据集关系，评估质量与适用性
- 收集业务规则：术语定义、事实、约束/行为断言、派生规则；主数据还要匹配、合并、存活、信任规则
- 设计：选择交互模型，设计数据服务/交换模式，建模持久与传输结构，完成源到目标映射
- 开发与测试：单元、集成、性能、异常与回滚测试，验证规则与数据质量
- 实施与监控：调度、告警、SLA、失败重跑、数据量与时延监控
治理与度量
集成治理的核心是数据共享协议与血缘。前者规定谁可以为了什么目的、以什么服务水平交换数据；后者保证数据移动可追溯，支持合规与变更影响分析。
- 数据共享协议或谅解备忘录应明确用途、限制、服务水平与责任人
- 受监管行业、涉及个人信息或安全信息的共享尤其需要正式协议
- 集成元数据（接口、映射、调度、血缘）应纳入企业元数据仓库统一管理
| 维度 | 指标示例 |
|---|---|
| 可用性 | 数据请求可获得率、接口正常运行时间 |
| 数据量与速度 | 传送/转换数据量、更新到可用的时延、新数据源上线时间 |
| 成本与复杂度 | 开发与运维成本、接入新数据的便利性、系统数量、接口复杂度 |
| 质量 | 集成失败率、重跑次数、对账差异、数据质量告警 |
血缘要同时支持前向（数据被谁使用）与后向（数据来自哪里），两者都是影响分析的基础。