大数据和数据科学

大数据不仅指数据量大，还包括种类多、产生速度快，以及黏度高、波动大、准确性低等特征。数据科学则综合统计学、计算机科学、机器学习、信号处理与可视化，从数据中构建预测模型、发现模式。传统 BI 像后视镜，解释过去；数据科学更像挡风玻璃，尝试预判未来。

• 3V 起步：Volume（量大）、Velocity（快）、Variety/Variability（多样/可变）
• 扩展特征：Viscosity（使用与集成难度）、Volatility（变化频率）、Veracity（准确性）
• 大数据驱动因素：从多流程数据中发现商机、预测客户需求、个性化产品服务、自动化复杂活动
• 管理大数据的元数据要求更高：必须能说清文件来源、内容与价值
• 大数据不采用关系模型组织数据，通常先加载后转换（ELT），与传统数仓相反

数据湖可以接收、存储、评估和分析多种类型与结构的数据：既是数据科学家的探索环境，也可作为原始数据集中存储、数仓历史明细的备份、在线归档或流数据处理环境。风险是它会迅速退化为「数据沼泽」——杂乱、不干净、不一致。

• 数据湖需要单一键值、语义模型或数据模型帮助使用者理解数据关联
• 基于服务的架构分三层：批处理层（历史与近期数据）、加速层（实时数据）、服务层（统一接口）
• Lambda 架构用批处理路径保证完整性、速度路径保证低延迟
• 数据源包括内部系统、外部数据、IoT 传感器、日志、社交媒体与流数据

分析能力从回答「发生了什么」逐步走向「为什么会发生」「可能发生什么」「应该怎么做」。越往后，对数据、模型、实时性和治理的要求越高。

• 机器学习三类：监督学习（有标签）、无监督学习（找隐藏模式，如聚类）、强化学习（基于目标优化）
• 常见数据挖掘技术：剖析、数据缩减、关联、聚类、自组织映射
• 文本挖掘与 NLP 用于情绪分析、主题分类与知识本体构建
• 深度学习等复杂模型可能是黑箱，透明性与可解释性是伦理与治理要求
• 可视化、数据混搭与运营分析把模型结果转化为可行动的洞察

数据科学遵循科学方法：观察、提出假设、检验、解释。项目是迭代的，每一步的输出会成为下一步的输入，需求也可能在探索中改变。

• 数据源选择要由问题驱动，而不是「有什么数据就用什么」
• 筛选与清洗会实质性影响结果，必须客观、统一，避免引入偏见
• 模型上线后要监控漂移、效果与副作用，定期重训或退役
• 很多数据科学项目最终会演变为数据仓库或数据产品项目

1. 01定义大数据战略与业务需求：明确要解决的问题、可衡量收益与评估节点
2. 02选择数据源：评估内部/外部数据、粒度、一致性、可靠性与隐私风险
3. 03采集与提取：捕获来源、大小、时效等元数据，加载到数据湖或分析环境
4. 04设定假设与方法：剖析、可视化、挖掘数据，定义模型输入、算法与假设
5. 05集成与调整：连接多源数据，处理粒度与时间对齐，评估质量与适用性
6. 06使用模型探索：训练、验证、调优，识别异常值，迭代假设与特征
7. 07部署与监控：把有效模型投入生产，持续监控价值与有效性，并转入数据仓库/产品化

大数据治理要覆盖可视化渠道、数据科学与可视化标准、安全、元数据与质量。没有元数据，数据湖无法被理解；没有质量评估，分析结论不可信；没有安全与伦理，创新会带来伤害。

• 数据质量评估要前置：否则不知道数据代表什么，也难以跨数据集关联
• 模型与可视化都要有标准，避免误导性图表与不可复现分析
• 大数据环境同样适用隐私、分类分级与访问控制要求
• 数据科学团队要与数据治理、元数据、质量团队协作，而不是独立于体系之外