首页
/
行业洞察
/
正文
INDUSTRY INSIGHT · 深度
27. 数据产品-数据管理知识体系
📅 2026/10/10 2:38:50
✍️ 爱科研究院
👁 阅读 3,247
DAMA-DMBOK2.0DAMA 数据管理知识体系指南 第 2 版DMBOK2 是 DAMA International 发布的数据管理权威框架也是CDGA / CDGP认证的指定教材核心形象为DAMA 车轮图轮毂 数据治理总控辐条 其余 10 个数据管理知识领域。核心思想数据是企业资产数据治理是对数据资产的权力与控制其余领域是落地执行。11 个知识领域车轮图1. 数据治理 Data Governance轮毂核心对数据资产进行规划、监督、控制定义数据策略、政策、标准、权责数据所有者 Data Owner、数据管家 Data Steward处理数据相关风险、合规、问题升级。一句话定规则、分权责、做监督不直接写代码、不做 ETL。2. 数据架构 Data Architecture企业架构的组成部分定义企业数据资产的结构、数据需求、数据流、技术选型构建数据蓝图对齐业务战略。包含企业数据模型、数据存储架构、集成架构。3. 数据建模与设计 Data Modeling Design把业务需求转化为数据模型分概念模型、逻辑模型、物理模型包含实体关系 ER 建模、维度建模数据模型评审与维护。4. 数据存储与操作 Data Storage Operations数据物理存储部署、数据库运维、备份恢复、性能调优、生命周期管理、归档销毁保障数据可用可靠。5. 数据安全 Data Security保障数据保密性、完整性、可用性数据分级分类、访问权限、脱敏、加密、审计、隐私保护满足法规。6. 数据集成与互操作 Data Integration InteroperabilityDMBOK2 新增独立领域跨系统数据获取、抽取、转换、传输、分发、同步、联邦、虚拟化ETL/ELT、API、消息队列打通异构系统数据。7. 文件和内容管理 Documents Content Management非结构化数据文档、合同、图片、音视频索引、存储、版本、检索、权限、生命周期管理。8. 参考数据和主数据 Reference Master Data参考数据字典码表性别、地区、订单状态主数据企业核心业务实体客户、供应商、产品、组织目标统一企业核心基础数据消除多系统不一致。9. 数据仓库和商务智能 Data Warehousing Business Intelligence面向分析决策建设数仓、数据集市、OLAP、报表、自助 BI支撑业务分析与决策。10. 元数据管理 Metadata Management描述数据的数据业务元数据业务术语、指标口径、技术元数据表结构、字段类型、操作元数据任务日志支持数据地图、血缘、影响分析、数据字典。11. 数据质量 Data Quality定义数据质量规则与维度准确性、完整性、一致性、时效性、唯一性、有效性数据质量评估、监控、问题整改闭环。DMBOK2 配套专题章节不属于 11 个知识域但必考数据处理伦理 Data Handling Ethics数据采集、使用的伦理约束大数据与数据科学 Big Data Data Science非传统数据、机器学习场景数据管理成熟度评估评估组织数据能力等级数据管理组织与角色数据 Owner、Steward、数据架构师等岗位职责变革管理推动组织落地数据管理文化DMBOK2 核心原则数据是资产数据具备价值需要管理与治理数据治理≠数据管理治理定规则、管控管理是落地执行活动业务主导数据数据 Owner 是业务方IT 负责技术实现全生命周期管理从数据产生、存储、使用到归档销毁PDCO 活动框架所有知识领域通用活动阶段Plan规划→ Develop开发→ Control控制→ Operate运维11个 领域速记表CDGA 备考知识领域核心一句话数据治理定政策、权责、监督管控数据资产数据架构企业数据蓝图、数据流与技术框架数据建模与设计业务需求转概念 / 逻辑 / 物理模型数据存储与操作数据库运维、备份、存储生命周期数据安全权限、脱敏、加密、隐私与合规数据集成与互操作跨系统 ETL/API打通异构数据文件和内容管理文档、图片等非结构化内容管理参考数据和主数据统一码表与客户 / 产品等核心实体数据仓库与 BI分析型数据、报表、决策支持元数据管理数据字典、血缘、数据地图数据质量质量规则、监控、清洗整改概念详述元数据管理和主数据管理元数据管理Metadata Management和主数据管理Master Data Management, MDM是企业数据治理的两大基石。虽然它们经常同时出现但解决的问题截然不同元数据管理解决“数据是什么、在哪里、怎么流转”的问题数据的说明书。主数据管理解决“核心业务实体是谁、哪个版本可信”的问题业务的黄金记录。混淆两者是数据项目失败的常见原因。以下是深度解析与实战指南1. 核心概念辨析维度元数据管理主数据管理定义关于数据的数据描述、结构、血缘、质量规则跨系统共享的核心业务实体的唯一、准确视图对象表、字段、ETL任务、API、指标、报表客户、产品、供应商、员工、组织架构核心价值可发现性、可理解性、影响分析、合规审计消除歧义、统一口径、支撑跨域分析、提升运营效率技术重心采集、索引、图谱、搜索、AI 分类识别、匹配、合并、分发、生命周期管理用户数据工程师、分析师、数据管家、合规官业务运营、CRM/ERP 系统、BI 报表、数据中台典型工具DataHub, Amundsen, Atlas, AlationProfisee, Reltio, SAP MDG, Informatica MDM关键关系元数据是 MDM 的基础。MDM 需要依赖元数据来理解各源系统的字段含义、数据质量和血缘而 MDM 产出的“黄金记录”本身也是企业最重要的元数据资产之一。2. 元数据管理从“被动文档”到“主动智能”三类元数据缺一不可技术元数据表结构、分区、存储位置、ETL DAG、调度依赖、权限配置。业务元数据业务术语、指标定义、数据所有者、敏感等级、业务规则。操作元数据执行日志、行数、耗时、数据新鲜度、质量检查结果、访问热度。现代元数据平台核心能力自动化采集通过 Connector 自动抓取 Hive/Spark/MPP/Kafka/API 等元数据拒绝手工录入。端到端血缘从 BI 报表 → ADS → DWD → ODS → 源系统的全链路可视化支持字段级血缘。数据目录与搜索类 Google 体验支持标签、筛选、预览、SQL 查询历史。AI 增强自动打标签、PII 识别、异常检测、自然语言问答如“这个字段的口径是什么”。Active Metadata元数据反向驱动行动——质量差时自动阻断下游、成本超标时告警、变更时通知消费者。开源 vs 商业选型DataHub(LinkedIn)当前最活跃的开源方案Push/Pull 双模式UI 现代社区强大。推荐作为首选开源方案。Apache AtlasHadoop 生态老牌与 Ranger 集成好但 UI 老旧、维护放缓。适合纯 Hadoop 存量环境。Amundsen(Lyft)轻量、搜索体验好但功能较基础社区活跃度下降。Alation / Collibra商业标杆业务元数据和协作能力强价格昂贵。云原生AWS Glue Data Catalog / Azure Purview / 阿里云 DataWorks 数据地图。已上云且预算充足时优先考虑。3. 主数据管理打造“单一事实来源”MDM 不是建一个“超级数据库”MDM 的核心是流程 规则 技术三位一体识别与匹配多源数据进来后判断是否指向同一实体如“张三”“Zhang San”“ID:10086”。常用算法确定性匹配 模糊匹配 ML 模型。合并与生存冲突字段选谁定义 Survivorship Rules如手机号取最近更新的地址取 CRM 的。分发与同步黄金记录如何回写源系统或推送下游实时 API / CDC / 批量文件。数据管家工作流人工审核、合并确认、例外处理。MDM 70% 是组织问题30% 才是技术问题。实施 MDM 的黄金法则从小处着手不要试图一次性搞定所有主数据。先选一个痛点最强、价值最高的域通常是客户或产品跑通闭环再扩展。业务主导IT 赋能MDM 的所有权必须在业务部门。IT 负责平台和规则引擎但“什么是正确的客户”必须由业务定义。接受不完美追求 100% 准确率会导致项目永远无法上线。设定合理阈值如 95% 自动匹配5% 人工审核持续迭代。与交易系统共存而非替代MDM 不取代 CRM/ERP而是作为“协调层”。源系统仍是操作入口MDM 提供跨系统一致性。重视变更管理新系统接入、字段变更、规则调整必须有审批流程和回归测试。4. 两者协同11 2提供字段映射/质量规则产出黄金记录注册为数据资产血缘/目录/质量分发源系统元数据采集元数据平台MDM 平台主数据存储数据消费者业务系统/数仓元数据支撑 MDMMDM 建模时通过元数据平台快速了解各源系统字段含义、数据分布和质量状况大幅缩短 Mapping 时间。MDM 丰富元数据黄金记录的 Schema、业务定义、Owner 信息自动同步到元数据平台成为最权威的业务术语表。统一治理视图在元数据平台上既能看技术血缘也能看到某个报表用了哪些主数据、主数据质量如何实现真正的端到端治理。5. 避坑清单❌ 把元数据当文档项目做只收集不消费 垃圾。必须嵌入开发流程CI/CD、查询引擎、BI 工具中才有生命力。❌ MDM 做成另一个数据仓库MDM 是面向操作的OLTP 特性不是用来做分析的。分析应使用数仓中的主数据维度表。❌ 忽视数据安全与隐私元数据和主数据都包含敏感信息。必须内置 RBAC、列级权限、脱敏、审计日志。GDPR/个保法合规是底线。❌ 过度定制 MDM 匹配规则尽量用配置化规则引擎避免硬编码。否则每次源系统变更都是灾难。❌ 没有数据管家体系没有 Steward 的 MDM 注定腐烂。必须明确 Owner、建立 KPI、配套培训和激励机制。6. 下一步建议如果你正在规划或优化评估成熟度当前是否有统一的术语表是否能 5 分钟内找到所需数据核心实体是否有跨系统一致 ID优先建设元数据成本低、见效快、为 MDM 打基础。DataHub Airflow/dbt 是现代 ELT 栈的高性价比组合。MDM 按需启动仅当存在明确的跨系统数据冲突、监管合规要求或重大业务痛点时才立项。切忌“为了治理而治理”。考虑云原生一体化如果已在 AWS/Azure/GCP/阿里云上优先评估其原生数据治理套件集成度和运维成本远优于自建。DAMA-DMBOK2 与 DCMMGB/T 36073对比DMBOK2国际知识体系、最佳实践指南CDGA/CDGP 教材DCMM中国国家标准、成熟度评估标尺用于企业贯标、资质评估。一句话定位DMBOK 告诉你要做哪些事DCMM 评估你这件事做到了什么水平二者互补不是替代关系。一、基础信息总览表对比项DAMA-DMBOK2DCMMGB/T 36073-20181.08 能力域发布主体DAMA International国际行业协会全国信标委国标 GB/T 36073本质定位知识体系 / 实践指南讲解数据管理各领域做什么、产出物、角色成熟度评估模型用来评估企业数据管理能力等级可用于贯标取证核心结构11 个知识域车轮图治理为轮毂其余是专业领域8 大能力域数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期成熟度附带成熟度章节但不是核心无强制评估指标五级成熟度L1 初始级→L2 受管理级→L3 稳健级→L4 量化管理级→L5 优化级配套数百条评估指标侧重点偏专业领域的过程、角色、交付物覆盖结构化 非结构化、大数据、数据科学、伦理偏组织、制度、流程、落地成效强调国内合规、数据要素、数据开放共享、数据资产价值适用场景人员学习、数据团队建设、岗位定义、体系设计、CDGA 认证企业现状诊断、内部评估、外部第三方贯标、国企 / 政务数字化考核底层逻辑车轮模型治理是总控各领域并行开展分层模型战略→治理→架构→运营数据生存周期贯穿所有域补充DCMM 2.0GB/T 36073-2025升级为9 大能力域新增【数据资产】域强化数据权属、资产运营、流通更贴合国内数据要素政策腾讯云。二、领域映射对照表DMBOK2 11 知识域 ↔ DCMM 8 能力域注意不是一对一精确映射DCMM 会把 DMBOK 多个知识域打散重组DCMM 单独拎出【数据战略】【数据标准】【数据应用】【数据生存周期】作为独立能力域。DMBOK2 知识域对应 DCMM 能力域说明数据治理 Data Governance数据治理二者核心思想一致组织、制度、权责、监督DCMM 额外强调治理沟通、数据文化数据架构 Data Architecture数据架构DCMM 架构域包含数据模型、数据分布、集成共享、元数据管理数据建模与设计数据架构 / 数据生存周期DCMM 放在架构模型 生命周期设计开发DMBOK 独立成域数据存储与操作数据生存周期DMBOK 独立存储运维DCMM 合并进全生命周期运维、退役归档数据安全 Data Security数据安全基本对齐DCMM 强化国内法规、安全审计、合规管理数据集成与互操作数据架构集成共享DMBOK2 新增独立领域DCMM 作为架构下二级能力项文件和内容管理数据应用 数据生存周期DMBOK 单独非结构化内容DCMM 不单独拆分归入应用与生命周期参考数据和主数据数据标准最大差异点DCMM 专门设置【数据标准】域主数据 / 参考数据是标准域下核心能力项数据仓库和 BI数据应用DMBOK 独立数仓 BIDCMM 统一归入数据应用数据分析、开放共享、数据服务元数据管理数据架构DMBOK 独立元数据域DCMM 将元数据作为数据架构的子项数据质量 Data Quality数据质量几乎完全对齐质量需求、检查、分析、整改闭环DMBOK 里的专题大数据 数据科学、数据伦理、角色组织DCMM 不单独设域分散在数据应用、安全、战略中评估。三、核心差异解读✅ DMBOK 特点面向专业人员定义每个领域的活动、角色Data Owner、Data Steward、数据架构师、交付文档、PDCO 过程框架技术覆盖面更广独立拆分集成互操作、文件内容、元数据、存储操作偏国际通用实践不绑定特定国家法规包含数据伦理章节不强制评估打分用来搭建体系、定义岗位职责、培训团队。✅ DCMM 特点顶层突出数据战略DCMM 把【数据战略】作为独立一级能力域DMBOK 没有独立知识域战略在治理中体现数据标准独立一级域国内落地最看重数据元、业务术语、主数据标准DMBOK 把主数据 / 参考数据单独作为一个知识域标准属于该域内子内容突出数据应用与开放共享贴合国内数据要素、政务数据共享、数据流通政策全生命周期视角用【数据生存周期】统一收拢需求、设计、开发、运维、归档销毁DMBOK 拆成建模、存储、集成多个领域强可审计、可取证每一级都有明确评估指标第三方机构现场审核打分。四、落地怎么组合使用企业实践推荐先用 DCMM评估现状、识别短板确定目标成熟度一般企业目标 L3 稳健级拿到差距清单用 DMBOK2 做方案设计针对 DCMM 识别的短板参考 DMBOK 各知识域的流程、角色、交付物搭建数据管理体系落地顺序DCMM 定目标 → DMBOK 定义各领域怎么做 → 制度落地、平台建设 → 再用 DCMM 复评。五、一句话总结DMBOK2 数据管理的教科书告诉你数据管理包含哪些专业工作DCMM 数据管理能力的体检表检查企业这些工作做到哪个等级国内企业做数据治理DCMM 做评估对标DMBOK 做体系设计与团队能力建设两者搭配是行业主流方案。
📌 标签:
工业官网
设计趋势
AI 建站
SEO
获取完整报告 →
RELATED ARTICLES
推荐阅读
2026/10/10 2:38:50
AI大模型如何抓取和推荐徐州本地商户?GEO技术链路与POI权重算法拆解
2026/10/10 2:33:49
雪糕的最大数量:一道经典「从最小开始贪心」题(LeetCode 1833,周赛 237 B)
2026/10/10 2:33:49
一个周末,微软、字节、阿里、港大齐刷刷押注『看屏操作』:CUA 赛道怎么突然卷成这样
2026/10/10 3:43:55
外卖平台搜索体验优化实战:从关键词匹配到意图理解
2026/10/10 3:43:55
CIFLog测井解释实验报告全流程指南:从数据体检到参数规范化
2026/10/10 3:43:55
DBeaver连接MySQL建库建表实操指南
2026/10/10 3:43:55
SQL Server参数嗅探与OPTIMIZE FOR Hint实战指南
2026/10/10 3:43:55
数据结构期末真题带答案解析:高效复习法与高频考点精讲
2026/10/10 3:38:54
Linux 7z 命令实战:高压缩比参数调优与避坑指南
2026/10/10 0:03:38
工业软件标准化路线图:国产替代的落地施工图
2026/10/10 0:03:38
VCMI安卓版实操指南:原生运行英雄无敌3的3步技术落地
2026/10/10 0:03:38
稀疏多通道盲反褶积的MATLAB算法实现与参数调优
2026/10/10 3:42:06
Jev+Agent接管浏览器:browser-use实战与jev-ultrafast性能优化
2026/10/10 3:42:01
多智能体集群实战:DeepAgents编排、MCP与A2A协议及Skills体系
2026/10/10 3:41:58
hindsight:面向LLM应用的事后可观测性工程实践
2026/10/10 3:41:56
我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频
2026/10/10 3:41:54
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证
2026/10/9 11:36:17
2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置)