—— 1 前言 ——
1.1背景与目的
自党的十八届五中全会提出“实施国家大数据战略”后，国家层面先后发布多项政策文件，以大数据赋能经济转型升级和政府治理能力提升，助力数字中国建设。经历多年发展，大数据应用场景不断深入，在很多方面取得了重要的作用。
中共中央、国务院相继发布《关于构建更加完善的要素市场化配置体制机制的意见》、《关于新时代加快完善社会主义市场经济体制的意见》，将“数据”与土地、劳动力、资本、技术并列为第五种生产要素，并提出“加快培育数据要素市场”。2020年，国务院首次明确了将数据中心作为“新基建”的七大重点领域之一。这一些列的政策指引，将数据提升到了前所未有的战略高度，全社会对数据的重视程度也不断提升。
数据作为推动经济社会发展及数字化转型的新动能已成为社会共识，数据治理作为基础性工作，受到越来越多企事业单位的重视，如何做好数据治理工作，成为企业数字化转型的新挑战。数据治理是一个需要长期投入的工作，涉及业务和技术等方方面面，影响范围及复杂度高，治理效率尤为重要，需要一套完善的体系和方法论支撑。
1.2数据治理
目前大家在讨论数据治理的概念时，主要存在两种趋势。一种是偏数据管理的狭义数据治理，侧重于数据资产管控体系；另一种是偏数据工厂的广义数据治理，对狭义数据治理的概念进行了延伸，侧重于技术支撑平台的研究。
另外，相对于数据治理，还存在大数据治理的概念。大数据治理相比与数据治理，在治理对象、数据处理架构、治理组织职能、数据管理措施、数据应用范围等方面呈现多层次、多形式、大范围等特点。
数据治理的最终目标是提升数据的价值，是组织推动战略落实的基础，它由管理体系和技术体系共同组成，包括组织、制度、流程及技术以及支撑工具等。
1.3数据治理工具
数据治理工具指为数据治理项目而开发，以满足数据治理规划、设计、实施、常态化运营工作的一系列应用程序系统集成和其他技术。数据治理工具根据数据治理需求及其技术架构，可以包含一个或多个程序系统或技术，每个程序系统或技术都有其独立的试用场景和价值。
数据治理工具体现在以下三点：
战略层面：引入工具可以保证数据治理组织在治理活动中制定各种规章制度、指导方针、规范标准、操作程序、工作流程、行为准则和方法加快落地。同时，引入工具能帮助企业加快度量、监控、辅助评估、决策。
管理层面：引入工具可以明确管理目标、活动流程，把具体的管理落地到，能帮助企业快速搭建数据管理体系。
操作层面：引入工具可贯穿数据的整个生命周期，实现过程可查、结果可依，对辅助决策及审计有重要意义。其次，面对海量数据，部分场景下必须使用数据提取、分类、处理的技术及工具才能完成相关工作。
1.4数据治理整体应用情况
我过数据治理实践起始于2003至2004年，伴随ERP、CRM、数据仓库、商业智能、共享交换平台、数据监管的建设深入，数据质量和数据可信问题变得尤为突出，我国通信、银行、能源行业率先进行数据治理相关实践，建立了数据治理组织及体系架构，开展了元数据、数据质量、主数据等数据治理工作，但缺少本土数据治理工具，主要是国外输入。2015年后，伴随着我国大数据发展进入快车道，国内的数据治理软件异军突起。
1.5重点行业应用
数据治理应用主要在以下这些行业应用广泛，且取得了很好的应用效果：
金融行业、政务行业、电力行业、交通行业、医疗行业、互联网行业等。当然，其他行业也有在数据治理方面取得不错成绩的企业，在此，不再一 一列举。
—— 2 数据治理工具图谱 ——
2.1数据治理工具全景图
(一) 治理战略层
为提供数据治理战略规划、评估、指导、监控的工具或功能。主要包括五大过程域：
1. 组织与职责：对数据治理组织及其职责进行规划、管理的工具或功能。
2. 体系与制度：对数据治理相关体系、制度、流程进行管理、发布的工具或功能。
3. 团队与文化：提供数据治理文化发布、查询、学习培训等工具或功能。
4. 计划与监控：提供数据治理项目管理及监控的工具或功能。
5. 成效与评估：对数据治理成效提供评估依据及评估行为的工具或功能。
受企业的业务架构和技术架构的影响，治理战略的工具形态会有差异。但无论哪种形态或工具，满足过程域能力要求即可。
(二) 数据管理层
为落实数据治理战略而进行的数据管理活动的工具或功能。主要包括八大过程域：
1. 数据架构管理：提供数据架构规划、设计相关工具及功能，包括数据层次、数据模型和数据流向设计。
2. 元数据管理：提供统一的企业元数据存储库，支持相关血缘、影响分析及变更管理的监控。
3. 数据标准管理：提供统一的指标数据技术标准、业务标准、管理标准的视图，具备基本的增删改查及废止功能，可进行标准符合性检测。
4. 主数据管理：提供对企业主数据、参考数据统一管理，支持主数据模型定义、数据约束及分发策略的管理。
5. 数据质量管理：支持对数据质量建立质量规则，支持数据治理评估，并生成质量报告，提供治理整改机制。
6. 数据资产管理：提供企业以资产价值视角的数据管理能力，包括资产索引、资产开发、资产服务等功能。
7. 数据安全管理：提供企业以资产价值视角的数据管理功能，包括资产索引、资产开发、资产服务等功能。
8. 数据生命周期管理：对数据进行生命周期管理，定期监督和检查数据归档和销毁策略执行情况。
(三) 数据操作层
为基于治理战略目标要求，以满足数据管理需要，对数据进行操作的工具或功能，主要有以下六大过程域：
1. 数据存储工具：基于数据治理战略及数据架构、数据标准、元数据、质量等管理要求，对数据进行存储。包括分布式存储、传统关系型存储、文件存储及图数据存储。
2. 数据采集工具：基于数据治理战略要求，完成相关数据采集工作。支持不同采集方式及频率，包括实时采集、离线采集、报表填报采集、API采集等。
3. 数据处理工具：基于数据质量、标准、数据架构等要求，对数据进行加工、转换、清洗、集中等工作。
4. 数据共享交换工具：基于业务之间的数据共享需求，对不同异构数据执行交换或服务。包括文件、库表、接口、实时流等。
5. AI计算支撑工具：将人工智能技术运用到数据采集、处理、共享、评估、质量活动中。
6. 数据分析应用工具：通过数据可视化、报表等工具完成数据治理的报告、诊断分析、监控图表等的开发制作。
2.2战略层工具
（一）组织与保障工具能力图谱
数据治理是一项全组织性的工作，有效的组织架构是数据治理成功的有力保证，为达到数据战略目标，建立体系化组织架构、明确职责的分工是非常必要的。
（二）体系与制度工具能力图谱
数据治理体系制度是数据治理工作在组织内合理合法开展的保障。通常来讲，数据治理的体系制度从数据标准、数据质量、数据服务、数据基础、数据安全、分类分级和数据运维七个维度展开。从管理制度上来讲，包括元数据管理办法、数据标准管理办法、数据质量管理办法、数据安全管理办法等，这些制度会阐明数据治理的主要目标、实施原则、数据范围和相关人员的职责职能等。
（三）团队与文化工具能力图谱
数据治理要下成功，离不开团队的积极配合，离不开团队对于数据治理的认知和认可。通常来讲，数据治理团队与文化建设分为团队建设、文化建设和反馈机制。
（四）计划与监控工具能力图谱
数据治理是一项长期的工作，对数据治理过程进行计划监控是很有必要的。数据治理计划监控分为目标计划管理、实施监控管理以及指导和改进。
（五）成效与评估工具能力图谱
数据治理成效评估是数据治理工作的必须环节，可以有效的发现数据治理过程中不足的地方，及时调整方向与策略，有利于总结经验和教训，为后续工作提供参考。
2.2管理层工具
（一）数据架构管理工具能力图谱
数据架构是企业架构的组成部分，用于定义数据需求、整合和控制，以获得数据资产蓝图，是匹配企业战略、企业业务架构的一套数据视角下的企业业务实体及其重要特征的术语规范集合。
（二）元数据管理工具能力图谱
元数据管理通过对元数据自动化的采集、探查、帮助企业绘制数据地图、标明数据方位、分析数据关系、管理模型变更，从而有效的发掘和利用信息资产的价值，辅助实现精准高效的分析和决策，推动实现企业级元数据管理能力。
（三）数据标准管理工具能力图谱
数据标准管理是依托标准体系管理进行顶层设计，提供基础标准管理、指标标准管理、代码集管理以及编码规则的数据标准能力，为组织提供数据标准应用和数据标准API等应用服务。
（四）主数据管理工具能力图谱
主数据管理工具用来定义、管理和共享组织的主数据信息，保证主数据在各个信息系统间的准确性、一致性、完整性。
（五）数据质量管理工具能力图谱
数据质量管理工具主要提供对不符合规则的数据进行探查、发现、修复、报告的闭环管理，实现组织数据质量管理体系线上全流程闭环，持续不断提升数据质量，满足业务需求，辅助业务决策。
（六）数据资产管理工具能力图谱
数据资产管理包括数据资产的目录管理、生命周期管理、价值管理、接口管理、知识管理和安全管理。
（七）数据安全管理工具能力图谱
数据安全规范管理是针对数据安全管理、技术流程进行规范化的管理部分。
（八）数据生命周期管理工具能力图谱
数据生命周期管理工具可以协助数据管理组织和人员，在数据从产生、应用、归档到销毁的整个生命周期全过程进行有效的自动化管理，针对不同生命周期阶段的数据建立多层次的数据自动存储体系，既有效管控系统整体在线数据规模，降低系统运营成本，又满足最终用户的数据访问和应用的需求。
2.3操作层工具
（一）数据存储工具能力图谱
数据存储工具主要用于业务产生的海量数据的存储以及管理，大规模、多元化数据管理提供数据融合存储于实时计算的功能，帮助用户打通不同业务类型、不同数据类型之间的技术壁垒，实现处理分析一体化、多模数据一体化，降低数据流动带来的开发成本及技术存储开销，为上层数据分析提供数据查询访问接口。
（二）数据采集工具能力图谱
数据采集工具负责各类数据源之间的数据同步，比如将各种业务关系型数据库的全量、增量地导入到数据仓库系统，给后续的数据处理流程提供数据基础。
（三）数据处理工具能力图谱
数据处理将分散建设的若干业务系统进行整合，以实现若干个业务子系统之间数据或文件的传输和共享，提高信息资源的利用率，保证了分布在异构系统之间的信息互联互通，完成数据的采集、集中处理、分发、加载、传输，构造统一的数据及文件的传输交换，用于全面支撑数据服务平台、数据中心、数据中台、数据湖、数据中心建设。
（四）数据共享交换工具能力图谱
数据共享交换工具面向数据交换全生命周期管理，提供多类型的资源共享通道，打通各交换节点的数据壁垒，保证各个交换节点业务系统之间互联互通，实现跨部门、跨层级、跨地域的信息资源交换共享。
（五）AI计算支撑工具能力图谱
AI计算工具是针对自然语言处理、文字识别、语音识别、人脸识别、智能视觉和对话机器人等AI场景，提供数据标准、模型训练、模型管理和模型服务能力的计算平台。通过多种模型体系可快速赋能社会治理、制造制造、决策智能、管理效率优化、视觉解析与分析等各种智能场景。
（六）数据分析应用工具能力图谱
数据分析工具是数据产生价值的首要方式，主要完成数据的价值呈现，围绕业务人员，通过提供自助式的数据访问、探索、展现工具，快速搭建报表、报告、大屏、管理驾驶舱等数据分析应用。通过敏捷化自助式数据分析工具，可大幅降低数据分析门槛，让普通业务人员也能够完成数据分析；无门槛的数据分析，支撑有关机构和组织由经验驱动决策向数据驱动决策转型。
本文参考：中国电子技术标准化研究所《数据治理研究报告》
发布于 数据智能 社群
推荐阅读
数据治理角度如何对数据资产进行分类？
一、 前言 想要做好数据治理，数据分类是必不可少的一步，因为不同分类的数据，其治理方法有很大差异。找了 10多本数据治理的书，发现只有《华为数据之道》和《工业企 …
- 文章
3565
企业为什么要上云？
今年，工业和信息化部印发《推动企业上云实施指南（2018-2020年）》，全面部署推进企业上云的指导意见和保障措施。提出到2020年行业企业上云意识和积极性明显 …
- 文章
1376
企业债券筹资怎么做？
发行债券方式筹资的，应当合理选择债券种类，对还本付息进行系统统筹安排
- 文章
72