# 产品介绍
数据是企业核心资产，企业需要建立起数据字典，有效管理其日益重要的数据和信息资源； 同时建立数据持续改进机制，来不断提升数据质量。数据的价值和风险应被有效管理， 以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。 数据准确是科学决策的基础，数据架构和标准的统一是全流程高效运作、语言一致的前提。
当前企业数据面临很多的问题：没有统一的数据标准，各业务系统间数据无法充分共享， 关键核心数据无法识别及跨系统无法打通等。为有效管理企业数据资产，实现数据价值的最大化， 急需建立一个完善的数据治理框架体系，为企业数字化转型打下坚实的数据基础。
# 产品概述
DGP数据治理平台参考企业级数据中台建设实践，基于主流大数据技术平台， 融合了元数据管理、数据标准管理、数据质量管理、数据资产管理、数据服务管理、数据安全管理 等核心功能模块。各个功能模块采用微服务架构，既解耦又能有机融合成统一平台。 通过构建统一数据标准管理、预置丰富质量检查规则模型、生成多维度的质量检查分析报告、全链路数据血缘收集及影响分析等能力， 将全面的数据治理规范落地成平台化的产品能力，让数据治理不再一个 “阶段性项目”， 而是一个“可持续的运营项目”。
统一数据标准 通过数据标准体系建设方法论+数据指标体系，统一数据指标口径，消除数据二义性。
统一数据服务 统一对外数据服务接口，实现所有需求，一个接口。
统一数据资产管理 通过数据地图与数据血缘，实现数据全链路追踪。
统一开发平台 提供可视化、拖拽式任务调度平台，统一数据开发流程与项目周期管理。
# 主要功能
- 数据标准
为数据开发和设计工作提供核心参考，同时也通过数据开发实现数据标准化落地。 数据标准为数据应用提供“一致的语言”；数据标准为主数据管理提供主数据定义的基准， 数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据； 数据标准所定义的密级分类和责任主体，为数据安全管理提供依据； 数据标准也是数据资产管理重要输入。
数据标准规范化贯穿数据全生命周期，数据标准化之后才能更好地管控数据的质量， 有助于数据融合交换与共享，支撑更高层面的数据应用。
- 数据质量管理
是数据应用和运营过程中数据准确性、一致性、完整性、及时性、唯一性、有效性的重要保障， 是数据业务价值创造的重要前提。 全方位管理企业的数据质量，实现可定义的数据质量检核和维度分析，可量化的质量评价指标，以及问题跟踪。
- 数据资产
以元数据管理为驱动、建立数据资产目录、实现数据血缘和数据全景可视，为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。
- 数据服务
提供快速的将数据表生成数据API的能力，通过应用授权，供外部应用系统通过调用API获取数据， 同时对开放的API进行统一管理和发布、访问审计。
- 数据安全
定义数安全等级和数据脱敏规则， 用于规范数据安全使用和开发。
# 功能清单
| 模块 | 功能 | 功能项 | 功能描述 |
|---|---|---|---|
| 数据标准 | 数据标准概览 | - | |
| 主题域 | 维护主题域 | ||
| 数据分层 | 维护数据分层 | ||
| 命名规范 | 维护命名规范 | ||
| 数据元 | 定义 | 对数据元进行查看、新增、编辑、 删除等操作。 | |
| 审批 | 提交生效、废止审批 | ||
| 词根 | 维护词根 | ||
| 码表 | 维护码表和码表项 | ||
| 指标字典 | 指标定义 | 实现原子指标、派生指标、 衍生指标和复合指标定义， 维护指标信息、技术属性、 业务属性、管理属性、 指标分类、技术计算口径、 业务计算口径等 标准信息的统一维护和管理。 维护是否使用状态。 维护指标波动范围上下限属性。 | |
| 指标列表 | 实现指标信息的查询、检索、展现。 | ||
| 指标审批 | 提交生效、废止审批 | ||
| 指标批量导入导出 | 下载指标数据导入Excel模板， 批量导入数据Excel文件， 导出全部数据并下载Excel文件。 | ||
| 指标关系 | 通过层次树展示指标定义的依赖关系， 包括派生、衍生、复合等关系 | ||
| 数据质量 | 质量规则管理 | 质量检查数据源管理 | 支持维护MySQL, Hive， Spark SQL等类型数据源 |
| 质量检查规则模型 | 支持空值校验、 多表准确性校验、 两表值比对校验、 字段长度校验 、 唯一性校验 、 正则表达式校验、 及时性校验、 枚举值校验、 表行数校验、 自定义SQL、 最大值校验， 最小值校验， 范围校验、 汇总值校验、 平均值校验、 条件校验等规则模型 | ||
| 质量检查规则 | 支持数据规则定义，批量导入和导出 | ||
| 质量检查规则审批 | 支持指定审批人进行上线或下线审批 | ||
| 脚本模板 | 维护常用的SQL脚本、正则表达式， 提供在规则定义时选择 | ||
| 质量任务管理 | 质量检查项目 | 支持在任务调度中创建质量检查项目 | |
| 质量工作流定义 | 支持在任务调度工具创建质量工作流 | ||
| 质量检查任务节点定义 | 支持在任务调度工具创建质量工作流中 质量检查任务节点 | ||
| 质量工作流实例 | 支持在任务调度工具查看、上下线、 启动、停止质量工作流实例 | ||
| 质量检查任务节点实例 | 支持在任务调度工具查看质量检查任务 节点实例和日志 | ||
| 质量结果管理 | 质量检查结果 | 支持查询质量任务检查的结果 | |
| 质量问题工单 | 提供对数据质量问题发起工单处理， 创建、提交、整改、关闭质量问题工单 | ||
| 质量检查报告 | 生成报告的后台任务 | ||
| 质量分趋势 | |||
| 规则数和表覆盖数趋势 | |||
| 按数据责任人的质量分排名 | |||
| 按部门的质量分排名 | |||
| 按数据库的质量分排名 | |||
| 按数据表的质量分排名 | |||
| 按规则模型的质量分排名 | |||
| 按主题域的质量分排名 | |||
| 按数据分层的质量分排名 | |||
| 数据质量API | 查询数据质量检查规则 | 支持分页查询 | |
| 查询数据质量检查结果 | 支持分页查询 | ||
| 查询数据质量检查报告 | 支持查询数据质量报告中各部分数据 | ||
| 元数据 | 元数据采集 | 批量采集Hive DB元数据 | 支持定时任务方式批量采集Hive DB元数据 |
| 实时采集Hive SQL元数据 | 支持Ｈｏｏｋ方式实时采集Hive SQL元数据 | ||
| 元数据管理 | 元数据检索 | 支持灵活检索元数据，查看元数据详情 及关联关系、血缘关系 | |
| 元数据分类管理 | 管理数据分层列表 | ||
| 管理主题域列表 | |||
| 管理数据安全等级列表 | |||
| 管理数据分类列表 | |||
| 管理数据责任人列表 | |||
| 元数据分类配置 | 指定元数据实体的分类属性 | ||
| 血缘管理 | 埋点元数据与影响分析 | 维护埋点事件清单，维护埋点入库数据表关联， 以及基于元数据分析埋点事件影响的下游实体 | |
| 指标元数据与血缘分析 | 维护报表指标清单，维护指标来源数据表关联， 以及基于元数据分析影响报表指标的上游实体 | ||
| 画像标签元数据与血缘分析 | 维护画像标签清单，维护标签来源数据 表关联，以及基于元数据分析影响 画像标签的上游实体 | ||
| 任务元数据管理 | 采集任务调度工具的任务元数据， 分析或手动维护任务的血缘关系 | ||
| 元数据API | 实体查询 | 查询指定埋点事件、报表指标、画像标签、 调度任务、数据表的详细信息 | |
| 血缘关系查询 | 查询指定调度任务、数据表、报表指标、 画像标签的上游实体列表 | ||
| 影响分析查询 | 查询指定埋点事件、调度任务、 数据表的下游实体列表 | ||
| 数据资产 | 数据资产概览 | 资产统计的后台任务 | |
| 数据库、数据表、数据行、存储量统计 | 提供图表展示 | ||
| 按主题域分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据分层分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据安全等级分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据责任人分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据责任部门分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据库分组统计数据表数量和存储量 | 提供图表展示 | ||
| 按数据表分组统计存储量及排名 | 提供图表展示 | ||
| 数据目录 | 数据资产筛选检索 | 支持筛选维度：数据库、数据分层、 主题域、安全等级、数据责任人 | |
| 设置资产分类 | 设置分类：数据分层、 主题域、安全等级、数据责任人 | ||
| 数据资产详情 | 分页展示数据表基本信息、表结构和血缘 | ||
| 数据服务 | 数据服务概览 | 调用次数趋势 | |
| 调用次数Top10 | |||
| 调用评价时长Top10 | |||
| 数据查询 | 浏览数据源和数据表 | ||
| 执行查询和展现结果 | |||
| SQL历史 | |||
| API资源 | 查询API资源列表 | ||
| 新增API资源 | |||
| 编辑API资源 | |||
| 删除API资源 | |||
| 上线和下线审批 | |||
| API授权 | 新增、删除、修改API授权 | ||
| API权限 | 我授权的 | ||
| 我申请的 | |||
| 访问密钥 | 密钥管理 | ||
| 新增密钥 | |||
| 删除密钥 | |||
| 禁用/启用密钥 | |||
| 应用管理 | 查询应用列表 | 从消费角度组织API集合 | |
| 新增应用 | |||
| 编辑应用 | |||
| 删除应用 | |||
| API测试 | 测试API | ||
| 访问审计 | 查询API调用日志 | 按API名称、数据源、应用标识组合筛选。 | |
| 数据源 | 新增数据源 | 新增数据源，目前支持ＭySQL、 PostgreSQL、Hive类型数据源。 | |
| 编辑数据源 | |||
| 删除数据源 | |||
| 数据安全 | 数据安全概览 | - | 数字卡片展示敏感类型、脱敏算法和 脱敏规则的统计数量。 |
| 数据安全等级 | 定义数据治理范围的数据安全等级。 | 数据脱敏规则是将数据敏感类型 关联脱敏算法。 | |
| 数据脱敏规则 | 维护脱敏规则 | ||
| 维护敏感类型 | |||
| 查询脱敏算法列表 | |||
| 系统管理 | 用户管理 | 用户列表查看 | 支持分页查看用户列表 |
| 用户创建 | 支持创建用户信息 | ||
| 用户修改 | 支持修改用户信息 | ||
| 用户密码重置 | 支持管理员对用户密码进行重置操作 | ||
| 设置用户角色 | 支持设置用户多个角色， 从而分配用户操作权限 | ||
| 组织管理 | 查看部门树 | 支持展示部门层级关系树 | |
| 新增部门 | 支持新增部门信息 | ||
| 编辑部门 | 支持编辑部门信息 | ||
| 删除部门 | 支持删除部门信息 | ||
| 角色及权限管理 | 用户角色列表查看 | 支持管理员以列表的形式查看 所有用户的权限分配情况 | |
| 用户角色创建 | 支持管理员创建用户和角色的绑定关系 | ||
| 用户角色修改 | 支持管理员修改用户的角色 | ||
| 用户角色删除 | 支持管理员删除用户的角色 | ||
| 角色权限设置 | 支持管理员查看角色关联的 操作权限（菜单和按钮） | ||
| 单点登录管理 | 新增、编辑、删除SSO用户 | 支持维护Atlas、DolphinScheduler 单点登录用户 | |
| 应用授权管理 | 新增、编辑、删除OAuth授权 | 支持管理应用授权 | |
| 系统参数 | 新增、编辑、删除系统参数值 | 支持维护系统参数 | |
| 数据字典 | 新增、编辑、删除数据字典 | 支持维护数据字典项 | |
| 系统日志 | 系统日志 | 支持管理员以列表的形式 查看所有日志信息， 包括操作日志和系统日志， 支持时间段过滤，支持分页 | |
| 我的日志 | 支持用户查看自己的系统日志 | ||
| 审批工单 | 我申请的 | 查询当前用户申请的工单列表， 完成的或处理中的。 | |
| 我审批的 | 查询当前用户完成的审批的工单列表。 | ||
| 待审批的 | 查询当前用户要审批的工单列表， 处理支持通过或拒绝。 | ||
| 任务管理 | - | 后台定时任务调度（基于XXL-JOB） |
# 业务价值
规范数据的定义，确保数据口径一致，帮助企业建立全局的数据标准体系， 为提高数据质量提供标准定义、约束规则。
帮助企业梳理资源，形成数据资产，丰富分析应用全面掌控数据来龙去脉， 以获得更多的数据洞察力，进而挖掘出隐藏在资源中的价值。
帮助企业建立数据质量管理体系，对数据质量实时监控，及时整改，形成质量管控机制，实现数据全方位监控， 全面提升企业数据的完整性、准确性、及时性，保证数据整合、应用、决策的正确性，提高数据价值。 同时，高质量的数据还有助于降低IT建设及运维成本，降本增效。
帮助企业制定相关流程、政策、标准，保证信息的可用性、可获取性、优质性、一致性以及安全性， 提升信息服务水准。
提升企业数据资产安全性，并帮助建立相关安全规范和响应机制，全面保障其数据安全。