# 产品介绍
数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源; 同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理, 以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。 数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。
当前企业数据面临很多的问题:没有统一的数据标准,各业务系统间数据无法充分共享, 关键核心数据无法识别及跨系统无法打通等。为有效管理企业数据资产,实现数据价值的最大化, 急需建立一个完善的数据治理框架体系,为企业数字化转型打下坚实的数据基础。
# 产品概述
DGP数据治理平台参考企业级数据中台建设实践,基于主流大数据技术平台, 融合了元数据管理、数据标准管理、数据质量管理、数据资产管理、数据服务管理、数据安全管理 等核心功能模块。各个功能模块采用微服务架构,既解耦又能有机融合成统一平台。 通过构建统一数据标准管理、预置丰富质量检查规则模型、生成多维度的质量检查分析报告、全链路数据血缘收集及影响分析等能力, 将全面的数据治理规范落地成平台化的产品能力,让数据治理不再一个 “阶段性项目”, 而是一个“可持续的运营项目”。
统一数据标准 通过数据标准体系建设方法论+数据指标体系,统一数据指标口径,消除数据二义性。
统一数据服务 统一对外数据服务接口,实现所有需求,一个接口。
统一数据资产管理 通过数据地图与数据血缘,实现数据全链路追踪。
统一开发平台 提供可视化、拖拽式任务调度平台,统一数据开发流程与项目周期管理。
# 主要功能
- 数据标准
为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。 数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准, 数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据; 数据标准所定义的密级分类和责任主体,为数据安全管理提供依据; 数据标准也是数据资产管理重要输入。
数据标准规范化贯穿数据全生命周期,数据标准化之后才能更好地管控数据的质量, 有助于数据融合交换与共享,支撑更高层面的数据应用。
- 数据质量管理
是数据应用和运营过程中数据准确性、一致性、完整性、及时性、唯一性、有效性的重要保障, 是数据业务价值创造的重要前提。 全方位管理企业的数据质量,实现可定义的数据质量检核和维度分析,可量化的质量评价指标,以及问题跟踪。
- 数据资产
以元数据管理为驱动、建立数据资产目录、实现数据血缘和数据全景可视,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。
- 数据服务
提供快速的将数据表生成数据API的能力,通过应用授权,供外部应用系统通过调用API获取数据, 同时对开放的API进行统一管理和发布、访问审计。
- 数据安全
定义数安全等级和数据脱敏规则, 用于规范数据安全使用和开发。
# 功能清单
模块 | 功能 | 功能项 | 功能描述 |
---|---|---|---|
数据标准 | 数据标准概览 | - | |
主题域 | 维护主题域 | ||
数据分层 | 维护数据分层 | ||
命名规范 | 维护命名规范 | ||
数据元 | 定义 | 对数据元进行查看、新增、编辑、 删除等操作。 | |
审批 | 提交生效、废止审批 | ||
词根 | 维护词根 | ||
码表 | 维护码表和码表项 | ||
指标字典 | 指标定义 | 实现原子指标、派生指标、 衍生指标和复合指标定义, 维护指标信息、技术属性、 业务属性、管理属性、 指标分类、技术计算口径、 业务计算口径等 标准信息的统一维护和管理。 维护是否使用状态。 维护指标波动范围上下限属性。 | |
指标列表 | 实现指标信息的查询、检索、展现。 | ||
指标审批 | 提交生效、废止审批 | ||
指标批量导入导出 | 下载指标数据导入Excel模板, 批量导入数据Excel文件, 导出全部数据并下载Excel文件。 | ||
指标关系 | 通过层次树展示指标定义的依赖关系, 包括派生、衍生、复合等关系 | ||
数据质量 | 质量规则管理 | 质量检查数据源管理 | 支持维护MySQL, Hive, Spark SQL等类型数据源 |
质量检查规则模型 | 支持空值校验、 多表准确性校验、 两表值比对校验、 字段长度校验 、 唯一性校验 、 正则表达式校验、 及时性校验、 枚举值校验、 表行数校验、 自定义SQL、 最大值校验, 最小值校验, 范围校验、 汇总值校验、 平均值校验、 条件校验等规则模型 | ||
质量检查规则 | 支持数据规则定义,批量导入和导出 | ||
质量检查规则审批 | 支持指定审批人进行上线或下线审批 | ||
脚本模板 | 维护常用的SQL脚本、正则表达式, 提供在规则定义时选择 | ||
质量任务管理 | 质量检查项目 | 支持在任务调度中创建质量检查项目 | |
质量工作流定义 | 支持在任务调度工具创建质量工作流 | ||
质量检查任务节点定义 | 支持在任务调度工具创建质量工作流中 质量检查任务节点 | ||
质量工作流实例 | 支持在任务调度工具查看、上下线、 启动、停止质量工作流实例 | ||
质量检查任务节点实例 | 支持在任务调度工具查看质量检查任务 节点实例和日志 | ||
质量结果管理 | 质量检查结果 | 支持查询质量任务检查的结果 | |
质量问题工单 | 提供对数据质量问题发起工单处理, 创建、提交、整改、关闭质量问题工单 | ||
质量检查报告 | 生成报告的后台任务 | ||
质量分趋势 | |||
规则数和表覆盖数趋势 | |||
按数据责任人的质量分排名 | |||
按部门的质量分排名 | |||
按数据库的质量分排名 | |||
按数据表的质量分排名 | |||
按规则模型的质量分排名 | |||
按主题域的质量分排名 | |||
按数据分层的质量分排名 | |||
数据质量API | 查询数据质量检查规则 | 支持分页查询 | |
查询数据质量检查结果 | 支持分页查询 | ||
查询数据质量检查报告 | 支持查询数据质量报告中各部分数据 | ||
元数据 | 元数据采集 | 批量采集Hive DB元数据 | 支持定时任务方式批量采集Hive DB元数据 |
实时采集Hive SQL元数据 | 支持Hook方式实时采集Hive SQL元数据 | ||
元数据管理 | 元数据检索 | 支持灵活检索元数据,查看元数据详情 及关联关系、血缘关系 | |
元数据分类管理 | 管理数据分层列表 | ||
管理主题域列表 | |||
管理数据安全等级列表 | |||
管理数据分类列表 | |||
管理数据责任人列表 | |||
元数据分类配置 | 指定元数据实体的分类属性 | ||
血缘管理 | 埋点元数据与影响分析 | 维护埋点事件清单,维护埋点入库数据表关联, 以及基于元数据分析埋点事件影响的下游实体 | |
指标元数据与血缘分析 | 维护报表指标清单,维护指标来源数据表关联, 以及基于元数据分析影响报表指标的上游实体 | ||
画像标签元数据与血缘分析 | 维护画像标签清单,维护标签来源数据 表关联,以及基于元数据分析影响 画像标签的上游实体 | ||
任务元数据管理 | 采集任务调度工具的任务元数据, 分析或手动维护任务的血缘关系 | ||
元数据API | 实体查询 | 查询指定埋点事件、报表指标、画像标签、 调度任务、数据表的详细信息 | |
血缘关系查询 | 查询指定调度任务、数据表、报表指标、 画像标签的上游实体列表 | ||
影响分析查询 | 查询指定埋点事件、调度任务、 数据表的下游实体列表 | ||
数据资产 | 数据资产概览 | 资产统计的后台任务 | |
数据库、数据表、数据行、存储量统计 | 提供图表展示 | ||
按主题域分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据分层分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据安全等级分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据责任人分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据责任部门分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据库分组统计数据表数量和存储量 | 提供图表展示 | ||
按数据表分组统计存储量及排名 | 提供图表展示 | ||
数据目录 | 数据资产筛选检索 | 支持筛选维度:数据库、数据分层、 主题域、安全等级、数据责任人 | |
设置资产分类 | 设置分类:数据分层、 主题域、安全等级、数据责任人 | ||
数据资产详情 | 分页展示数据表基本信息、表结构和血缘 | ||
数据服务 | 数据服务概览 | 调用次数趋势 | |
调用次数Top10 | |||
调用评价时长Top10 | |||
数据查询 | 浏览数据源和数据表 | ||
执行查询和展现结果 | |||
SQL历史 | |||
API资源 | 查询API资源列表 | ||
新增API资源 | |||
编辑API资源 | |||
删除API资源 | |||
上线和下线审批 | |||
API授权 | 新增、删除、修改API授权 | ||
API权限 | 我授权的 | ||
我申请的 | |||
访问密钥 | 密钥管理 | ||
新增密钥 | |||
删除密钥 | |||
禁用/启用密钥 | |||
应用管理 | 查询应用列表 | 从消费角度组织API集合 | |
新增应用 | |||
编辑应用 | |||
删除应用 | |||
API测试 | 测试API | ||
访问审计 | 查询API调用日志 | 按API名称、数据源、应用标识组合筛选。 | |
数据源 | 新增数据源 | 新增数据源,目前支持MySQL、 PostgreSQL、Hive类型数据源。 | |
编辑数据源 | |||
删除数据源 | |||
数据安全 | 数据安全概览 | - | 数字卡片展示敏感类型、脱敏算法和 脱敏规则的统计数量。 |
数据安全等级 | 定义数据治理范围的数据安全等级。 | 数据脱敏规则是将数据敏感类型 关联脱敏算法。 | |
数据脱敏规则 | 维护脱敏规则 | ||
维护敏感类型 | |||
查询脱敏算法列表 | |||
系统管理 | 用户管理 | 用户列表查看 | 支持分页查看用户列表 |
用户创建 | 支持创建用户信息 | ||
用户修改 | 支持修改用户信息 | ||
用户密码重置 | 支持管理员对用户密码进行重置操作 | ||
设置用户角色 | 支持设置用户多个角色, 从而分配用户操作权限 | ||
组织管理 | 查看部门树 | 支持展示部门层级关系树 | |
新增部门 | 支持新增部门信息 | ||
编辑部门 | 支持编辑部门信息 | ||
删除部门 | 支持删除部门信息 | ||
角色及权限管理 | 用户角色列表查看 | 支持管理员以列表的形式查看 所有用户的权限分配情况 | |
用户角色创建 | 支持管理员创建用户和角色的绑定关系 | ||
用户角色修改 | 支持管理员修改用户的角色 | ||
用户角色删除 | 支持管理员删除用户的角色 | ||
角色权限设置 | 支持管理员查看角色关联的 操作权限(菜单和按钮) | ||
单点登录管理 | 新增、编辑、删除SSO用户 | 支持维护Atlas、DolphinScheduler 单点登录用户 | |
应用授权管理 | 新增、编辑、删除OAuth授权 | 支持管理应用授权 | |
系统参数 | 新增、编辑、删除系统参数值 | 支持维护系统参数 | |
数据字典 | 新增、编辑、删除数据字典 | 支持维护数据字典项 | |
系统日志 | 系统日志 | 支持管理员以列表的形式 查看所有日志信息, 包括操作日志和系统日志, 支持时间段过滤,支持分页 | |
我的日志 | 支持用户查看自己的系统日志 | ||
审批工单 | 我申请的 | 查询当前用户申请的工单列表, 完成的或处理中的。 | |
我审批的 | 查询当前用户完成的审批的工单列表。 | ||
待审批的 | 查询当前用户要审批的工单列表, 处理支持通过或拒绝。 | ||
任务管理 | - | 后台定时任务调度(基于XXL-JOB) |
# 业务价值
规范数据的定义,确保数据口径一致,帮助企业建立全局的数据标准体系, 为提高数据质量提供标准定义、约束规则。
帮助企业梳理资源,形成数据资产,丰富分析应用全面掌控数据来龙去脉, 以获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。
帮助企业建立数据质量管理体系,对数据质量实时监控,及时整改,形成质量管控机制,实现数据全方位监控, 全面提升企业数据的完整性、准确性、及时性,保证数据整合、应用、决策的正确性,提高数据价值。 同时,高质量的数据还有助于降低IT建设及运维成本,降本增效。
帮助企业制定相关流程、政策、标准,保证信息的可用性、可获取性、优质性、一致性以及安全性, 提升信息服务水准。
提升企业数据资产安全性,并帮助建立相关安全规范和响应机制,全面保障其数据安全。