建设数据驱动模式下的实时智能决策中心

1 .建设数据驱动模式下的 实时智能决策中心 星环科技 星 环 科 技 

2 . 数据驱动决策模式 目录 如何构建实时智能决策中心 星环实时智能决策中心方案 ©Transwarp Confidential 2 

3 .深挖数据价值创造二次增长 新客户、新技术、新合作 以下哪些业务驱动因素将为企业带来重大影响？ 企业对于定制数据驱动型决策的兴趣和能力 51% 产品 营销 运营 运维 根据可快速访问的企业内部实时数据制定预测性决策 45% 数字化的模式 & 数据的增长 采用微目标定位技术锁定消费者/根据客户需求提供高度个性化的产品 44% 应对潜在颠覆性数字化竞争对手带来的威胁 42% 增长的机遇 & 潜在的风险 从实体/亲身体验转向数字化/在线/虚拟体验 41% 数据驱动决策 与外部生态系统和行业合作伙伴建立合作关系以推动企业创新和增长 39% 通过流程自动化节约成本 36% 驱动增长 & 应对风险 资料来源：《智能运营：决胜未来》，HfS Research与埃森哲共同对460家企业开展的调查，2017年 

4 .构建数据驱动模式面临的问题 数据积累的井喷式增长 近80%的受访企业表示，有50%~90%的数据是非 结构化数据且无法访问；常见的原因有数据过于分 散、可靠性差和企业缺乏分析能力等。 数据价值流失的速度在加快 数据孤岛难以整合 大数据的分析过程都是一个冗长的过程， 不兼容的遗留系统以及不同类型的数据可 数据采集、管理、处理、存储、分析到应 能以不同的格式存在于企业的各个部门， 用的整个流程不仅漫长，而且很难做到实 数据可能因为没有统一ID而无法打通，企 时处理，这样的一个结果就是数据库中的 业难以对数据进行可靠的比较或组合。 数据很容易被迫过气，导致分析偏差。 ©Transwarp Confidential 4 

5 .数据如何构建商业价值 企 • 缺乏场景化特定用例 如何应对数据积 业 累的井喷式增长? 应 • 缺乏数据组合灵活性 用 • 无法延伸技术以满足后续需求 实时数据价值流 没有得到广泛应用和后续支持，企业最初 失如何赋能应用? 建设数据平台和数据应用的决心就可能会 动摇。 大 数 整合数 据 • 数字化重塑只集中于单个项目， 据孤岛 平 而非企业的核心业务。 台 ©Transwarp Confidential 5 

6 .构建数据驱动模式，从数据的内容管理到数据的价值整合 实时过程数据 驱动实时决策 从动态数据中获得更多信息 风险控制 更快地采取行动，更快地洞察情况 支持可见性和可预测性 实时运行业务 智能运维 安全审计 规则知识数据 构建智能模型 专家经验 精准营销 业务规则 数据转化价值 动态定价 数据智能模型 ©Transwarp Confidential 6 

7 .打造从数据到应用的智能决策中心 数据指导业务—应用（数据驱动服务价值） 应用服务 风控、反欺诈、精准营销、智能运维、运营分析 数据价值挖掘—转化（数据转化为规则与指标，过程数据价值） 价值挖掘 决策中心：用户&业务指标特征、专家规则、智能模型、信用评分、决策流程 数据整合治理—关联管理（数据内容价值） 数据治理 风险数据集市、内控数据集市、财务数据集市、公共数据集市 ©Transwarp Confidential 7 

8 .如何构建实时智能决策中心 

9 .实时智能决策中心建设理论 DIKW模型（Data-to-Information-to-Knowledge-to-Wisdom Model） 智慧：关心未来，具有预测的能力 ——智能模型预测与优化 知识：提炼信息之间的联系，行动的能力， 完成当下的任务 ——场景化规则与决策 信息：加工处理后有逻辑的数据 ——挖掘数据衍生价值 数据：原始素材 ——数据的实时处理 ©Transwarp Confidential 9 

10 .实时数据处理能力 ©Transwarp Confidential 10 

11 .跨维度数据转化能力挖掘数据衍生价值 把数据和知识体系关联起来，做到数据与知识之间的快速转换，对数据进行自助的的探索和挖掘，数据的深层价值得以 体现。 实时数据 业务决策 业务关联关系 当前登录信息、交易信息…… 业务定义 业务指标 指标含义 外部为业务提供数据价值 计算方法 离线数据 例： + • 用户1小时内连续登陆的 次数； 历史记录、交易详情、样品数据…… 数据逻辑定义 内部形成知识沉淀 • 用户30分钟内累计交易金 数据库表结构 额； 数据转化规则 • 良品率 第三方数据 • 订单转化率 指标库存储 数据历史记录 • 库存周转率 外部征信数据、跨平台交易情 况…… ©Transwarp Confidential 11 

12 .构建衍生数据的价值沉淀和开放 IT内部的知识沉淀： 外部向业务部门开放数据： • 指标、规则、模型的积累与重复 调用； • 业务指标的自行组合配置进行 • 基于知识沉淀的快速应用创新 抽取； • 业务决策情况的自我审视统计 结果数据： 过程数据： 知识数据： 衍生指标的沉淀 计算过程的沉淀 业务规则的沉淀 决策结果的沉淀 决策过程的沉淀 流程设计的沉淀 ©Transwarp Confidential 12 

13 .围绕业务属性的规则与流程配置 实时规则执行 图形化配置 ▪ 多线程并行执行规则 ▪ 页面托拉拽创建决策流程 ▪ 毫秒级响应 ▪ 图形化追溯决策执行轨迹 多种决策模式 灵活线上维护 ▪ 多种模型组合应对复杂场景 ▪ 线上修改决策流程，条件阈值 ▪ 决策逻辑多粒度复用 ▪ 修改后实时生效 ©Transwarp Confidential 13 

14 .专家经验与AI模型的融合 AI模型 用户交易数据（正样本） 人工智能平台 异常用户行为： + • 凌晨(0~4点) • 连续转账、频度高 异常交易数据（负样本） 行为分析 • 转账金额固定(500/1000) 交易时间、交易金额、交易次数、 机器学习 • 账户余额为0，停止转账 账户余额、转账对象…… 模型训练 • 转入人账户随机 • 非关联账户转账 （PMML） 阈值优化 引入专家规则特征 定义业务警戒线 • 30分钟内交易大于N笔 • 30分钟内交易次数>10 • 凌晨交易次数大于N笔 • 凌晨交易次数>12 • 在国外交易次数 • 在国外交易次数>8 • 用过转账设备数 • 用过转账设备数>6 • 相邻交易设备不同的次数 • 相邻交易设备不同的次数>5 ©Transwarp Confidential 14 

15 .实时智能决策中心建设思路 1. 横向规划先行 • 面向场景而非技术； 全盘考虑行内的所有业务场景，抽象数据与技术能力 • 目标是实现数据到价值； 2. 纵向落地切入 • 能力通用，避免“孤立的 围绕价值场景先行落地，快速验证业务价值。 业务烟囱”。 3. 水平拓展演进 大处思考，全局拉通，提炼通用性能力将其做深，服务所有业务场景。 应用服务 决策中心 数据治理 ©Transwarp Confidential 15 

16 .星环实时智能决策中心方案 

17 .实时智能决策中心方案 DIKW模型（Data-to-Information-to-Knowledge-to-Wisdom Model） 智慧：关心未来，具有预测的能力 ——智能模型预测与优化 知识：提炼信息之间的联系， 行动的能力，完成当下的任务 ——场景化规则与决策 信息：加工处理后有逻辑的数据 ——挖掘数据衍生价值 数据：原始素材 ——数据的实时处理 ©Transwarp Confidential 17 

18 .实时智能决策中心架构 应用场景 交易反欺诈 精准营销 风控授信 运营分析 风险预警 IT运维 安全审计 实时智能决策中心 智能决策引擎 规则管理 模型管理 上架管理 决策流 评分卡 模型融合 实时决策 执行引擎 指标服务平台 接入管理 指标定义 指标计算 指标体系 指标衍生 开放管理 数据接入层 Slipstream Hyperbase Workflow Inceptor StellarDB Sophon ArgoDB 

19 .实时智能决策中心业务流程 业务反馈，优化模型质量 模型构建 智能模型 借助人工智能发现数据中的隐藏关联关系 模型导入 业务指标定义&计算 统一智能决策 业务输入 依托数据，借助决策引擎 业务应用 借助大数据技术实现 指标调用 风险识别 实时指标计算能力 实现规则+模型自动化流程决策 辅助决策 策略定义 专家经验 业务策略 借助规则策略的积累完成业务中专家经验的沉淀 业务反馈，丰富业务规则 

20 .标准化指标定义逻辑 …… 业务指标4：…… 业务指标3：用户在敏感时间（0点-5点）内的交易金额与过去3天内笔均金额的比值 业务指标1：用户在敏感时间（0点-5点）的转账金额 数据源 数据项 算子 时间范围 每笔交易的信息 交易系统 账号；交易类型； 求和计算 0点-5点 转 转 交易金额；交易时间； 化 化 作 函 商 函 数 数 1 2 业务指标2：用户在过去3天内的笔均转账金额 数据源 数据项 算子 时间范围 每笔交易的信息 交易系统 账号；交易类型； 取平均数 最近3天 交易金额；交易时间； ©Transwarp Confidential 20 

21 .数据指标服务定义 数据源 数据服务平台 在线实时数据 实时指标服务 服务管理平台 交易 行为 kafka数据流 实时流计算 服务&调用方管理 日志 业务 时间维度分片 权限-认证-流控 离线导入数据 定时文件导入/抽取 离线指标服务 服务状态监控 外部定时导入 实时数据推送 定时任务导入 Rest 内部文件系统 高速数据存储 API Plan A 数据库 在线SQL指标服务 在线SQL查询 关系数据库 数据源接入 Plan B 服务使用者 TDH大数据平台 在线SQL编辑 内部业务系统/部门 智能决策引擎 接口类数据源 第三方指标服务 接口调用 外部服务使用者 内部业务系统 协议灵活转换 互联网接口 自定义缓存策略 

22 .数据指标服务开发与发布 数据指标服务平台 创建用户 选择组织 Token生成 管理员 服务管理 权限申请 Token申请 定义权限 实时数据服务 发放 离线数据服务 token 服务发布 开发人员 SQL数据服务 服务开发 自动生成API接口 数据服务开发 作业调度 第三方数据服务 与相应的报文格 式 • 服务网关采用HTTPS部署，对传递的数据进行加密，防篡改。 • 服务网关收到Token后，如果验证不过，拒绝访问。 数据服务调用 使用者 ©Transwarp Confidential 22 

23 .智能决策平台 • ◼ 决策模式 评分卡 规则1 业务条件1 • 内置丰富的决策模式 • 决策模式支持嵌套组合 • 任意节点启动决策 • 智能模型的实时决策 流程 策略 规则2 智能条件2 动作触发 智能模型 规则3 智能条件3 决策请求 

24 .实时智能决策流程 离线训练 在线预测 离线数据 （正样本&负样本） 实时数据 Transwarp FIDE （决策） 触发决策事件 指标平台 决策引擎 Transwarp Sophon（AI） PMML模型导入 智能决策 机器学习 深度学习 WebAPI进行模型调用 数据挖掘平台 在线预测结果 分类 聚类 回归 星环机密 2020/5/29 24 

25 .跨应用领域赋能 

26 .X银行实时智能反欺诈决策 项目痛点： • 反洗钱场景需要每天对海量交易进行规则过滤，生成基于账户的可疑交易包，再 反欺诈评 XIB规则 安排大量人工进行复核上报，导致商业银行人力物力的大量浪费。 分卡+申请 评分卡 • 针对欺诈洗钱犯罪集团，已经使用较大的瞬时性和灵活性的手段，而既定的规则 引擎缺乏时效性，人工审核后无法对高危交易进行实时有效拦截。 行为识别 解决方案： 模型 • 星环实时智能决策引擎结合实时流计算的能力，对AI模型特征进行实时的计算， 以获取AI模型在实时业务的场景下完成模型的实时预测，并结合决策引擎对于模 型/规则的管理，实现专家规则+AI模型的双轨制决策模式。 评分 数据流 决策1 决策2 … 决策n 交易识别 决策引擎 告警 拦截 … 26 

27 .反欺诈项目实施架构 风险场景 交易风险 信用风险 账户盗用 异常转账 商户欺诈 黑灰名单 营销活动 操作申请 实 数据采集 时 大数据平台 实时智能决策中心 风险管理 核心业务 决 TDH 策 智能决策引擎 风险分发 系统 结 Hyperbase 果 决策流 模型融合 执行引擎 实时决策 风 Operational 险 电子银行 Database 特征实现 智能指标 规则管理 上架管理 风险处理 信 号 Slipstream 网上银行 指标服务平台 内 流程管理 部 Realtime 指标体系 指标衍生 开放管理 前置系统 数 Streaming Engine 据 质监工作管 Inceptor 接入管理 指标定义 指标计算 理 人行征信 Analytical Database 人工智能Sophon 统计报表 社交媒体 外 Workflow 部 统计算法库 机器学习算法库 深度学习算法库 数 电商平台 据 Graphical IDE 远程SQL访问接口 分布式计算引擎 深度学习计算框架 图分析接口 数据预测 星环机密 2020/5/29 27 

28 .X银行大数据安全审计 挑战： X银行目前有多套集群，节点数量100+。每月对产线的日志数据 量达千万。随着数据量和操作量的激增，对大数据访问的安全审计就 愈发重要，特别是等级保护制度和个人信息安全保护制度的实施，要 求大数据运行部门能掌握大数据的使用情况进行审计，包括用户对数 据的访问情况和数据库用户的授权情况。 解决方案： 星环科技针对市场对安全审计的需求，集其多年信息安全领域运 维管理与安全服务的经验，结合行业最佳实践与合规性要求，推出大 数据安全审计系统，面向大数据平台数据的操作和权限进行合理布控 和监测，建立全面覆盖大数据平台的审计中心，并对各类事件做出快 速、准确的定位和展现，有效解决了信息化监管中的一个核心问题。 项目成果： 整合大数据平台各节点中的监控信息，实现对数据访问和操作的 集中监控、查看和管理的智能化、可视化审计；来自大数据平各版本 节点中不同的信息源，进行标准化、归一化的处理，并进行过滤和归 并，实现集中、综合的展现；针对数据安全审计的非标准操作实现快 速预警和定位。 28 

29 .安全审计方案实施模型 4 风险事件处置。 风险发现之后根据角色分配进行认领和处理。 4 风险事件处置 3 用户行为判定模块是审计系统的判定核心， 利用审计规则和审计模型对用户行为数据进行判定 3 用户行为判定 2 用户操作行为抽取的目标是把采集的数据转换 2 用户操作行为抽取 为操作行为的信息。 1 数据采集模块 1 数据采集模块，从不同数据源，比如，日 志、网络，也可以采用服务调用的方式获 取数据。 29