AI中台——智能聊天机器人平台的架构与应用（分享实录）

1.1 业务演进与广泛的智能化需求

随着业务的不断发展，业务处于不同的发展阶段，对数据的需求也从刚开始的可用-满足BI分析，到后来的易用-敏捷化分析，到现在的好用-数据智能化。例如前台系统提出客户细分、个性化推荐、智能问答、模型预测等需求，后台数据探索需要进行关联分析、聚类分析、持续分析等，这些都向我们提出了数据智能化的需求。

• 数据平台化能够解决数据可用性的问题，提供数据的平台化管理、数据存储、数据计算、管理、运维等功能；
• 数据中台化可以解决易用的问题，提供自助化、敏捷化的支持，并为数据的资产化、融合化、运营化提供支持。
• 数据智能化解决了好用的问题：从数据洞察到学习预测，数据驱动创新。

1.2 从数据中台到AI中台

数据中台除了提供平台能力以外，还提供了一些更高级的能力，比如把数据变成一种基础服务提供给业务方，业务方可以以自助的方式在数据中台上获取数据、进行数据处理、数据探索、数据挖掘、分析钻取、多维分析、自助化报表、数据分享等，以快速实现自己的商业价值。

随着业务的发展，越来越多智能化的数据需求被提出，这些智能化需求涉及到模型训练、数据标注、特征工程、模型部署、性能监控等，需要使用机器学习、深度学习等算法支持。数据中台的主要目标还是服务数据，对于智能化和模型并不能很好地支持，因此AI中台应运而生。

我们把智能服务的需求抽象出来，形成一个独立的AI中台层。AI中台是一个用来构建智能服务的基础设施平台，对公司所需的模型提供分布分层的构建能力和全生命周期管理的服务，鼓励各个业务领域将基础性、场景性、通用性的AI能力沉淀到平台中，加强模型复用、组合创新、规模化，最终实现降本增效和快速响应业务方的目的。

1.3 数据中台和AI中台的关系

既然提到了数据中台和AI中台，很多人会问：数据中台和AI中台是什么关系呢？

数据中台和AI中台两者是相互依存、承前启后的关系。

首先，数据中台和AI中台都对外提供服务，只是侧重点不同。

• 数据中台提供各种数据服务和数据产品，例如：BI报表应用、数据探索等。
• AI中台提供各种智能服务和智能产品，并承担复杂的学习预测类智能需求研发、模型训练、特征工程、数据标注等能力。例如：模型预测、智能推荐等。

其次，数据中台和AI中台是相互依存，相互支持的。

• AI中台依托数据中台提供的数据能力和工具集，加速AI相关服务的开发和复用，来应对前台智能化的业务需求。有了数据中台清洗好的数据，搭建智能项目能够事半功倍。
• 数据中台也需要使用AI中台的智能化能力，使得数据使用更加平民化和智能化。例如增强型BI分析：通用自然语言交互方式，降低BI使用门槛；通过AI分析给出参与建议，帮助普通用户在没有数据专家的情况下有效访问数据；增强型数据管理：利用机器学习来管理数据，包括数据质量、元数据管理、主数据管理等。

1.4 AI中台需要解决的痛点

在过去，很多算法团队更像是算法外包团队，根据不同业务线的需求，各自构建阵地，逐个攻克目标。这样的形式虽然也取得了很多成绩，但存在重复建设、效率有限的问题。

我们将这些问题总结如下：

• “烟囱式”开发，项目成本高、不易集成，过程重复，缺乏能力沉淀。
• 模型访问方式各异，调用关系错综复杂，缺乏编排优化、协同。
• 手工进行数据操作，缺少统一数据访问渠道，数据获取难、标准不统一。
• 模型研发缺乏标准指导、参与角色众多，缺少协同、自动化辅助，难以有效管理沟通协作。
• 模型交付难，缺少统一的模型运行、监控平台、服务管理接口及更新、维护机制。
• 基础资源分散隔离，无法动态进行资源的分配和管理，造成浪费。

这些都是AI中台需要解决的痛点，针对以上痛点，我们希望：

• 对于算法、模型的标准化平台化，对研发过程标准化指导，以提高可复用性。
• 统一的服务接口规范，支持服务的动态编排组合。
• 与数据中台对接，利用数据中台的能力对数据进行标准化处理和预处理。
• 流程优化，清晰角色定义，构建AI产品流水线，具备环节内部、环节之间的自动迭代、流转功能。
• 提供统一的模型交付部署、运行环境和监控能力，以及模型更新机制。
• 统一资源管理，包括计算资源、存储资源等，支持资源弹性调度。

总结起来就是：可复用化、服务统一化、对接数据中台、流程角色优化、运行监控化和资源管控化，最终让AI中台成为一个强大的AI能力支持中心，根据业务需求快速提供火力支援，迅速完成商业价值。

1.5 AI中台平台架构

下面介绍AI中台的平台架构。

最下面是数据中台，提供数据处理、数据分析、数据管理、数据安全、数据服务等能力。最上面是业务前台，包括各条业务线。AI中台处于数据中台和业务前台的中间位置。

如图所示，整个AI中台由几个模块组成：

• AIHub智能服务：以服务的方式将模型封装起来，提供模型服务运行平台能力。包括模型发布测试、自动部署、模型更新、模型交付、产品封装等。
• AIMon平台监控：对运行的模型进行监控和预警，提供平台的监控服务。包括性能测试、状态反馈、预警通知等。
• AIKit智能工具箱：提供轻量级、低侵入的AI工具服务，AI应用团队可以自由选用。例如：通过无缝嵌入python语言开发环境，Moonbox可以提供虚拟查询数据、混算数据等能力。也提供数据标注能力，包括结构化数据，以及文字、图像等非结构化数据的在线标注。
• AIMgt中台管理：AI中台的一些通用管理能力。包括：角色权限、租户管理、流程控制、资源管理等。
• AILab智能试验室：提供标准的模型训练与优化过程支持。包括模型设计、模型训练、特征工程、特征处理、模型追踪、模型评估、算法库、模型库等。
• AIAsset智能资产：用于模型资产管理，实现AI能力沉淀、复用、盘点。
• CUI会话式UI：这是我们AI中台的一个产品，就是接下来我们要介绍的可用于问答、闲聊、任务、推荐等场景的聊天机器人平台，从机器人平台的角度也包含语音外呼机器人。

1.6 AI中台的能力架构

[外链图片转存失败(img-bFeoObBB-1564633254315)( http://college.creditease.cn/resources/upload/image/20190801/1564626502366040703.jpg)]

上图展示AI中台的能力架构。我们以能力的角度来描述AI中台对外输出。除了前文介绍的服务运行能力、监控预警能力、资源管理能力（就是图中左边的几个模块）以外，我们把AI中台的能力分为4层：

1）平台层

比如数据获取能力、在线训练能力、在线标注能力、特征工程能力、自助训练能力等。这些能力是通过AI工具集和AIlab来实现的。

这层的用户主要包括：

• 算法工程师（AI中台、AI团队），他们可以使用AI中台提供的平台层能力来进行在线训练、复用算法库、复用平台计算资源、进行各种实验等。
• 高级研发人员、数据分析人员，他们可以使用AI中台的自助训练能力，进行自助训练，例如：根据自己已经标注好的数据，自助训练分类模型。

2）AI技术层

AI技术层主要提供：AI基础能力，包括词法分析、语音合成、文章分类、图像识别等，这些本质上是AI技术NLP、语音、图像、视频等大分类里的能力。

3）AI业务层

AI业务层主要提供AI技术与业务相结合后能提供的能力，比如：评论观点提取、文章标签、卡证类识别、人脸识别、视频审查等。

AI技术层和业务层的区别在于：AI技术层主要提供AI基础能力，比如NLP、CV、语音、视频等。而AI业务层主要是将AI技术与具体的业务场景结合起来，例如身份证识别、学历识别、验证码识别等。

这两层的用户是：业务团队的应用开发人员，可以直接调用智能服务，从而实现业务场景智能化，例如：短文本相似度、语言合成、票据识别等。

4）产品层

这一层以产品的形式对外提供服务，例如：智能机器人产品、知识图谱产品等。

这层的用户是：公司的业务人员或公司的直接客户，他们通过直接使用产品就可以获得结果， 例如：机器人。

上面3层都属于AI资产。从影响力角度来看，产品层的影响力最大，依次下来是业务层、技术层，最后是平台层。我们在AI中台的实施路径上，也会按照这个优先级去构建和实施。

1.7 AI中台的建设思路-开放性

数据中台的口号是平民化和敏捷化。AI中台的口号是开放化。

AI中台的建设思路是希望多方联合，公开透明，广泛参与，协商一致促进AI能力沉淀，加强AI服务复用，降本增效。

我们更加关注于通用性的AI需求，为各个领域的AI应用团队提供通用化智能服务。强调平台性和可复用性，鼓励基础类、场景类AI服务的通用化、平台化。

广泛支持大中小业务领域AI应用团队面临的大量智能业务需求，提供模型学习平台与模型运行监控托管服务以及通用的AI工具，方便前台业务快速上线智能应用。在实施过程中也会充分利用包括数据中台在内的现有技术资源，并根据业务需求强弱和重要性来确定实