多地跨集群的服务器部署方法及系统与流程

本发明涉及服务器集群部署的技术领域，尤其涉及支持界面化部署、对基于公有云网络多个服务器集群进行跨地区和跨集群的服务器部署方法及系统。

背景技术：

目前基于异地备灾、提升不同地区的用户访问速度以及服务部署成本等多种因素考虑，会在多地例如多省份均搭建服务器集群，每个省份相当于一个独立的集群环境，内部服务需要在内部访问，且各地的服务器集群均处于同一个公有云网络以便于管理。目前通常通过人工部署一些脚本来进行部署，这样会有以下问题：由于服务器的部署需要具有一定的操作系统基础，很多前端人员不具备这项技能，如果统一由运维人员操作，一方面增加沟通成本使得运维人员成为资源瓶颈，另一方面也会导致多人操作带来系统的不稳定。并且目前一套环境有几百个微服务，包括java、c++、golang、与前端资源，每天的更新与重启工作量较大，对运维与开发工程来说增加繁琐的任务。

针对以上问题，现有技术中也有可以实现高效、自动的对集群服务器进行部署的集群服务器部署的方法，但是现有技术中的方法均用于对同一服务器集群进行部署，未解决跨地区、跨集群的服务器集群的高效、自动部署的问题。对于跨地区、跨集群的部署，相对于单个集群的服务器部署来说，除了配置文件包含的配置信息设置的区别，还需要考虑方法的对不同服务器集群的兼容性等问题。

技术实现要素：

本发明的目的旨在至少解决上述问题之一。

为此，本发明的一个目的在于提出一种可以高效的、自动的对多地跨集群的服务器进行部署的服务器部署方法。

为了实现上述目的，根据本发明的第一方面的实施例的多地跨集群的服务器进行部署的方法，在中心机房执行一个部署服务，包括以下步骤：

在云端进行统一配置，根据待发布项目信息和待部署的服务器信息生成多个包含配置信息的配置文件，配置文件与待部署的服务器一一对应；

接收部署指令，在接收到部署指令后根据发布项目信息获取项目代码，并进行编译打包；

根据配置文件选定目标服务器，将编译好的代码同步到所述目标服务器，

其中：

对于系统中的每个服务器集群预配置了支持文件传输、远程命令执行的远程管理协议，在代码同步之前首先确定选定的目标服务器所在集群使用的远程管理协议；

对于支持ssh协议的目标服务器，基于ssh协议进行代码同步；

对于支持私有协议的目标服务器，基于长连接模式进行代码同步。

可选的，进一步包括步骤：

判断是否是对一个新的服务器集群进行部署，若是，则向用户提供发起一键离线部署请求的接口；

新集群需要事先配置机器列表，以及每个机器部署所需的基础软件与应用服务；

在接收到一键离线部署请求后，根据该新集群事先配置的功能范围刷选需要安装的微服务，由部署服务将刷选出的微服务统一拉取汇总打包，执行脚本从每个微服务中抽离，统一生成一个可执行脚本，从而为离线上门安装的运维人员生成大量微服务的离线安装包与执行脚本。一个新地区(例如一个新省份)的集群需要部署一整套服务时，一开始整个网络对外部一般是封闭状态，外网无法进去、内部无法出来，因此中心部署服务也无法直接连接集群，此时需要运维人员上门安装进行部署，为了方便一整套几百个微服务的部署，提供一键离线部署功能，可以为离线上门安装的运维人员生成几百个微服务的离线安装包与执行脚本。

可选的，可以通过多地发布状态对比确定待发布项目信息，具体是：

在需要根据一处已完成部署的集群更新另一集群的功能时，比较这两个集群的部分服务的部署状态，以便判断需要更新的功能模块会依赖哪些服务的发布，从而选定这些服务作为待发布项目信息。通过多地发布状况对比可以得知这两个地区的集群之间的发布差异，每个服务的最后发布系统，发布人员、当时发布的功能点说明等与生成配置文件相关的信息。

可选的，进一步包括步骤：

根据配置文件确定本次发布是否涉及多地的不同集群，如果本次发布涉及多地的不同集群，按预设的发布顺序依次在各集群进行同步。

可选的，进一步包括步骤：

在对目标服务器进行同步的过程中，将目标服务器的外部流量切换到所属集群的其他服务器，保证期间不接入其他请求。

可选的，采用自定义的ace模式实现长连接，所述ace模式采用如下方式进行云端中心机房、服务器集群以及该服务器集群中的具体机器的连接：

在云端的中心机房执行一个pubserver服务，一方面用于跟部署服务通信，另一方面把部署服务的指令经过调度后把相应指令发送到对应的集群代理机上；

对于每个支持私有协议的集群均部署一个代理服务clientagent，clientagent启动后自动连接到中心的pubserver服务，主要负责与pubserver的通信以及把指令传送到该集群下的具体机器上；

部署有clientagent服务的集群中的每天具体机器均安装有一个代理服务machineagent，machineagent启动后自动连接到当前集群的clientagent，这样就把每个集群的每台机器都通过pubserver连接起来，machineagent负责接收到来自clientagent的指令并最终执行。

可选的，云端中心机房提供界面化操作窗口。

可选的，对将已部署在一个集群上的项目部署到其他集群的用户需求，至少待发布项目的源代码直接从该已部署的集群中直接获取。

可选的，所述待发布项目信息包括发布类型信息，对于预指定的特定发布类型的项目，其对应的配置信息项数更多。例如，对于java、golang的部署还有以下配置：健康检查url、编译脚本、初始化脚本、同步文件后续脚本。

可选的，进一步包括步骤：

如果执行将编译好的代码同步到目标服务器的一个步骤出错，则快速回滚到上一个步骤以重新部署。

可选的，进一步包括步骤：

配置操作人员权限，对于待部署项目，若当前操作人员不具备直接发布的权限，则该项目的部署需要相应的项目负责人进行审批，只有通过审批人审批后才进行代码同步。

本发明第二方面的实施例提供了一种终端，包括处理器和存储器，存储器存储有支持终端执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

本发明第三方面的实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使处理器执行上述第一方面的方法。

本发明第四方面的实施例提供了一种计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使处理器执行上述第一方面的方法。

本发明的目的还在于提出一种可以实现以上方法的多地跨集群的服务器部署系统。

为了实现上述目的，根据本发明的第五方面的实施例的一种多地跨集群的服务器部署系统，包括：

配置单元，设置在中心服务器，用于根据待发布项目信息和待部署的服务器信息生成多个包含配置信息的配置文件，配置文件与待部署的服务器一一对应；

待发布项目代码获取单元，用于接收部署指令，在接收到部署指令后根据发布项目信息获取项目代码，并进行编译打包；

发布单元，用于根据配置文件选定目标服务器，将编译好的代码同步到所述目标服务器，并且在代码同步之前首先确定选定的目标服务器所在集群使用的远程管理协议，根据不同的协议选定对应的模式进行同步。

可选的，所述多地跨集群的服务器部署系统包括跨集群发布顺序管理单元，用于根据配置文件确定本次发布是否涉及多地的不同集群，如果本次发布涉及多地的不同集群，按预设的部署策略确定各集群的发布顺序依次进行同步。

可选的，包括平滑部署单元，用于在对目标服务器进行同步的过程中，将目标服务器的外部流量切换到所属集群的其他服务器，保证期间不接入其他请求。

可选的，包括ace模式实现单元，用于在中心机房执行一个pubserver服务，在每个支持私有协议的集群部署一个代理服务clientagent，在部署有clientagent服务的集群中的每个具体机器安装一个本地服务machineagent，通过pubserver服务、clientagent服务和machineagent服务实现云端中心机房、服务器集群以及该服务器集群中的具体机器的连接。

可选的，包括用户交互单元，用于提供界面化操作窗口。

可选的，包括项目回滚单元，用于在执行同步过程的一个步骤出错后快速回滚到上一个步骤以重新部署。

可选的，包括预发验证单元，用于根据用户发起的需求，在服务上线之前部署到预发布环境做全量验证，所述预发布环境与线上环境一致但只对内部测试人员可见。

本发明实施例由中心机房统一配置管理，统一编译打包分发，可以实现多地跨网络部署，对多省环境可以一次编译，多次分发，提升部署效率，并通过系统保证部署代码版本统一。并且针对跨集部署可能遇到的网络限制采用了不同的连接模式，不仅支持常用的ssh协议、也可以对有特殊网络限制的集群做分布式部署，打通了网络限制的壁垒。

附图说明

图1为本发明的多地跨集群的服务器部署方法的实现所基于的系统架构。

图2为信息输入完成后的界面化操作窗口的具体示例.

图3为配置一个跨集群部署的配置示例。

图4为本发明实施例的ace模式的通信示例。

图5是本发明的一个具体实施例的日志界面。

图6为一个用户的操作历史示意图。

图7为一个部署示例界面。

具体实施方式

下面结合附图详细描述本发明的实施例，并且需要说明的是，以下通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

首先对本部分涉及的技术用语进行说明：

ssh，ssh是一种网络协议，用于计算机之间的加密登录，目前是linux操作系统的标准配置。

rsync，linux同步工具，可以镜像整个目录树以及文件，并可以根据参数来做出相应操作，可以传输压缩、归档模式、子目录递归、忽略规则文件等功能

git，是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。

shell，操作系统下的一种脚本文件，它是相对于内核来说的，因为它是建立在内核的基础上，面向于用户的一种表现形式。

ace，内部开发的一种rpc框架，用于在不同语言之间做传输。

vue，一个构建数据驱动的web界面的渐进式的前端框架。目标是通过尽可能简单的api实现响应的数据绑定和组合的视图组件。它不仅易于上手，还便于与第三方库或既有项目整合。

maven,是一个项目管理工具，它包含了一个项目对象模型(projectobjectmodel)，一组标准集合，一个项目生命周期(projectlifecycle)，一个依赖管理系统(dependencymanagementsystem)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑

首先结合图1说明本发明的多地跨集群的服务器部署方法的实现所基于的系统架构，有一个中心机房和多个服务器集群，各服务器集群分布在不同地区，例如本实施例中的服务器集群分别部署在不同省份，中心机房对多地的服务器集群进行统一管理。

多地跨集群服务器的部署方法包括下述步骤。

步骤s1，在云端的中心机房进行统一配置，根据从前端获取的待发布项目信息和待部署的服务器信息生成多个包含配置信息的配置文件，配置文件与待部署的服务器一一对应。

首先从前端获取待发布项目信息和待部署的服务器(即目标服务器)信息。在具体实施例中，中心机房提供与用户交互的界面化操作窗口，操作人员在界面化操作窗口相应位置输入指定信息。根据界面化操作窗口内的信息可获取发布项目信息和待部署的服务器信息。输入方式可以是手动输入、下拉列表输入等常见方式。在信息输入完成后，响应于操作人员的请求系统运行一个部署服务。部署服务执行后，根据待发布项目信息和待部署的服务器信息生成多个包含配置信息的配置文件，配置文件与待部署的服务器一一对应。

如图2为信息输入完成后的界面化操作窗口的具体示例，可以包括项目概述相关的：例如环境、应用名、项目名、项目描述、git地址、发布类型、是否需要审核、是否需要统一配置、项目负责人、测试负责人等信息；以及项目资源相关的：例如发布机源码目录、需要同步的文件目录、目标机器目录、目标机器登录用户、预发机器地址、线上机器地址、发布机编译日志路径、应用日志路径等。

对于实际中需要跨集群(例如跨省)部署项目的场景，经常需要把一个省的所有项目快速部署到另一个省，对于这种情况，使用单个项目情况的录入比较麻烦，因此，可以采用如图3所示的操作人员选择来源站点(省份或集群)、项目类型以及需要迁移的项目，下一步填充替换变量原始值与目标值(比如需要更改机器ip，文件路径等)，可以任意增加多个，以实现对多个项目的一次性迁移。

并且根据发布类型的不同，对应的配置信息的项数也可能存在差异。例如，对于发布类型为java或golang资源的，其发布具有特定的要求，例如需要做健康检查，那么相应的配置信息包括健康检查相关信息。

为了方便管理，项目的发布一般需要考虑操作人员的操作权限的问题，因此，配置信息包括操作人员的权限信息，通过权限信息确定当前操作用户是否有部署该项目的权限。本实施例中，与操作权限相关的设置信息有：系统用户角色、用户身份、项目用户角色以及针对单个项目可以有配置、发布、审批等权限的分配。系统用户角色包括：普通用户、管理员、系统管理员；用户身份有：服务端、前端、测试、产品、运营；项目用户角色包括：普通用户，项目管理员。进行项目部署的操作人员需要用户登录后操作，在部署服务启动后需要核对以上信息确定当前登录用户是否具有相应的操作权限。

在实施例中，发布单是其中一种配置文件，配置信息中与待发布项目来源、待部署服务器的站点、待部署服务器ip等相关信息包含在发布单中。所述待部署服务器的站点指的是待部署的服务器所在集群的站点信息，一般包括集群编号、所述区域等。

配置完成后，需要执行初始化项目及一些基本的配置检查，例如检查配置项是否正确、检查ip通路是否正常。这些是项目部署的基本操作，在此不再详细展开。

步骤s2，获取项目代码并进行编译打包，准备向目标服务器发布。

步骤s1执行完成后，根据配置文件中包含的配置信息已经能够确定待发布项目的源代码所在的地址，从该地址获取项目代码即可。对于实际中需要跨集群(例如跨省)部署项目的场景，经常需要把一个省的所有项目快速部署到另一个省，为了方便，可以一次进行多个项目的迁移，这种情况下，步骤s1中从前端获取的待发布项目信息包括待发布项目的源代码在一个具体集群中的存储位置，直接从该位置获取待发布项目的源代码即可。例如在一个实施例中，步骤s1中所述的发布单中包含git分支信息，部署服务执行后，在中心机房的部署机上会运行一些shell脚本，其中就包括git.sh脚本，git.sh能够根据发布单中的git分支获取该分支下的对应代码。结合上述附图3的描述，从而可以快速把一个集群的项目复制到另一个集群，并一键修改掉所需要变更的配置项，比如ip，目录路径等。

当然，于实施例中，待发布的项目源代码也可以由操作人员直接上传到中心机房。获取项目代码后进行编译打包，准备向目标服务器发布。

步骤s3，根据配置文件选定目标服务器，将编译好的项目代码同步到选定的目标服务器。

配置文件中包括需要部署的服务器信息，直接从相应的配置文件中提取相应位置的相关信息即可。在一些实施例中，在执行同步之前，还需要核实当前操作人员的权限信息，确认当前操作人员是不是有部署该项目的操作权限。例如，操作人员即部署工程师对不同项目的操作权限不同，在对特定的项目进行部署时，需要经过应项目的负责人进行审批后才能进行项目代码同步操作；若对于当前操作人员对选定的项目具有直接部署的权限，则直接进行后续的项目代码同步操作。本实施例中，对于需要进行审批的项目进行预发验证处理，此处的预发验证指的是将待部署的项目发布到预发布环境试运行，预发布环境是上线前的最后验证环境，它具有跟线上系统基本相同的环境，但是对外部用户不可见，只对内部测试人员可见。在通过预发验证后，当前待发布项目的审批任务流转到具有相应权限的审批人员处，并通知对应审批人，可以通过邮件等常用的消息提醒方式进行提醒。

然后需要将编译好的项目代码同步到选定的目标服务器。由于由中心机房进行统一部署，那么会涉及服务器集群与中心机房间的远程通信的问题。系统中每个服务器集群预配置了用于支持文件传输、远程命令执行的远程管理协议，本实施例中的集群分为两种通信模式：支持ssh协议的和不支持ssh协议的；在代码同步之前首先确定选定的目标服务器所在集群使用的远程管理协议。

ssh是建立在应用层基础上的安全协议，ssh是目前较可靠、转为远程登录会话和其他网络服务提供安全性的协议。本方法中，对于支持ssh协议的服务器集群提供ssh模式进行同步。ssh模式前置条件是跨省集群与部署机器之间网络需要打通，集群系统必须支持ssh协议。

对于不支持ssh协议的服务器集群，采用了ace长连接模式来完成文件的传输、远程命令执行等工作。每个新的集群开启后，首先会在中心配置好是否走ace模式。走ace模式的部署在用户操作上与ssh模式没有区别，但是底层的通讯方式不一样。具体如图4：

ace模式，会在中心机房起一个pubserver服务，一方面用于跟部署服务通信，另一方面把部署服务的指令经过调度后把相应指令发送到对应的集群代理机上。

每个集群会部署一个clientagent服务，clientagent启动后自动连接到中心的pubserver服务，主要负责与pubserver的通信以及把指令传送到该集群下的具体机器上。

每台机器会安装一个machineagent，启动后自动连接到当前集群的clientagent，这样就把每个集群的每台机器都通过pubserver连接起来。machineagent负责接收到来做clientagent的指令并最终执行。

通过站点id(代表一个省份的集群id)由pubserver来确定指令发送到那个集群，通过ip由clientagent来确定指令发送到哪台机器。pubserver与clientagent不仅做传输通道也做路由功能。

其中，machineagent是安装在每台机器的一个本地服务，它负责接收指令、执行命令，并返回执行结果给clientagent，主要包括命令shell命令、文件增删改查命令的操作。machineagent只与clientagent通讯，所有的信息通过clientagent再与云端交互。

clientagent一个集群安装一个，作为内部机器与云端系统的通讯桥梁，通过ace协议中转数据。

pubserver部署在云端，对外只与每个省份的clientagent通讯，接收部署系统的指令，根据集群id，内部ip作为分发条件，发具体的指令分发给最终的machineagent执行。

本实施例中machineagent、clientagent和pubserver这三个模块都是用c++开发，执行指令直接调用操作系统底层库，内部通讯走ace协议。

步骤s3中使用ngnix对连接进行管理，基于ngnix确定当前需要采用ssh模式或ace模式。对于打通ssh的集群会优先走ssh模式。本发明不仅支持常用的ssh协议、也可以对有特殊网络限制的集群做分布式部署，打通了网络限制的壁垒。

在确定需要选择的连接模式后，同步编译好的文件到目标服务器即可。例如，在一个基于linux系统执行上述的部署方法的实施例中，通过自带的rsync命令实现同步部署机文件到目标机器。基于上述步骤，本发明可以实现多地跨网络部署，不需要在每个集群单独起部署服务、由中心机房统一配置管理，统一编译打包分发。

在实际的部署场景中，对于已经上线的服务器的部署(例如服务升级)，由于服务重启需要时间，在重启过程中的一些外部请求可能会有影响，因此，所述多地跨集群服务器的部署方法还包括平滑部署的步骤。所述平滑部署实现的前提是：目标服务器所在的集群是采用分布式架构搭建的。那么在对目标服务器进行同步的过程中，可以将目标服务器的外部流量切换到所属集群的其他服务器，保证期间不接入其他请求。于实施例中的具体实现方式可以是，对于外部http服务，重启一般都会有一个时间段影响，系统打通服务端与nginx的流控策略，可以保证所有外部不会访问到正在重启中的服务，发布过程中重启对线上零影响。

本领域技术人员可知的是，上述步骤中，在执行同步文件(写入)之前，一般还需要执行一些常规的命令，例如通过这些命令做部署前的收尾工作；在执行同步文件之后，一般也还需要执行一些常规的命令，例如通过这些命令来执行服务的启动脚本。

上述方法中，进一步包括步骤：如果执行将编译好的代码同步到目标服务器的一个步骤出错，则快速回滚到上一个步骤以重新部署。基于此，在目标服务器部署完成后，将本次部署的服务的原始包进行备份，以便回滚时使用。此处的回滚是全部代码的回滚，于实施例中，回滚可以通过代码的git源头回滚，也可以通过某个发布单回滚。其中，所述git源回滚，相当于把服务回滚到某个时间戳的代码为基准重新打包部署；所述以发布单为基准，相当于把服务回滚到之前的某个发布单的包为基准。

对于执行平滑处理的，在同步文件完成后需要进行健康检查，判断服务是否启动成功，健康检查通过后做流量重新切入。如果需要回滚，做回滚动作，这步也可以在完成部署之后的任意时间执行。

在实际的跨省布置的场景中，通常对于同一项目会分别在多地部署，部署的代码完全一样，不同的是配置信息。基于此，本发明在每个集群单独做配置中心，实现部署过程一次打包编译多地分发。如图7所示的部署样例，在完成一次打包编译后可以选定例如浙江、湖南、四川等地的集群进行分发部署。上述方法还包括根据配置文件确定本次发布是否涉及多地的不同集群，如果本次发布涉及多地的不同集群，按预设的发布顺序依次在各集群进行同步。本实施例中是由运维人员或开发人员手动确定发布顺序，也可以按一定的部署策略确定发布顺序，例如按不同服务器的忙闲状态。服务的部署还是按上述步骤s1-s3执行，一个集群部署完成后，判断是否还有其他的集群需要部署，直至所有需要部署的集群全部部署完成。从而提升部署效率，并保证部署代码版本统一。

上述方法进一步包括对部署服务在发布过程中的编译、启动以及对某一发布单的历史操作行为均生成相应日志，以便于操作人员定位问题。如图5是一个具体实施例的日志界面，该界面中包括三个标签页，其中一个标签页用于展示当前发布单的执行日志，知会操作人员每一步的操作结果；其中另一个标签页是对于服务端发布时展示编译机的日志，用于查看编译过程是否有异常发生；最后一个标签页是某台目标机的启动日志。并且如图6，操作人员的每一步操作事后都可以追溯，并查看当时的执行结果。

需要说明的是，本领域技术人员通过计算机程序实现上述多地跨集群服务器部署的方法，因此为了实现以上方法，需要提供一种存储介质，存储介质上存储有计算机程序，程序被处理器执行实现如上所述的多地跨集群服务器部署的方法。相应的，还需要提供一种装置，该装置包括处理器和存储介质，存储介质上存储有计算机程序，程序被处理器执行实现如上所述的多地跨集群服务器部署的方法。