linux操作系统下项目的推送式部署
[摘 要]为了保证网络服务的稳定、高效，大型项目均采用服务器集群。在大规模的服务器应用中，相同的服务程序会部署到集群中的服务器上。在服务器集群中的部署工作是程序一次生成，多次多处复制的过程，所以在服务器集群中需要采用自动化部署工具，达到所有服务程序的一致性和标准性。但是集群服务器的集群规模不同，配置也是多种多样，所使用的开发语言也各有不同，部署技术人员能力也有所不同，所以在不同的环境中就需要不同的自动化部署方案，当前对于推送式的部署主要是通过维护人员编写简单脚本完成，并没有形成标准。但是推送式部署也是部署中重要的一环，所以需要进行研究总结。
[关键词]部署、自动化部署、灰度发布、服务器集群

部署工作的简单介绍
部署的类型
 部署是在项目持续发展中的一个重要的步骤。对于服务较多、对部署程序的完整性和安全要求高的服务，必须使用自动化部署，使部署工作安全、快速、高效、稳定的进行。自动化程序根据需求，将代码部署到服务器的代码传送过程主要有两种方式：一种是获取式部署，即生产环境中的服务定时到部署服务器检查本机当前运行的是否为最新版本，如果不是则到部署服务器自动下载最新版的代码，或者是在接收到部署服务器通知有新版的时候，到部署服务器自动下载最新版的代码。另一种就是要讨论的推送式部署，推送式部署不用生产环境中的服务器做任何工作，部署服务器会将最新代码推送到生产环境中的服务器上完成更新，如部署过程中需要对线上环境做修改或执行相应命令，均是由部署服务器进行远程执行。推送式部署的部署工作全部由部署服务器完成，集群的服务只是被动接受和执行命令。
2、当前主流的部署方案的使用情况
 根据集群服务器的规模和对部署工作的需求不同，所使用的部署方案也不同。管理人员根据管理的实际情况来决定，首先要了解管理网络的情况如：网络的规模、主要服务的服务器硬件配置主要考虑单台的部署速度、服务与部署服务器之间的网络速度。还要考虑部署过程中的业务需要，是否可以中断、整个部署完成所用时间等因素。次要考虑部署人员技能素质，在出现小概率事件时的处理方式。
 二、推送式部署使用分析
1、推送式部署适合的网络
 在大规模的集群环境中需要即时更新服务，并且更新速度要快、所有服务尽快达到一致，所以使用获取式的比较适合，但是在规模过大的情况下部署服务器在更新时所面对的压力也会比较大。推送式部署主要是用于规模小型化、更新频繁的服务，使用者对部署的顺序或每个服务的部署间隔时间有一定要求。在使用中推送式部署，操作人员可以进行更频繁的操作，并且来判断哪些服务已经更新、哪些服务正在被更新。这个特性主要是用于在小型网络中，不会造成所有服务器同时在更新，而对外服务停止的情况，例如只有10个服务在工作，管理人员希望每半分钟更新一台，不要10台同时更新，这样对外服务就停止了，但是在上百或上千台服务的集群中，所有服务同时更新的几率极低，如果采用推送时，则会耗时很长。管理人员根据自己管理的服务和实际情况来决定采用的更新方式。
2、不同语言对于部署工作的要求
 在部署过程中管理人员都希望在服务不断线的情况下完成部署，但是主流的语言C、java、php、python，自身并不能像Erlang语言一样可以简单的完成热代码升级（也可以做到但是难度比较大）。如C和java必须先编译，然后部署，部署完毕还需要执行重启操作，其中java如果是运行web程序还需要使用tomcat、resin、jboss之类的java容器，resin可以做定期检查，发现新文件后自动加载新文件，tomcat也有该类功能，但是比较弱，所以保险起见部署完毕均要做重启操作，重启完成后检查java容器是否运行正常。PHP和Python不用编译可以将源代码直接部署到服务器上，不做重启新代码也可以生效。综合上述问题，使用推送式部署，在部署过程中出现问题，可以及时停止部署，这样能在代码出错情况下及时发现并终止操作避免给生产环境带来更大的问题。
3、部署工作中的版本控制和代码安全
 代码是随着业务发展、功能不断完善、bug修正后不断更新。在部署过程中管理人员需要知道使用哪个版本最为适合，一般部署的版本信息是测试部人员根据测试结果告知部署人员的。部署人员通过版本控制工具，根据不同的权限获取要部署的代码（当前主流版本控制工具有svn和git）。对于部署工具便有了新的要求，如C和java需要获取并自动编译，PHP和Python可以直接使用。此步骤对于推送时部署和其它部署方式都是必须要做的。
4、适合使用的人群
 部署工具组要适用于开发人员、测试人员，系统管理人员。已经说明推送式的部署方式适用于小型集群服务器。对于开发人员主要是将代码部署到测试服务器。但是对于测试人员，推送式的部署还有一个更好的用处，就是在测试环境中需要测试，在部署新代码的过程中新旧代码交替是否会产生未知问题，部署过程对当前系统运行稳定是否会造成影响，在部署过程中对于外界访问速度是否正常。对于系统管理人员则是能更安全、稳定的完成部署操作，并可以清晰的记录部署过程，对于部署权限也可以方便的管理。
 三、部署完成后的后续工作
1、检查部署情况
 部署完成后需要简单检查，服务是否正常，如页面加载展示是否正常、服务无报错情况、访问速度等问题。自动化部署都可以自动完成，并将展示异常报告。但对于业务和逻辑的测试还需要测试人员来人工完成。
2、部署中出现严重问题的处理方案
 部署失败是指，部署中服务启动出现问题，部署代码错误导致的业务错误，或上线后发现前期没有发现的严重bug。处理方案是尽快恢复上次部署成功的代码。推送式的部署可以马上将原始代码推送部署到服务上。而获取式的部署，就要等待服务自己到部署服务器上获取代码，相比之下自动获取式的会有些迟缓。
3、部署过程的可追溯性
 每次部署完毕，部署系统都会对本次部署使用的代码和部署过程进行记录。在部署系统中，也可以查到历史的部署记录，方便了日后问题在各个版本间的查找。不论是哪种部署方式，此步都非常重要。
 四、推送式部署对工作的帮助
1、自动化的部署的优点
 自动化部署让部署工作在高速、方便、安全、稳定的状态下进行。使部署人员不会出现人为失误带来的灾难性的后果。使用自动化完成后，也大大低了部署人员的工作量，同时也降低了部署人员的技术门槛，通过简单操作既可以完成集群服务的部署工作，不用掌握代码、版本管理、编译、同步等复杂的技能。
2、推送式部署应用平台
 当前主流的自动化部署平台有Dreadnot用node.js编写，Murder 用python和ruby编写，controlTier用java编写，均适用于大规模的部署工作，Murder在Twitter的部署中起到了重要的作用，需要耗时40分钟的部署过程现在可以缩短至12秒。capistrano用ruby编写，并行的在多台机器上执行相同命令的工具，用来安装一整批机器。以上平台并没有进行串行顺序的推送式的部署，如果生产环境中只有2-10个服务器，就很有可能因为同时在部署服务，造成业务停滞。
 我已经用python语言和tornado框架，编写了顺序的推送部署系统。系统部署的流程是：第一次操作需要创建相应的服务记录，并上传或配置好推送服务的配置文件。做完基础配置就可以开始部署工作，首先是上传程序，系统可以通过上传代码或使用svn、git的客户端的多种方法获取代码，然后根据配置文件使用rsync工具顺序的将程序推送到相应服务器，并在每台推送完毕后，根据部署要求对服务进行重启操作，重启的操作需要在配置服务的时候完成。重启或执行相应命令是部署系统通过ssh进行远程连接后执行命令。在部署过程中可以通过日志，查看本次部署的过程。具体的架构如图1：
 
 图1 python tornado推送部署框架
 部署使用web操作界面，用浏览器操作非常方便，只需要两步简单的操作就能完成，即使对于没有经验的人员也能在几分钟内掌握部署工作。部署系统相关的信息和部署操作均详细的记录在日志和数据库中，对于部署操作有追溯性。
 在部署出现错误时，只需要简单的一步，就能将系统还原成上一版正确的代码，对于代码错误造成的损害降到最低。
3、推送式部署系统存在的危险及预防
 虽然推送式部署系统有着各种优点，但是也存在缺点。因为是推送，所有要部署的服务信息，如ip地址、用户名、密码、程序路径、重启命令等，都会保存在部署服务器的配置文件中，虽然部署系统有管理人员等级的审核机制。但是如果部署系统被黑客入侵后将会得到整个系统的信息，并且可以进入到所有服务器，会给业务造成严重的影响。所以要采取相应的应对措施，除了日常防范措施外还要注意：
 （1）集群服务的登录信息不能使用最高权限。
 （2）部署服务器关闭没有用的服务，以防止黑客通过其它途径攻击。
 （3）部署服务器最好是在内网中，与公网隔离。可以通过vpn进行内网访问。
 （4）在没有部署需要时停止部署服务器的工作。
 （5）将线上部署系统、测试环境部署系统分开，成为两套部署系统。
 五、总结
 自动化部署是当前计算机集群发展中的重要组成部分。管理人员根据部署的要求，选取最适合的部署方案将会给工作带来方便的同时，大大降低工作强度。使管理人员来处理更加复杂的技术问题。推送式部署在开发和测试阶段有着重要的作用，在生产环境中的小型环境中也是不可缺少的部署工具。推送式的部署将随着计算机的发展不断完善，为我们的工作带来更大的贡献。

相关论文