自动化运维系统的设计与开

摘要

信息技术飞速发展的今天，计算机系统都是建立在网络之上的、随着系统建设的不断深入发展，信息系统越来越复杂，信息系统软硬件的运行维护已成为了各企业和IT部门普遍关注和不堪重负的问题，如对众多系统的更新扩容、系统监控、系统的异常处置等。因此我们不得不面对一个现实——分布式的主机或系统是难于设计、构建与管理的。首先，分布式系统在操作系统、架构和开发语言上的异构性增加了应用程序发布、部署与移植的难度；其次，分布式系统涉及主机较多，业务增加和发展时，基本上是横向扩展主机来提高计算的能力和可靠性，这样久而久之分布式的网络节点的越来越多，需要大量的手动配置、手动的软件更新发布；而且分布式系统的异常多表现为间歇性错误或功能下降，其内部高度的透明性使得故障的排除需要大量的日志分析。

本文以基于分布式集群物理主机为研究对象，采用“DJANGO+PYTHON”的软件开发思想设计了一套完整的自动化运维方案，覆盖从开发测试到部署运维的整个软件生命周期。1.利用slatmaster与slatmin通信机制以及slat 提供的api接口解决应用程序并发发布、部署的灵活性；2 利用软件git代码管理以及jenkins的设计软件完成持续集成与持续交付的流程架构，使得开发、测试与运维可以更紧密、高效的合作，使得代码管理、集成转变为运行服务的流程自动化；3随着系统的扩展，带来众多的应用组件，大量不同种类的日志成为了运维人员的负担，不方便管理;单个日志文件巨大，无法使用常用的文本工具分析，检索困难;日志分布在多台不同的服务器上，业务一旦出现故障，需要一台台查看日志。因此利用flume+kafka+ELK实现集中化管理日志后，日志的统计和检索、展示；4利用java设计实现了一套故障排查处理机制，即通过调用ES的API接口实现分布式系统节点的运行状态做汇报，这样能对分布节点做故障预警，对故障主机提供远程控制和管理.以上几点的实现在一定程度上降低了分布式集群的管理维护成本，推进了分布式集群的自动化。

关键字：SaltStack、rsync、分布式系统主机、持续集成Jenkins,日志集中收集flume+kafka+ELK，自动化运维。

目录

摘要3

第一章引言5

1.1研究背景6

1.2研究现状&方向7

1.3研究内容7

1.4研究意义8

1.5论文结构9

第二章相关技术介绍10

2.1SaltStack 概述10

2.2JENKins介绍11

第三章自动化运维系统需求13

3.1IT运维模式分析13

3.2IT运维面临的问题13

3.3系统涉众的结构分析13

3.4系统需求15

3.4.1持续集成交付管理15

3.4.2批量部署管理16

3.4.3远程维护管理16

3.4.4故障管理17

3.4.5对性能的一般性要求17

3.5运行环境&开发环境18

第四章自动化运维系统设计与开发18

第五章关键支持组件的安装说31

第六章总结与展望37

6.1前景与展望37

参考文献38

致谢38