运维监控体系总结


总结归纳运维工作中的监控内容。

监控目标

明白监控的重要性以及使用监控要实现的业务目标。

通常包括以下三点:
  • 对目标系统进行实时监控
  • 监控可以实时反馈目标系统的当前状态,目标系统硬件、软件、业务是否正常、目前处于何种状态
  • 保证目标系统可靠性,业务可以持续稳定运行,有问题第一时间反馈出来,便于运维人员处理


监控方法

  • 了解监控对象,例如:CPU如何工作
  • 性能基准指标,例如:CPU使用率、负载、用户态、内核态、上下文切换
  • 报警阈值定义,例如:CPU负载高的定义,内核态、用户态多少算高
  • 故障处理流程,如何更高效处理故障的流程


监控核心

  • 发现问题
  • 定位问题
  • 解决问题
  • 总结问题,对故障原因及问题防范进行归纳总结,避免以后重复出现


监控工具


  • 老牌监控
    • Cacti
    • Nagios
    • SmokePing

  • 流行监控
    • Zabbix
    • OpenFalcon
    • Prometheus+Grafana
    • 滴滴开源夜莺Nightingale
    • Smartping(专用于网络监控)
    • Lepus天兔(专用于监控数据库)

  • 自研

  • 第三方监控
    • 监控宝
    • 听云
    • New Relic


监控流程

  • 采集,通过SNMP、Agent、ICMP、SSH、IPMI等对系统进行数据采集
  • 存储,各类数据库服务,MySQL、PostgreSQL
  • 分析,提供图形及时间线情况信息,方便我们定位故障所在
  • 展示,指标信息、指标趋势展示
  • 报警,电话、邮件、微信、短信、报警升级机制
  • 处理,故障级别判定,找响应人员进行快速处理


监控指标

硬件监控

  • 机器硬件:CPU温度、物理磁盘、虚拟磁盘、主板温度、磁盘阵列
  • IPMI工具无法获取到硬件的状态,可以借助MegaCli工具探测Raid磁盘队列状态
  • https://www.ibm.com/developerw ... ipmi/


系统监控

  • 主机存活
  • CPU、内存、硬盘、使用率
  • inode
  • 负载
  • 网卡出入带宽
  • TCP连接数
  • 磁盘读写、只读


应用监控


  • MySQL
    • 服务可用性
    • 内存使用率
    • 磁盘使用
    • 主从不同步及延迟
    • 备份情况
    • 连接数

  • Redis、Redis Cluster
    • 负载
    • 内存使用率
    • 连接数量
    • QPS

  • Nginx
    • 状态码
    • 连接状态信息

  • RabbitMQ
  • PHP-FPM

  • OpenLDAP
    • 接入IP
    • 调用次数

  • Zimbra

  • OpenVPN
    • 版本信息、当前在线
    • 用户、分配IP、客户端连接IP、通过IP获取地址位置、接收发送流量 连接时间 时长 连接ID

  • ELK
  • Graylog
  • GitLab
  • Jenkins
  • MongoDB
  • HAproxy


网络监控

  • 网络质量
  • 公网出口
  • 专线带宽
  • 网络设备


流量分析

日志监控

安全监控

URL、API监控



性能监控(APM)Java|PHP|Go|Nodejs|分布式链路追踪

  • PinPoint
  • Zipkin
  • SkyWalking
  • CAT、Jaeger


业务监控

电商业务为例:
  • 每分钟产生多少订单
  • 每分钟注册多少用户
  • 每分钟多少活跃用户
  • 每天有多少推广活动
  • 推广活动引入多少用户
  • 推广活动引入多少流量
  • 推广活动引入多少利润


其他

  • SSL证书监控
  • 存活性 进程是否还在,端口监听、Log滚动
  • 健康指标 MQ消息堆积量
  • 接口监控 API成功率,延迟情况,QPS等等


监控报警

  • 邮件
  • 短信
  • 钉钉、微信、企业微信等其他即时通信软件
  • 电话


报警处理

故障自愈:服务器宕机自动启动。利用软件机制Supervisor,Systemd或者自定义脚本实现。

综合监控

硬件监控

通过SNMP来进行路由器交换机的监控、其他内容使用IPMI实现。如果都是公有云,可以忽略这部分内容。案例:Open-Falcon监控H3C-ER3260G2路由器

系统监控

服务监控


  • 服务自带
    • Nginx自带status模块
    • PHP相应status模块
    • MySQL利用Percona官方工具进行监控

  • 通过自定义方法获取数据
    • MySQL show global status xxx;
    • Redis info指令信息


网络监控(混合云架构)

  • SmokePing
  • SmartPing


安全监控

  • 云服务直接用云安全组即可,或者补充本机iptables
  • 硬件防火墙
  • Web服务使用Nginx+Lua实现Web层面的防火墙,或者Openresty


日志监控

ELK、Graylog实现异常日志,错误日志关键字的监控。

业务监控

确定监控指标,监控起来,业务不同各不相同。

流量分析

建议使用百度统计,Google统计,商业,研发嵌入代码实现。或者使用piwik

可视化

Dashboard

自动化监控

通过API,批量操作

监控总结

完整的监控系统,需要对业务有详尽的了解,软件只是手段。

原文链接:https://zhuanlan.zhihu.com/p/342809838

0 个评论

要回复文章请先登录注册