自动化备份全网服务器数据平台

自动化备份全网服务器数据平台

总体需求

• 某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复
• 要求如下：
  • 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件
  • 通过rsync命令推送到备份服务器上保存
  • 备份服务器定时清除旧记录
  • 搭建邮件告警平台

备份需求

• 所有服务器的备份目录必须都为/backup。

• 要备份的系统配置文件包括但不限于：

  • 定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。

  • 开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。

  • 日常脚本的目录 （/server/scripts）。

• Web服务器要求

  • Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。
  • Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
  • Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。

• 备份服务器要求

  • 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
  • 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。
  • 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
  • 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

项目环境

项目拓扑结构

软硬件环境清单

• 已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。

环境搭建

安装Centos7.9系统，替换yum源

# 下载阿里云 YUM 源配置文件
[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清理 YUM 缓存并生成新缓存
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache
# 安装 EPEL 源
# EPEL 提供了许多 CentOS 默认仓库中没有的软件
[root@localhost ~]# sudo yum install epel-release -y

web1服务器环境搭建

• 关闭防火墙和selinux，设置主机名

  [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld

  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled

  [root@localhost ~]# hostnamectl set-hostname web1
  [root@localhost ~]# reboot

• 设置静态ip

  [root@web1 ~]# nmtui
  [root@web1 ~]# nmcli c reload
  [root@web1 ~]# nmcli c up ens33

• 安装所需软件

  [root@web1 ~]# yum install vim tree tar net-tools rsync nfs-utils nginx -y

  [root@web1 ~]# mkdir -p /www
  [root@web1 ~]# cd /www
  # 使用xftp将web源文件sczl上传至/www

  # 修改nginx配置文件
  [root@web1 ~]# vim /etc/nginx/nginx.conf # 修改第42行之后的路径
  42 root /www/sczl;
  [root@web1 ~]# systemctl start nginx
  [root@web1 ~]# systemctl enable nginx

  # 测试：打开windows端浏览器输入服务端IP地址,或：
  [root@web1 ~]# curl 192.168.194.153

nfs服务器环境搭建

• 关闭防火墙和selinux，设置主机名

  [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld

  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled

  [root@localhost ~]# hostnamectl set-hostname nfs1
  [root@localhost ~]# reboot

• 设置静态ip

  [root@nfs1 ~]# nmtui
  [root@nfs1 ~]# nmcli c reload
  [root@nfs1 ~]# nmcli c up ens33

• 安装所需软件

  [root@nfs1 ~]# yum install vim tree tar net-tools rsync nfs-utils rpcbind -y

• 部署共享存储，nfs1为服务端，web1为客户端

  # nfs01服务端操作:

  [root@nfs1 ~]# mkdir /nfsfile
  [root@nfs1 ~]# echo "welcome to www.openlab.com" > /nfsfile/readme
  [root@nfs1 ~]# chmod -Rf 777 /nfsfile

  # 编辑nfs配置文件，添加如下内容
  [root@nfs1 ~]# vim /etc/exports
  /nfsfile 192.168.194.0/24(rw,sync,all_squash)

  [root@nfs1 ~]# systemctl start rpcbind
  [root@nfs1 ~]# systemctl enable rpcbind
  [root@nfs1 ~]# systemctl enable –now nfs-server

  # web01客户端操作：

  [root@web1 ~]# showmount -e 192.168.194.154
  Export list for 192.168.194.154:
  /nfsfile 192.168.194.0/24
  [root@web01 ~]# mkdir /web_nfs
  [root@web01 ~]# mount -t nfs 192.168.88.201:/nfsfile /web_nfs
  [root@web01 ~]# cd /web_nfs
  [root@web01 web_nfs]# ls
  readme

  [root@web01 web_nfs]# vim /etc/fstab # 永久挂载
  192.168.88.201:/nfsfile /web_nfs nfs defaults 0 0
  [root@web01 web_nfs]# mount -a

  [root@web01 web_nfs]# df -h

backup服务器环境搭建

• 关闭防火墙和selinux，设置主机名

  [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld

  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled

  [root@localhost ~]# hostnamectl set-hostname backup
  [root@localhost ~]# reboot

• 设置静态ip

  [root@backup ~]# nmtui
  [root@backup ~]# nmcli c reload
  [root@backup ~]# nmcli c up ens33

• 安装所需软件

  [root@backup ~]# yum install vim tree tar net-tools rsync mailx -y

• 修改rsync配置文件

  # 注意：配置文件中下列注释要删除
  [root@backup ~]# vim /etc/rsyncd.conf
  uid = rsync# 用户
  gid = rsync# 组
  use chroot = no# 程序安全设置
  max connections = 200# 客户端连接数
  timeout = 300# 超时时间
  pid file = /var/run/rsyncd.pid# 进程号文件位置
  lock file = /var/run/rsync.lock# 进程锁
  log file = /var/log/rsyncd.log# 日志文件
  fake super = yes # 无需rsync以root身份运行，允许接受数据

  [backup]
  path = /backup# 目录
  ignore errors# 有错误时忽略
  read only = false# 可读可写
  list = false # 阻止远程列表
  hosts allow = 192.168.194.0/24# 允许IP
  hosts deny = 0.0.0.0/32# 禁止IP
  auth users = rsync# 用于认证的账户
  secrets file = /etc/rsync.password# 存放用户和密码的文件

• 根据配置文件设置

  # 创建rsync账户及共享目录并修改目录属主为rsync
  [root@backup ~]# useradd -M -s /sbin/nologin rsync
  [root@backup ~]# mkdir /backup
  [root@backup ~]# chown -R rsync /backup

  # 开机并启动服务
  [root@backup ~]# systemctl enable –now rsyncd

  [root@backup ~]# ps -ef | grep rsync

  # 创建rsync虚拟账户名和密码,并赋予密码文件600权限
  [root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
  [root@backup ~]# chmod 600 /etc/rsync.password

配置备份脚本

配置web1客户端本地备份脚本

• 编写备份web1服务器的脚本

  # web1客户端主机需要打包备份的内容：/var/log/nginx 日志、/www 网站主数据、/var/spool/cron/root 定时任务配置、/etc/rc.local、/server/scripts

  [root@web1 ~]# mkdir /backup
  [root@web1 ~]# mkdir -p /server/scripts

  [root@web1 ~]# vim /server/scripts/backup.sh
  #!/bin/bash

  Date=$(date +%F_Week0%w) # 定义时间方式
  Host_IP=$(ifconfig ens33 | awk '/inet / {print $2}') # 获取IP,注意网卡名
  Backup_Dir="/backup/" # 本地备份路径
  Backup_Server_IP=192.168.194.155 # 备份服务器的IP

  # 创建指定目录和IP的目录
  [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP

  # 输出提示信息
  echo ${Date} ${Host_IP} start backup ......

  # 按要求打包备份所有本地重要文件
  cd / &&\\
  tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\\
  tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\\
  tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\\
  tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz www/ &&\\
  tar zcf $Backup_Dir$Host_IP/nginx_logs_${Date}_tar.gz var/log/nginx/ &&\\

  # 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
  find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

  # 把备份推送到备份服务器
  rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup –password-file=/etc/rsync.password

  # 删除7天以前的所有本地备份数据
  find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

  echo "Local backup successful, the backup files have been pushed to the backup server"

  # 客户端建立认证的文件密码如下：
  [root@web1 ~]# vim /etc/rsync.password # 注意：只写密码
  rsync123

  [root@web1 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600

• 测试

  [root@web1 ~]# bash /server/scripts/backup.sh
  2025-08-09_Week06 192.168.194.153 start backup ......
  Local backup successful, the backup files have been pushed to the backup server

  # 在backup服务器中可以看到推送的数据
  [root@backup ~]# ls /backup/192.168.194.153/
  2025-08-07_Week04.flag nginx_logs_2025-08-09_Week06_tar.gz www_2025-08-07_Week04_tar.gz
  2025-08-09_Week06.flag sys_file_bak_2025-08-07_Week04_tar.gz www_2025-08-09_Week06_tar.gz
  nginx_logs_2025-08-07_Week04_tar.gz sys_file_bak_2025-08-09_Week06_tar.gz

配置nfs1客户端本地备份脚本

• 编写备份web1服务器的脚本

  # web1客户端主机需要打包备份的内容：/nfsfile 共享目录数据、/var/log/message文件、mount -l 挂载信息

  [root@nfs1 ~]# mkdir /backup
  [root@nfs1 ~]# mkdir -p /server/scripts

  [root@nfs1 ~]# vim /server/scripts/backup.sh
  #!/bin/bash

  Date=$(date +%F_Week0%w) # 定义时间方式
  Host_IP=$(ifconfig ens33 | awk '/inet / {print $2}') # 获取IP,注意网卡名
  Backup_Dir="/backup/" # 本地备份路径
  Backup_Server_IP=192.168.194.155 # 备份服务器的IP
  mount -l > /var/log/mount.log # 挂载日志

  # 创建指定目录和IP的目录
  [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP

  # 输出提示信息
  echo ${Date} ${Host_IP} start backup ......

  # 按要求打包备份所有本地重要文件
  cd / &&\\
  tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\\
  tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\\
  tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\\
  tar zcf $Backup_Dir$Host_IP/nfs_${Date}_tar.gz nfsfile/ &&\\
  tar zcf $Backup_Dir$Host_IP/mount_logs_${Date}_tar.gz var/log/mount.log/ &&\\

  # 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
  find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

  # 把备份推送到备份服务器
  rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup –password-file=/etc/rsync.password

  # 删除7天以前的所有本地备份数据
  find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

  echo "Local backup successful, the backup files have been pushed to the backup server"

  # 客户端建立认证的文件密码如下：
  [root@web01 ~]# vim /etc/rsync.password # 注意：只写密码
  rsync123

  [root@web01 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600

• 测试

  [root@web1 ~]# bash /server/scripts/backup.sh
  2025-08-09_Week06 192.168.194.154 start backup ......
  Local backup successful, the backup files have been pushed to the backup server

  # 在backup服务器中可以看到推送的数据
  [root@backup ~]# ls /backup
  192.168.194.153
  192.168.194.154

配置定时任务

• web1、nfs1服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

  # 查看crond服务状态
  [root@web01 ~]# systemctl status crond

  # 编辑定时任务
  [root@web01 ~]# crontab -e
  0 0 * * * /bin/bash /server/scripts/backup.sh >/dev/null 2>&1

• backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

  [root@backup ~]# mkdir -p /server/scripts

  [root@backup ~]# vim /server/scripts/del_bak_data.sh
  #!/bin/bash

  Backup_Dir="/backup/"
  # 删除7天前的压缩包和flag文件，但是每周一的不删
  find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*" -mtime +7|xargs rm -f

  # 删除180天前的所有压缩包和flag文件
  find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f

  # 注意：Backup_Dir:-/tmp表示检查环境变量 Backup_Dir 是否已设置。如果设置了，就使用其值；如果没有设置，就使用默认值 /tmp

• backup服务器配置定时任务，实现服务端180天前数据自动删除

  [root@backup ~]# crontab -e
  0 0 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

数据传输完整性验证与监控告警

验证数据完整性

• backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

  [root@backup scripts]# vim send_mail.sh
  #!/bin/bash

  Date=$(date +%F_Week0%w)
  Backup_Dir="/backup/"
  Check_Log="/tmp/bak.log_$(date +%F)" # 定时检查备份结果的文件
  Admin_Mail=1959337815@qq.com # 管理员邮箱

  find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >> $Check_Log

  if [ -n "cat $Check_Log" ]
  then
  mail -s "$Date backup data info" $Admin_Mail < $Check_Log
  else
  echo "$Date backup data error,pls check it." > $Check_Log # 如果结果文件不存在，日志信息变化，报错
  mail -s "$Date backup data info" $Admin_Mail < $Check_Log
  fi
  cp $Check_Log{,.ori} && > $Check_Log

配置邮件告警

• 配置qq邮箱ssl证书

  [root@backup ~]# mkdir -p /root/.certs
  [root@backup ~]# cd /root/.certs

  [root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt
  [root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
  [root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
  [root@backup .certs]# certutil -A -n "GeoTrust SSL CA – G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt

• 配置邮件服务

  [root@backup .certs]# vim /etc/mail.rc # 最后一行后添加以下内容：
  set from=1959337815@qq.com
  set smtp=smtps://smtp.qq.com:465 # ssl端口默认465
  set smtp-auth-user=1959337815@qq.com
  set smtp-auth-password=************ # 授权码
  set smtp-auth=login
  set nss-config-dir=/root/.certs/ # 设置证书路径
  set ssl-verify=ignore # 启用加密ssl传输in

• 测试邮件服务

  [root@backup ~]# bash /server/scripts/send_mail.sh