数据持久化与备份

数据持久化与备份

概述

本节介绍 Docker 环境中的数据持久化策略和自动备份方案。学习完成后，您将能够：

• 理解 Docker 数据卷（Volume）的概念和作用
• 配置容器数据持久化
• 设计和实施自动备份策略
• 向客户解释数据安全性和可靠性保障

Why Data Persistence Matters

容器的无状态特性

默认情况下，容器删除后所有数据都会丢失。对于 IoT 系统，这意味着：

问题场景：
1. 容器崩溃重启 → 所有 Flow 配置丢失
2. 更新软件版本 → 历史数据全部清除
3. 服务器迁移 → 需要重建整个系统

数据持久化的价值

价值点	说明	对客户的影响
配置保留	重启后 Flow、仪表板、设置不变	减少重复工作
数据安全	传感器历史数据不会丢失	业务数据可追溯
升级无忧	更新容器版本数据不受影响	降低维护风险
快速恢复	故障后快速恢复服务	减少停机时间

Docker Volume Types

1. Named Volumes（命名卷）

由 Docker 管理，存储在 /var/lib/docker/volumes/：

# 创建卷
docker volume create nodered_data

# 使用卷
docker run -d \
    --name nodered \
    -v nodered_data:/data \
    nodered/node-red:latest

# 查看卷信息
docker volume inspect nodered_data

# 列出所有卷
docker volume ls

# 删除卷（慎用！）
docker volume rm nodered_data

2. Bind Mounts（绑定挂载）

直接映射宿主机的目录：

# 使用绝对路径挂载
docker run -d \
    --name mosquitto \
    -v /opt/iot/mosquitto/config:/mosquitto/config \
    -v /opt/iot/mosquitto/data:/mosquitto/data \
    eclipse-mosquitto:2

3. tmpfs Mounts（内存挂载）

数据存储在内存中，容器停止后自动清除：

docker run -d \
    --name cache-service \
    --tmpfs /cache:rw,noexec,nosuid,size=64m \
    alpine

Volume Comparison

特性	Named Volume	Bind Mount	tmpfs
管理方式	Docker 自动管理	用户手动管理	内存存储
存储位置	/var/lib/docker/volumes/	手动指定路径	内存
备份方式	Docker 命令	直接文件操作	不需要
性能	原生	原生	极快
持久性	是	是	否
适用场景	数据库、配置文件	开发调试	缓存、临时数据

IoT Stack Volume Configuration

推荐的数据卷方案

version: '3.8'

services:
  mosquitto:
    image: eclipse-mosquitto:2
    volumes:
      # Named Volumes 用于数据持久化
      - mosquitto_data:/mosquitto/data
      - mosquitto_log:/mosquitto/log
      # Bind Mount 用于配置文件编辑
      - ./mosquitto/config:/mosquitto/config

  nodered:
    image: nodered/node-red:latest
    volumes:
      - nodered_data:/data

  influxdb:
    image: influxdb:2
    volumes:
      - influxdb_data:/var/lib/influxdb2
      - influxdb_config:/etc/influxdb2

  grafana:
    image: grafana/grafana:latest
    volumes:
      - grafana_data:/var/lib/grafana

volumes:
  mosquitto_data:
  mosquitto_log:
  nodered_data:
  influxdb_data:
  influxdb_config:
  grafana_data:

Backup Strategy

1. 关键数据识别

服务	关键数据	存储路径	备份优先级
Node-RED	Flows, 配置	/data	⭐⭐⭐
Mosquitto	配置, 密码文件	/mosquitto/config	⭐⭐
InfluxDB	时序数据库	/var/lib/influxdb2	⭐⭐⭐
Grafana	Dashboard, Datasources	/var/lib/grafana	⭐⭐

2. 备份脚本

创建自动备份脚本 backup-iot-stack.sh：

#!/bin/bash

# IoT Stack 自动备份脚本
# 使用方法: ./backup-iot-stack.sh [backup-dir]

BACKUP_DIR="${1:-/opt/backups/iot}"
TIMESTAMP=$(date +%Y%m%d_%H%M%S)
BACKUP_PATH="${BACKUP_DIR}/${TIMESTAMP}"

# 颜色定义
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
RED='\033[0;31m'
NC='\033[0m'

echo -e "${GREEN}=== IoT Stack Backup Script ===${NC}"
echo "Backup directory: ${BACKUP_PATH}"

# 创建备份目录
mkdir -p "${BACKUP_PATH}"

# 1. 备份 Node-RED Flows
echo -e "\n${YELLOW}[1/4] Backing up Node-RED...${NC}"
if docker ps --format '{{.Names}}' | grep -q "nodered"; then
    docker cp nodered:/data/flows.json "${BACKUP_PATH}/nodered_flows.json"
    docker cp nodered:/data/flows_cred.json "${BACKUP_PATH}/nodered_flows_cred.json" 2>/dev/null
    docker cp nodered:/data/package.json "${BACKUP_PATH}/nodered_package.json" 2>/dev/null
    echo -e "${GREEN}✓ Node-RED backup completed${NC}"
else
    echo -e "${RED}✗ Node-RED container not found${NC}"
fi

# 2. 备份 Mosquitto 配置
echo -e "\n${YELLOW}[2/4] Backing up Mosquitto...${NC}"
if docker ps --format '{{.Names}}' | grep -q "mosquitto"; then
    docker cp mosquitto:/mosquitto/config "${BACKUP_PATH}/mosquitto_config" 2>/dev/null
    docker cp mosquitto:/mosquitto/data "${BACKUP_PATH}/mosquitto_data" 2>/dev/null
    echo -e "${GREEN}✓ Mosquitto backup completed${NC}"
else
    echo -e "${RED}✗ Mosquitto container not found${NC}"
fi

# 3. 备份 InfluxDB
echo -e "\n${YELLOW}[3/4] Backing up InfluxDB...${NC}"
if docker ps --format '{{.Names}}' | grep -q "influxdb"; then
    docker exec influxdb influx backup \
        /tmp/influxdb-backup \
        --token "${INFLUX_TOKEN:-}"
    docker cp influxdb:/tmp/influxdb-backup "${BACKUP_PATH}/influxdb_backup"
    echo -e "${GREEN}✓ InfluxDB backup completed${NC}"
else
    echo -e "${RED}✗ InfluxDB container not found${NC}"
fi

# 4. 备份 Grafana
echo -e "\n${YELLOW}[4/4] Backing up Grafana...${NC}"
if docker ps --format '{{.Names}}' | grep -q "grafana"; then
    docker cp grafana:/var/lib/grafana/grafana.db "${BACKUP_PATH}/grafana.db" 2>/dev/null
    echo -e "${GREEN}✓ Grafana backup completed${NC}"
else
    echo -e "${RED}✗ Grafana container not found${NC}"
fi

# 创建备份摘要
{
    echo "Backup Timestamp: ${TIMESTAMP}"
    echo "Components:"
    echo "  - Node-RED: nodered_flows.json"
    echo "  - Mosquitto: mosquitto_config/"
    echo "  - InfluxDB: influxdb_backup/"
    echo "  - Grafana: grafana.db"
} > "${BACKUP_PATH}/backup_manifest.txt"

# 压缩备份
echo -e "\n${YELLOW}Compressing backup...${NC}"
cd "${BACKUP_DIR}"
tar -czf "iot-backup-${TIMESTAMP}.tar.gz" "${TIMESTAMP}"
rm -rf "${TIMESTAMP}"

echo -e "\n${GREEN}=== Backup Completed Successfully ===${NC}"
echo "Backup file: ${BACKUP_DIR}/iot-backup-${TIMESTAMP}.tar.gz"
echo "Size: $(du -h "${BACKUP_DIR}/iot-backup-${TIMESTAMP}.tar.gz" | cut -f1)"

3. 定时备份（Cronjob）

# 编辑 crontab
crontab -e

# 每天凌晨 2:30 执行备份
30 2 * * * /opt/scripts/backup-iot-stack.sh >> /var/log/iot-backup.log 2>&1

# 每周日凌晨 3:00 执行完整备份
0 3 * * 0 /opt/scripts/backup-iot-stack.sh /opt/backups/iot-weekly

# 保留最近 30 天的备份（清理旧备份）
0 4 * * * find /opt/backups/iot -name "*.tar.gz" -mtime +30 -delete

4. 备份保留策略

备份目录结构:
/opt/backups/iot/
├── daily/          # 日备份，保留 7 天
│   ├── iot-backup-20260517.tar.gz
│   ├── iot-backup-20260518.tar.gz
│   └── ...
├── weekly/         # 周备份，保留 4 周
│   ├── iot-backup-202604-week1.tar.gz
│   └── ...
└── monthly/        # 月备份，保留 12 个月
    └── iot-backup-202605.tar.gz

Restore Procedures

1. Node-RED 恢复

# 从备份恢复 Node-RED Flow
docker cp backup/nodered_flows.json nodered:/data/flows.json

# 重启 Node-RED 加载新 Flow
docker restart nodered

2. InfluxDB 恢复

# 从备份恢复 InfluxDB
docker exec influxdb influx restore \
    /tmp/influxdb-backup \
    --token "${INFLUX_TOKEN:-}"

# 重启 InfluxDB
docker restart influxdb

3. 完整恢复脚本

#!/bin/bash

# IoT Stack 完整恢复脚本
# 使用方法: ./restore-iot-stack.sh <backup-file.tar.gz>

BACKUP_FILE=$1

if [ -z "$BACKUP_FILE" ]; then
    echo "Usage: ./restore-iot-stack.sh <backup-file.tar.gz>"
    exit 1
fi

# 解压备份
tar -xzf "$BACKUP_FILE" -C /tmp/restore

# 停止所有服务
docker-compose down

# 恢复 Node-RED
docker cp /tmp/restore/nodered_flows.json nodered:/data/

# 恢复 Mosquitto 配置
docker cp /tmp/restore/mosquitto_config mosquitto:/mosquitto/

# 恢复 Grafana
docker cp /tmp/restore/grafana.db grafana:/var/lib/grafana/

# 重启服务
docker-compose up -d

echo "Restore completed!"

Common Customer Questions

Q1: 容器删除后数据还在吗？

A: 如果使用了 Volume，容器删除后数据仍然保留。重新创建容器并挂载相同的 Volume 即可恢复。

Q2: 备份文件安全吗？

A: 备份文件包含敏感数据（密码、Token），建议加密存储：

# 加密备份
gpg --symmetric --cipher-algo AES256 iot-backup-20260518.tar.gz

# 解密备份
gpg --decrypt iot-backup-20260518.tar.gz.gpg > iot-backup-20260518.tar.gz

Q3: 备份会影响服务运行吗？

A: 备份不影响服务正常运行。但如果需要数据库一致性，建议在低峰期执行并暂停写入。

最佳实践

✅ 推荐做法:

• 所有关键服务配置数据卷
• 实施 3-2-1 备份策略（3 份备份、2 种介质、1 份异地）
• 定期测试恢复流程
• 监控备份日志和磁盘空间
• 加密敏感数据备份

❌ 避免做法:

• 不配置持久化直接使用容器
• 仅有一份备份文件
• 从不测试备份恢复
• 备份文件与服务器共存
• 忽视配置文件备份

Summary

1. 数据持久化是容器化 IoT 系统的基石
2. 使用 Named Volume 管理关键数据
3. 自动备份脚本确保数据安全
4. Cronjob 定时备份实现自动化
5. 定期测试恢复流程确保可用性

References

• Docker Volumes 文档
• Docker Backup Best Practices
• InfluxDB Backup & Restore