Chiến Lược Sao Lưu Gia Tăng (Incremental Backup) Từng Phút Cho Database Dung Lượng Lớn Bằng Wal-G Và S3

Đặt Vấn Đề: Thách Thức Sao Lưu Database Dung Lượng Lớn

Trong kỷ nguyên số, dữ liệu được ví như dòng máu của doanh nghiệp. Đối với các hệ thống quản trị cơ sở dữ liệu (DBMS) có dung lượng lớn từ vài Terabyte đến hàng Chục Terabyte, việc đảm bảo an toàn dữ liệu đối mặt với hai thách thức cốt lõi: RPO (Recovery Point Objective) – Điểm mục tiêu phục hồi, tức lượng dữ liệu tối đa chấp nhận mất mát khi sự cố xảy ra; và RTO (Recovery Time Objective) – Thời gian mục tiêu phục hồi, tức thời gian cần thiết để đưa hệ thống hoạt động trở lại.

Phương pháp sao lưu toàn phần (Full Backup) truyền thống hàng ngày hoàn toàn bất khả thi cho các cơ sở dữ liệu lớn vì những lý do sau:

• Tốn tài nguyên I/O và CPU: Gây nghẽn hệ thống trong suốt thời gian backup.
• RPO quá lớn: Nếu hệ thống gặp sự cố vào lúc 23h00 trong khi bản Full Backup gần nhất thực hiện lúc 0h00, doanh nghiệp sẽ mất tới 23 giờ dữ liệu giao dịch.
• Chi phí lưu trữ cao: Việc lưu trữ nhiều bản sao full liên tục tiêu tốn ngân sách khổng lồ.

Chính vì vậy, giải pháp sao lưu liên tục (Continuous Archiving) kết hợp giữa bản Full Backup định kỳ và sao lưu gia tăng từng phút (Incremental Backup) thông qua Write-Ahead Logging (WAL) là chiến lược tối ưu duy nhất hiện nay cho các doanh nghiệp.

Wal-G Là Gì? Tại Sao Nên Chọn Wal-G Thay Vì Wal-E?

Để thực hiện cơ chế Continuous Archiving trên PostgreSQL (và một số DB khác như MySQL, SQL Server), cộng đồng công nghệ ban đầu sử dụng công cụ mã nguồn mở Wal-E. Tuy nhiên, Wal-E bộc lộ hạn chế về tốc độ do viết bằng Python. Wal-G ra đời như một phiên bản kế thừa hoàn hảo, được viết bằng ngôn ngữ Go (Golang).

Wal-G tận dụng tối đa khả năng xử lý song song (Multi-threading) của CPU, thuật toán nén hiện đại (như lz4, zstd) giúp tốc độ nén và đẩy dữ liệu lên Cloud S3 nhanh hơn gấp nhiều lần so với các công cụ cũ.

Các ưu điểm vượt trội của Wal-G bao gồm:

• Tốc độ vượt trội: Nhờ cơ chế streaming dữ liệu song song và tối ưu hóa bộ nhớ cấp thấp của Go.
• Hỗ trợ Delta Backup: Không chỉ lưu trữ log WAL, Wal-G cho phép tạo ra các bản sao lưu delta (chỉ ghi nhận các block dữ liệu thay đổi trên disk từ bản backup trước), giảm thiểu đáng kể dung lượng.
• Tích hợp sâu với S3: Tương thích hoàn hảo với AWS S3 cũng như các hệ thống lưu trữ Object Storage tương thích S3 khác (MinIO, Cloudflare R2, Google Cloud Storage).

Kiến Trúc Hệ Thống Sao Lưu Từng Phút Kết Hợp S3

Mô hình kiến trúc triển khai bao gồm ba thành phần chính hoạt động nhịp nhàng:

1. Database Server (Primary): Nơi xử lý các giao dịch thực tế từ ứng dụng.
2. Wal-G Client: Cài đặt trực tiếp trên Database Server, đóng vai trò như một agent tự động bắt giữ các phân đoạn WAL file (mặc định 16MB) ngay khi chúng được hoàn thành hoặc đẩy cưỡng bức theo mốc thời gian (ví dụ: mỗi 1 phút).
3. S3 Object Storage Bucket: Kho lưu trữ đám mây có độ bền vững cao (99.999999999%), chi phí rẻ, đóng vai trò lưu trữ cả Base Backup (Bản gốc ban đầu) và các tập tin WAL (Bản ghi gia tăng).

Hướng Dẫn Cấu Hình Chi Tiết Wal-G Để Backup Từng Phút

1. Chuẩn bị môi trường lưu trữ S3

Trước tiên, bạn cần tạo một Bucket chuyên dụng trên S3 (ví dụ: prod-db-backups) và một cặp mã truy cập IAM User có quyền AmazonS3FullAccess (hoặc tối thiểu quyền Read/Write trên bucket này).

2. Cài đặt Wal-G trên Database Server

Tải bản binary phù hợp với hệ điều hành từ GitHub Releases của Wal-G và phân quyền thực thi:

curl -L -O https://github.com/wal-g/wal-g/releases/download/v2.0.1/wal-g-pg-ubuntu-20.04-amd64.tar.gz
tar -zxvf wal-g-pg-ubuntu-20.04-amd64.tar.gz
mv wal-g-pg-ubuntu-20.04-amd64 /usr/local/bin/wal-g
chmod +x /usr/local/bin/wal-g

3. Cấu hình biến môi trường cho Wal-G

Tạo một file cấu hình hoặc khai báo các biến môi trường hệ thống để Wal-G nhận biết thông tin kết nối tới S3:

export WALG_FILE_PREFIX="s3://prod-db-backups/pg_data"
export AWS_ACCESS_KEY_ID="YOUR_ACCESS_KEY"
export AWS_SECRET_ACCESS_KEY="YOUR_SECRET_KEY"
export AWS_REGION="ap-southeast-1"
export WALG_COMPRESSION_METHOD="zstd"

4. Cấu hình PostgreSQL (postgresql.conf) để đẩy Log từng phút

Để đạt được mục tiêu RPO tính bằng phút, chúng ta cần cấu hình PostgreSQL liên tục đẩy các file WAL lên S3 thông qua lệnh archive_command và kiểm soát thời gian Timeout thông qua archive_timeout.

# Kích hoạt chế độ lưu trữ log
wal_level = replica
archive_mode = on

# Lệnh thực thi đẩy WAL lên S3 thông qua Wal-G
archive_command = 'wal-g wal-push %p'

# Cưỡng bách sinh file WAL mới tối đa sau mỗi 60 giây (1 phút) nếu không có nhiều giao dịch
archive_timeout = 60

Sau khi chỉnh sửa, hãy thực hiện khởi động lại hoặc reload dịch vụ PostgreSQL để cấu hình có hiệu lực.

Quy Trình Khôi Phục Dữ Liệu Tốc Độ Cao (Point-in-Time Recovery - PITR)

Khi thảm họa xảy ra (như thảm họa phần cứng hoặc lập trình viên vô tình chạy lệnh DROP DATABASE), quy trình PITR của Wal-G sẽ cứu cánh doanh nghiệp một cách ngoạn mục:

1. Dừng dịch vụ Database hiện tại và dọn dẹp thư mục data cũ (giữ lại các file cấu hình).
2. Khôi phục bản Base Backup gần nhất từ S3: Sử dụng lệnh wal-g backup-fetch /var/lib/postgresql/data LATEST. Tốc độ tải và giải nén song song của Wal-G sẽ tối ưu hóa băng thông mạng.
3. Cấu hình khôi phục (recovery.signal): Tạo file trống mang tên recovery.signal trong thư mục data.
4. Thiết lập mốc thời gian muốn khôi phục trong postgresql.conf:
   restore_command = 'wal-g wal-fetch %f %p'
recovery_target_time = '2026-06-02 14:30:00+07' (Thời điểm ngay trước khi xảy ra lỗi).
5. Khởi động lại PostgreSQL: Hệ thống sẽ tự động tải các file log WAL từ S3 về, "re-play" (chạy lại) từng giao dịch một cách tuần tự cho tới đúng giây thứ 14:30:00 thì dừng lại và mở cổng cho ứng dụng truy cập.

Những Lưu Ý Quan Trọng Khi Vận Hành

Mặc dù giải pháp này mang lại sự an tâm tuyệt đối, người quản trị hệ thống cần lưu ý 3 yếu tố sống còn sau:

• Giám sát quá trình đẩy log (Monitoring): Thiết lập cảnh báo Prometheus/Grafana hoặc kiểm tra log hệ thống. Nếu lệnh archive_command thất bại liên tục (do mất mạng Internet, sai key S3...), phân vùng chứa WAL của Database sẽ nhanh chóng bị đầy và khiến DB ngừng hoạt động hoàn toàn.
• Chiến lược dọn dẹp (Retention Policy): Lượng WAL file sinh ra từng phút là rất lớn. Hãy thiết lập lệnh Cronjob chạy định kỳ wal-g delete garbage --confirm để xóa bỏ các bản sao lưu và WAL cũ đã vượt quá thời gian lưu trữ quy định nhằm tối ưu chi phí S3.
• Diễn tập khôi phục định kỳ: Một chiến lược backup chỉ thực sự thành công khi nó được kiểm chứng bằng quy trình khôi phục thực tế thành công. Hãy thiết lập một môi trường Staging độc lập và diễn tập khôi phục (Drill test) ít nhất mỗi quý một lần.

Lời Kết

Triển khai chiến lược Incremental Backup từng phút với Wal-G và S3 là một khoản đầu tư công nghệ thông minh và bắt buộc đối với các doanh nghiệp sở hữu cơ sở dữ liệu lớn. Giải pháp này vừa giúp tối thiểu hóa chỉ số RPO xuống dưới 1 phút, tối ưu hóa RTO nhờ tốc độ vượt trội của Golang, vừa mang lại giải pháp lưu trữ tiết kiệm, an toàn trên nền tảng Cloud. Hãy bắt tay vào nâng cấp hệ thống của bạn ngay hôm nay để bảo vệ tài sản số quan trọng nhất của doanh nghiệp.