Hướng dẫn thực tế xây dựng cụm PostgreSQL High Availability với Patroni, etcd và PgBouncer trên 3 VPS chi phí thấp
Hướng dẫn chi tiết cách triển khai cụm PostgreSQL HA với Patroni, etcd và PgBouncer trên 3 VPS giá rẻ, đảm bảo tính sẵn sàng cao và hiệu suất ổn định cho ứng dụng web.
Nguồn ảnh: Pexels · Pixabay Content License
Giới thiệu về cụm PostgreSQL High Availability
Trong các hệ thống ứng dụng web hiện đại, cơ sở dữ liệu (DB) là thành phần then chốt, do đó yêu cầu về tính sẵn sàng (availability) và khả năng phục hồi (recovery) là rất cao. Cụm PostgreSQL High Availability (HA) giúp đảm bảo cơ sở dữ liệu luôn hoạt động ổn định, ngay cả khi có sự cố xảy ra trên một hoặc nhiều máy chủ. Trong hướng dẫn này, chúng ta sẽ xây dựng một cụm PostgreSQL HA sử dụng các công cụ phổ biến như Patroni, etcd và PgBouncer trên 3 máy chủ VPS chi phí thấp.
Phương pháp này phù hợp với doanh nghiệp nhỏ, startup hoặc dự án cá nhân cần một giải pháp database HA không tốn kém nhưng vẫn đảm bảo hiệu suất và độ tin cậy cao. Các thành phần chính:
- PostgreSQL: Cơ sở dữ liệu quan hệ mở nguồn.
- Patroni: Công cụ quản lý tự động failover và cấu hình cluster PostgreSQL.
- etcd: Hệ thống lưu trữ khóa giá trị phân tán, dùng để đồng bộ trạng thái giữa các nút.
- PgBouncer: Proxy kết nối PostgreSQL, giúp tối ưu hiệu suất và giảm tải kết nối.
Yêu cầu và chuẩn bị môi trường
Để triển khai cụm PostgreSQL HA này, bạn cần:
- 3 máy chủ VPS (có thể là VPS NVMe giá rẻ từ Cloud VPS NVMe).
- OS: Ubuntu 20.04 hoặc 22.04 (64-bit).
- 3 địa chỉ IP công cộng (hoặc ít nhất 1 IP công cộng và 2 IP nội bộ nếu dùng mạng private).
- Phần mềm: PostgreSQL, Patroni, etcd, PgBouncer, Python, và các công cụ hỗ trợ.
- Tài khoản SSH với quyền root hoặc sudo.
Chúng ta sẽ đặt tên các máy chủ như sau:
- node1: 192.168.1.10
- node2: 192.168.1.11
- node3: 192.168.1.12
Thực hiện triển khai cụm PostgreSQL HA
Bước 1: Cài đặt PostgreSQL và các công cụ cần thiết
Tại mỗi VPS, cập nhật hệ thống và cài đặt PostgreSQL:
sudo apt update
sudo apt install -y postgresql postgresql-contrib
Chỉnh sửa file cấu hình PostgreSQL (`/etc/postgresql/12/main/postgresql.conf`) để cho phép kết nối từ xa:
listen_addresses = '*'
port = 5432
Chỉnh sửa file `pg_hba.conf` để cho phép kết nối từ các nút khác:
# Permit all connections from any host
host all all 0.0.0.0/0 md5
Khởi động lại PostgreSQL:
sudo systemctl restart postgresql
Bước 2: Cài đặt và cấu hình etcd
Chạy trên tất cả 3 máy chủ:
wget https://github.com/etcd-io/etcd/releases/download/v3.5.10/etcd-v3.5.10-linux-amd64.tar.gz
tar -xzf etcd-v3.5.10-linux-amd64.tar.gz
sudo mv etcd-v3.5.10-linux-amd64/etcd* /usr/local/bin/
Tạo file cấu hình etcd (`/etc/etcd/etcd.conf.yml`):
name: 'node1'
data-dir: /var/lib/etcd
wal-dir: /var/lib/etcd/wal
listen-client-urls: http://192.168.1.10:2379
advertise-client-urls: http://192.168.1.10:2379
listen-peer-urls: http://192.168.1.10:2380
initial-advertise-peer-urls: http://192.168.1.10:2380
initial-cluster: node1=http://192.168.1.10:2380,node2=http://192.168.1.11:2380,node3=http://192.168.1.12:2380
initial-cluster-token: etcd-cluster-1
initial-cluster-state: new
Khởi động etcd:
sudo systemctl start etcd
sudo systemctl enable etcd
Bước 3: Cài đặt và cấu hình Patroni
Chạy trên tất cả 3 máy chủ:
sudo apt install -y python3-pip
pip3 install patroni[etcd]
Tạo file cấu hình Patroni (`/etc/patroni.yml`):
scope: postgresql
namespace: /db/
name: node1
restapi:
listen: 192.168.1.10:8008
connect_address: 192.168.1.10:8008
etcd:
hosts: 192.168.1.10:2379,192.168.1.11:2379,192.168.1.12:2379
postgresql:
listen: 192.168.1.10:5432
connect_address: 192.168.1.10:5432
data_dir: /var/lib/postgresql/12/main
bin_dir: /usr/lib/postgresql/12/bin
pgpass: /tmp/pgpass
authentication:
replication:
username: replicator
password: replicatorpass
superuser:
username: postgres
password: postgrespass
parameters:
max_connections: 100
shared_buffers: 128MB
effective_cache_size: 512MB
Khởi động Patroni:
sudo systemctl start patroni
sudo systemctl enable patroni
Bước 4: Cài đặt và cấu hình PgBouncer
Chạy trên một hoặc nhiều máy chủ (có thể là một máy chủ riêng hoặc trên cùng node):
sudo apt install -y pgbouncer
Tạo file cấu hình (`/etc/pgbouncer/pgbouncer.ini`):
[pgbouncer]
listen_addr = 192.168.1.10
listen_port = 6432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
pool_mode = session
server_reset_query = DISCARD ALL
[database]
host = 192.168.1.10
port = 5432
database = postgres
user = postgres
Khởi động PgBouncer:
sudo systemctl start pgbouncer
sudo systemctl enable pgbouncer
Thử nghiệm và kiểm tra
1. Kiểm tra trạng thái cụm
Chạy lệnh trên bất kỳ node nào để kiểm tra trạng thái:
patronictl list
Kết quả mong đợi:
+ Cluster: postgresql (6977914102265726488) ---+----+
| Member | Host | Role | State | TL | Lag in MB |
+----------+-----------------+---------+---------+----+-----------+
| node1 | 192.168.1.10 | Leader | running | 1 | |
| node2 | 192.168.1.11 | Replica | running | 1 | 0 |
| node3 | 192.168.1.12 | Replica | running | 1 | 0 |
+----------+-----------------+---------+---------+----+-----------+
2. Kiểm tra failover
Giả lập sự cố bằng cách dừng PostgreSQL trên node1:
sudo systemctl stop postgresql
Quan sát Patroni sẽ tự động chuyển node2 hoặc node3 lên làm Leader.
Giải quyết sự cố và tối ưu
1. Lỗi kết nối etcd
Nếu Patroni không thể kết nối với etcd, kiểm tra:
- Chỉ số IP và cổng trong `etcd.conf.yml` đúng.
- Tắt firewall hoặc mở cổng 2379, 2380.
- Chạy `etcdctl endpoint status` để kiểm tra trạng thái etcd.
2. Tối ưu hiệu suất
- Đặt `max_connections` phù hợp với tải ứng dụng.
- Sử dụng PgBouncer để giảm tải kết nối PostgreSQL.
- Giữ bản sao dữ liệu trên các node bằng cách thiết lập replication.
Tài liệu tham khảo
Cấu hình Cloud VPS NVMe khuyến nghị để triển khai
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-3E
Đã gồm VAT 10%
- CPU: 2 vCPU
- RAM: 4 GB
- SSD: 50 GB NVMe
