Quay lại danh sách
DevOps & Hệ thống

Đồng bộ hóa dữ liệu thời gian thực giữa DuckDB và PostgreSQL phục vụ báo cáo bi-túc thi

Hướng dẫn kỹ thuật về việc đồng bộ hóa dữ liệu thời gian thực giữa DuckDB và PostgreSQL để hỗ trợ báo cáo phân tích hiệu suất thi, bao gồm cấu hình, công cụ, và kiểm tra

DPTCloud Engineering4 phút đọc
Đồng bộ hóa dữ liệu thời gian thực giữa DuckDB và PostgreSQL phục vụ báo cáo bi-túc thi

Nguồn ảnh: nattanan23 · Pixabay Content License

Giới thiệu

Đồng bộ hóa dữ liệu thời gian thực giữa DuckDB và PostgreSQL là một chiến lược quan trọng trong hệ thống báo cáo phân tích kết quả thi (bi-túc thi). DuckDB phù hợp cho phân tích nhanh trên dữ liệu nhỏ đến trung bình, trong khi PostgreSQL cung cấp khả năng xử lý dữ liệu lớn, tính toàn vẹn và hỗ trợ truy vấn phức tạp. Việc đồng bộ hóa hai hệ thống này giúp đảm bảo báo cáo luôn cập nhật, chính xác và phản ánh ngay lập tức các thay đổi dữ liệu.

Yêu cầu và tiền đề

Để triển khai đồng bộ hóa thời gian thực, bạn cần:

  • Chạy PostgreSQL 12+ trên một máy chủ hoặc VPS (có thể dùng Cloud VPS NVMe hoặc Dedicated Server hiệu năng cao).
  • Chạy DuckDB với hỗ trợ kết nối từ xa (thông qua duckdb-server hoặc pgwire).
  • Khả năng kết nối mạng giữa hai hệ thống (cùng mạng nội bộ hoặc qua tunnel an toàn).
  • Phần mềm pgloader hoặc Debezium để theo dõi thay đổi dữ liệu (CDC).
  • Quyền truy cập vào cơ sở dữ liệu PostgreSQL và DuckDB.

Phương pháp đồng bộ hóa

Để đồng bộ hóa dữ liệu thời gian thực, ta có thể sử dụng Debezium kết hợp với PostgreSQL CDC và Apache Kafka như sau:

Bước 1: Kích hoạt CDC trên PostgreSQL

Trong postgresql.conf, thêm các dòng sau:

wal_level = logical
max_wal_senders = 10
max_replication_slots = 10

Sau đó khởi động lại PostgreSQL. Tạo một replication slot:

CREATE REPLICATION SLOT my_slot LOGICAL pgoutput;

Bước 2: Cấu hình Debezium

Tạo file debezium-connector.json:

{
  "name": "postgresql-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "localhost",
    "database.port": "5432",
    "database.user": "debezium",
    "database.password": "debezium",
    "database.dbname": "exam_db",
    "database.server.name": "exam_server",
    "plugin.name": "pgoutput",
    "slot.name": "my_slot",
    "publication.name": "exam_publication",
    "table.include.list": "public.exam_results"
  }
}

Bước 3: Gửi dữ liệu đến DuckDB

Sử dụng pgloader để tải dữ liệu từ PostgreSQL vào DuckDB. Cài đặt và chạy:

pgloader postgresql://user:pass@localhost/exam_db duckdb://localhost/exam_results.db

Hoặc dùng python với thư viện psycopg2 và duckdb để đọc từ Kafka và ghi vào DuckDB.

Kiểm tra và xác thực

Để kiểm tra đồng bộ hoạt động:

  1. Chèn một bản ghi mới vào bảng exam_results trên PostgreSQL.
  2. Chạy truy vấn trên DuckDB:
  3. SELECT * FROM exam_results ORDER BY timestamp DESC LIMIT 5;
  4. Đảm bảo bản ghi mới xuất hiện trong kết quả trong vòng vài giây.

Giải quyết sự cố

  • Không nhận được thay đổi: Kiểm tra log Debezium và Kafka để xem có lỗi nào không. Đảm bảo replication slot không bị xóa.
  • Hiệu suất thấp: Tối ưu hóa cấu hình Kafka và DuckDB. Xem xét dùng batch_size nhỏ hơn.
  • Không kết nối được: Kiểm tra firewall và port. Đảm bảo PostgreSQL cho phép kết nối từ Debezium.

Tài liệu tham khảo

Để tìm hiểu thêm về đồng bộ hóa thời gian thực, tham khảo:

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS NVMe khuyến nghị để triển khai

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02

VPS-2E

94.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 2 GB
  • SSD: 30 GB NVMe
ECO · vn-02Khuyên dùng

VPS-3E

170.500 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 4 GB
  • SSD: 50 GB NVMe
BASIC · vn-01Khuyên dùng

VPS-05

457.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478