Quay lại danh sách
DevOps & Hệ thống

Đồng bộ dữ liệu đa chiều thời gian thực giữa MySQL và Elasticsearch qua 2 VPS bằng Debezium CDC

Hướng dẫn kỹ thuật chi tiết về việc đồng bộ dữ liệu thời gian thực giữa MySQL và Elasticsearch sử dụng Debezium CDC trên hai máy chủ VPS, bao gồm cấu hình, thiết lập, kiểm tra và...

DPTCloud Engineering4 phút đọc
Đồng bộ dữ liệu đa chiều thời gian thực giữa MySQL và Elasticsearch qua 2 VPS bằng Debezium CDC

Nguồn ảnh: nattanan23 · Pixabay Content License

Giới thiệu

Đồng bộ dữ liệu thời gian thực giữa MySQL và Elasticsearch là một yêu cầu phổ biến trong các hệ thống phân tích dữ liệu, tìm kiếm nội dung và báo cáo. Trong hướng dẫn này, chúng ta sẽ xây dựng một hệ thống đồng bộ dữ liệu đa chiều giữa hai máy chủ VPS: một máy chạy MySQL (nguồn dữ liệu) và một máy chạy Elasticsearch (kho dữ liệu tìm kiếm). Chúng ta sẽ sử dụng Debezium CDC (Change Data Capture) để theo dõi các thay đổi trong MySQL và đẩy dữ liệu đến Elasticsearch một cách tự động và hiệu quả.

Yêu cầu và tiền đề

Trước khi bắt đầu, đảm bảo bạn có:

  • Hai máy chủ VPS (có thể là VPS NVMe từ Cloud VPS NVMe hoặc NVMe Cloud VPS)
  • MySQL 8.0+ được cài đặt trên VPS nguồn
  • Elasticsearch 7.10+ và Kibana được cài đặt trên VPS đích
  • Apache Kafka và Kafka Connect được cài đặt trên cả hai VPS (hoặc một VPS trung gian)
  • Debezium MySQL Connector đã được cấu hình
  • Đảm bảo kết nối mạng giữa hai VPS (port 3306, 9092, 9200 mở)

Cấu hình Debezium CDC cho MySQL

Trên VPS nguồn (chạy MySQL), cấu hình Debezium để theo dõi các thay đổi trong cơ sở dữ liệu.

1. Cài đặt và cấu hình Kafka Connect

Chạy Kafka Connect với plugin Debezium:

# Cài đặt Kafka Connect (giả sử bạn đã có Kafka)
docker run -d \
  --name connect \
  --network host \
  -e CONNECT_BOOTSTRAP_SERVERS=192.168.1.100:9092 \
  -e CONNECT_REST_PORT=8083 \
  -e CONNECT_REST_ADVERTISED_HOST_NAME=192.168.1.100 \
  -e CONNECT_GROUP_ID="connect-cluster" \
  -e CONNECT_CONFIG_STORAGE_TOPIC="connect-configs" \
  -e CONNECT_OFFSET_STORAGE_TOPIC="connect-offsets" \
  -e CONNECT_STATUS_STORAGE_TOPIC="connect-statuses" \
  -e CONNECT_KEY_CONVERTER="org.apache.kafka.connect.storage.StringConverter" \
  -e CONNECT_VALUE_CONVERTER="org.apache.kafka.connect.json.JsonConverter" \
  -e CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE="false" \
  -e CONNECT_PLUGIN_PATH="/usr/share/java" \
  confluentinc/cp-kafka-connect:latest

2. Tạo Debezium MySQL Connector

Điều chỉnh cấu hình để kết nối với MySQL:

{
  "name": "mysql-connector",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "192.168.1.100",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "debezium",
    "database.server.id": "184054",
    "database.server.name": "mysql-server",
    "database.include.list": "your_database",
    "table.include.list": "your_database.users, your_database.orders",
    "snapshot.mode": "initial",
    "key.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schemas.enable": "false"
  }
}

Đồng bộ dữ liệu đến Elasticsearch

Để đẩy dữ liệu từ Kafka đến Elasticsearch, sử dụng Elasticsearch Sink Connector.

1. Cài đặt Elasticsearch Sink Connector

Thêm plugin Elasticsearch Sink vào Kafka Connect:

# Tải plugin từ Confluent Hub
confluent-hub install confluentinc/kafka-connect-elasticsearch:10.0.0

2. Cấu hình Sink Connector

Đặt cấu hình để gửi dữ liệu đến Elasticsearch:

{
  "name": "elasticsearch-sink",
  "config": {
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "connection.url": "http://192.168.1.101:9200",
    "type.name": "doc",
    "key.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schemas.enable": "false",
    "value.converter.schemas.enable": "false",
    "topics": "mysql-server.your_database.users, mysql-server.your_database.orders"
  }
}

Thực hiện kiểm tra và xác thực

Sau khi cấu hình, kiểm tra đồng bộ:

  • Chạy một câu lệnh INSERT vào MySQL trên VPS nguồn.
  • Quan sát trong Elasticsearch (trên VPS đích) xem dữ liệu có xuất hiện không.
  • Sử dụng Kibana hoặc curl để truy vấn dữ liệu:
curl -X GET "http://192.168.1.101:9200/your_database_users/_search" -H 'Content-Type: application/json' -d'
{
  "query": { "match_all": {} }
}
'

Khắc phục sự cố

  • Không đồng bộ dữ liệu: Kiểm tra log Kafka Connect, đảm bảo MySQL có bật binlog và Debezium có quyền truy cập.
  • Đồng bộ bị chậm: Kiểm tra tải CPU, RAM và băng thông mạng giữa hai VPS.
  • Khó kết nối Elasticsearch: Kiểm tra firewall, port 9200, và cấu hình mạng.

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS NVMe khuyến nghị để triển khai

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02

VPS-2E

94.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 2 GB
  • SSD: 30 GB NVMe
ECO · vn-02Khuyên dùng

VPS-3E

170.500 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 4 GB
  • SSD: 50 GB NVMe
BASIC · vn-01Khuyên dùng

VPS-05

457.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478