Xây dựng Hệ thống Centralized Logging cho 50+ VPS chạy Microservices với Vector và ClickHouse

Giới thiệu bài toán Centralized Logging trong kiến trúc Microservices hạ tầng lớn

Trong kỷ nguyên của kiến trúc Microservices, việc quản lý và vận hành một hệ thống phân tán trải dài trên hàng chục, hàng trăm máy chủ ảo (VPS) luôn là một thách thức lớn đối với các đội ngũ DevOps và SRE. Khi số lượng VPS vượt qua con số 50, việc truy cập thủ công vào từng máy chủ để tra cứu log (SSH và tail/grep) trở thành một nhiệm vụ bất khả thi và kém hiệu quả.

Hệ thống Centralized Logging (quản lý log tập trung) ra đời như một giải pháp bắt buộc để thu thập, chuẩn hóa, lưu trữ và phân tích dữ liệu log từ tất cả các nguồn về một nơi duy nhất. Tuy nhiên, các giải pháp truyền thống như ELK Stack (Elasticsearch, Logstash, Kibana) hay LGTM Stack (Grafi Loki) thường bộc lộ những hạn chế nghiêm trọng về chi phí tài nguyên phần cứng (RAM, CPU) hoặc tốc độ truy vấn dữ liệu khi quy mô log lên đến hàng Terabyte mỗi ngày.

Để giải quyết triệt để bài toán này, sự kết hợp giữa Vector (Log Shipper hiệu năng cao viết bằng Rust) và ClickHouse (Hệ quản trị cơ sở dữ liệu hướng cột tối ưu cho phân tích) đang trở thành xu hướng công nghệ hàng đầu nhờ vào hiệu suất vượt trội, khả năng nén dữ liệu cực tốt và chi phí vận hành siêu tiết kiệm.

Tại sao lại chọn Vector và ClickHouse cho hệ thống 50+ VPS?

1. Vector - Kẻ thay thế hoàn hảo cho Logstash và Fluentd

Vector là một công cụ thu thập, biến đổi và định tuyến log được phát triển bằng ngôn ngữ Rust. Nhờ vào lợi thế này, Vector sở hữu những đặc tính vượt trội:

• Tiêu thụ tài nguyên cực thấp: Khác với Logstash (chạy trên JVM tốn RAM) hay Fluentd (chạy trên Ruby), Vector chỉ tiêu tốn một lượng nhỏ RAM và CPU, cực kỳ thích hợp để cài đặt làm Agent trên hơn 50 VPS mà không làm ảnh hưởng đến hiệu năng của ứng dụng chính.
• Độ tin cậy cao (Memory-safety): Kiến trúc của Rust giúp Vector loại bỏ hoàn toàn các lỗi rò rỉ bộ nhớ (memory leaks) hoặc crash bất ngờ dưới tải cao.
• Hỗ trợ định dạng mạnh mẽ: Khả năng xử lý, phân tách cú pháp log (parsing) thông qua ngôn ngữ cấu hình nội bộ VRL (Vector Remap Language) rất trực quan và mạnh mẽ.

2. ClickHouse - Tốc độ truy vấn thần tốc và khả năng nén siêu việt

ClickHouse là một Column-oriented DBMS (Cơ sở dữ liệu hướng cột) được thiết kế chuyên biệt cho các tác vụ phân tích dữ liệu lớn (OLAP). Đối với dữ liệu log, ClickHouse mang lại những lợi ích không thể phủ nhận:

• Tỷ lệ nén dữ liệu ấn tượng: Log dạng text khi lưu vào ClickHouse có thể được nén lại từ 3 đến 5 lần (đôi khi lên tới 10 lần tùy định dạng), giúp doanh nghiệp tiết kiệm hàng nghìn USD chi phí ổ cứng SSD trên hạ tầng 50+ VPS.
• Tốc độ truy vấn tính bằng mili-giây: Khả năng xử lý song song (Vectorized query execution) cho phép ClickHouse quét qua hàng tỷ dòng log chỉ trong vài giây, điều mà Elasticsearch rất vất vả mới làm được nếu thiếu tài nguyên RAM khổng lồ.

Kiến trúc tổng thể của hệ thống Centralized Logging

Mô hình kiến trúc tối ưu cho hệ thống bao gồm 3 thành phần chính tương ứng với 3 tầng xử lý:

1. Tầng thu thập (Agent Layer): Trên mỗi VPS trong số 50+ VPS, chúng ta cài đặt Vector Agent. Agent này có nhiệm vụ theo dõi (tail) các file log từ ứng dụng, Docker container, hoặc system log (journald).
2. Tầng tập trung và xử lý (Aggregator Layer): Dữ liệu từ 50+ Vector Agents sẽ được đẩy tập trung về một cụm Vector Aggregator độc lập. Tại đây, log sẽ được chuẩn hóa, phân loại (ví dụ: chuyển đổi log string thành định dạng JSON chuẩn), làm giàu dữ liệu (enrichment) như bổ sung IP, geo-location, environment tag trước khi gửi đi.
3. Tầng lưu trữ và trực quan hóa (Storage & Visualization Layer): Dữ liệu sau khi xử lý sẽ được ghi theo dạng batch (loạt) vào database ClickHouse. Cuối cùng, người dùng (Dev, Ops) sẽ sử dụng Grafana kết nối với ClickHouse để tạo Dashboard theo dõi và truy vấn log khi có sự cố xảy ra.

Mẹo kiến trúc: Việc sử dụng Vector Aggregator làm bộ đệm ở giữa giúp giảm tải kết nối trực tiếp vào ClickHouse và có thể tận dụng tính năng Disk Buffer của Vector để tránh mất mát dữ liệu khi ClickHouse bảo trì.

Hướng dẫn triển khai chi tiết

Bước 1: Cấu hình Vector Agent trên các VPS ứng dụng

Trên từng VPS, chúng ta tạo file cấu hình vector.yaml để thu thập log từ file và đẩy về Aggregator:

sources:
  app_logs:
    type: "file"
    include:
      - "/var/log/nginx/*.log"
      - "/apps/microservices/*/logs/*.log"

sinks:
  to_aggregator:
    type: "vector"
    inputs:
      - "app_logs"
    address: "aggregator-ip:6000"

Bước 2: Thiết lập bảng lưu trữ dữ liệu trong ClickHouse

Trước khi cấu hình Aggregator, chúng ta cần khởi tạo cấu trúc bảng tối ưu trong ClickHouse để lưu trữ log. Sử dụng Engine MergeTree kết hợp Partition theo ngày để tối ưu hiệu năng xóa log cũ:

CREATE TABLE sys_logs.application_logs (
    timestamp DateTime64(3),
    service_name String,
    level String,
    message String,
    host String,
    http_status Nullable(UInt16),
    duration_ms Nullable(UInt32)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY (service_name, level, timestamp);

Bước 3: Cấu hình Vector Aggregator để xử lý và ghi vào ClickHouse

Tại máy chủ trung tâm, Vector Aggregator nhận dữ liệu từ cổng 6000, tiến hành parse JSON và ghi vào ClickHouse theo cơ chế batch để tối ưu hiệu năng ghi của ClickHouse:

sources:
  from_agents:
    type: "vector"
    address: "0.0.0.0:6000"

transforms:
  parse_json:
    type: "remap"
    inputs:
      - "from_agents"
    source: | 
      . = merge(., parse_json!(.message))

sinks:
  to_clickhouse:
    type: "clickhouse"
    inputs:
      - "parse_json"
    endpoint: "http://clickhouse-ip:8123"
    database: "sys_logs"
    table: "application_logs"
    skip_unknown_fields: true
    batch:
      max_events: 10000
      timeout_secs: 5

Kinh nghiệm vận hành thực chiến và tối ưu hệ thống

Khi vận hành hệ thống logging cho 50+ VPS, lượng log sinh ra có thể đạt đỉnh vào các khung giờ cao điểm. Để hệ thống hoạt động ổn định, bạn cần lưu ý các điểm sau:

• Sử dụng Batching hợp lý: ClickHouse cực kỳ ghét việc ghi dữ liệu theo từng dòng (single insert). Luôn luôn cấu hình Vector gửi log theo dạng batch (từ 5,000 - 10,000 events hoặc mỗi 5 giây) để bảo vệ hiệu năng I/O của ClickHouse.
• Cấu hình TTL (Time-To-Live) cho dữ liệu: Log thường chỉ có giá trị cao trong vòng 14 đến 30 ngày. Hãy thiết lập tính năng TTL của ClickHouse để tự động xóa log cũ, giải phóng không gian đĩa cứng: ALTER TABLE application_logs MODIFY TTL timestamp + INTERVAL 30 DAY;.
• Giám sát tài nguyên Vector Agent: Dù Vector rất nhẹ, việc đặt hạn mức (Resource Limit) bằng cgroups hoặc Docker compose limit cho Vector Agent vẫn là một thực hành tốt để đảm bảo nó không bao giờ làm ảnh hưởng đến ứng dụng core khi có lỗi vòng lặp log vô hạn (log loop).

Kết luận

Xây dựng hệ thống Centralized Logging với Vector và ClickHouse là một bước đi chiến lược và đúng đắn cho các doanh nghiệp đang vận hành hạ tầng Microservices quy mô trung và lớn (50+ VPS). Bộ đôi này không chỉ giải quyết triệt để bài toán hiệu năng xử lý dữ liệu lớn, tốc độ tìm kiếm lỗi nhanh chóng mà còn giúp tiết kiệm tới 70% chi phí tài nguyên phần cứng so với giải pháp Elasticsearch truyền thống. Đầu tư xây dựng một hệ thống logging chuẩn chỉnh ngay hôm nay chính là chìa khóa để nâng cao năng lực vận hành và độ ổn định cho toàn bộ hệ thống của bạn.