DPTCloud
Quay lại danh sách
Tin tức công nghệ

Xây dựng hệ thống log tập trung ELK Stack trên VPS: Cấu hình tối ưu cho việc giám sát 10+ server với tài nguyên thấp

18 tháng 5, 2026

Giới thiệu về hệ thống log tập trung và nhu cầu thực tế

Trong môi trường vận hành CNTT hiện đại, việc theo dõi và phân tích log từ nhiều server là yếu tố then chốt để đảm bảo tính ổn định, bảo mật và hiệu suất của hệ thống. Khi số lượng server vượt quá 10, việc quản lý log thủ công trở nên bất khả thi. Một hệ thống log tập trung không chỉ giúp tổng hợp dữ liệu mà còn cung cấp khả năng tìm kiếm, cảnh báo và phân tích theo thời gian thực.

ELK Stack (Elasticsearch, Logstash, Kibana) đã trở thành giải pháp tiêu chuẩn công nghiệp cho bài toán này. Tuy nhiên, triển khai ELK trên cơ sở hạ tầng tài nguyên thấp, đặc biệt là trên các VPS giá rẻ, đòi hỏi những kỹ thuật tối ưu hóa đặc biệt. Bài viết này cung cấp một hướng dẫn toàn diện để xây dựng hệ thống có khả năng mở rộng, ổn định và tiết kiệm chi phí.

Kiến trúc hệ thống đề xuất cho môi trường tài nguyên thấp

Thay vì triển khai mỗi thành phần ELK trên một server riêng biệt, chúng ta sẽ tối ưu bằng cách chạy cả ba thành phần trên một VPS duy nhất. Kiến trúc này phù hợp với ngân sách hạn chế nhưng vẫn đảm bảo hiệu năng cho 10-15 server nguồn.

Thông số VPS tối thiểu được khuyến nghị

  • CPU: 4 vCore (ưu tiên CPU hiệu năng cao hơn số core)
  • RAM: 8 GB (tối thiểu), 16 GB (khuyến nghị cho ổn định lâu dài)
  • Storage: 100 GB SSD (cần thêm nếu lưu trữ log dài hạn)
  • Network: Băng thông ít nhất 1 Gbps, không giới hạn traffic

Luồng dữ liệu trong hệ thống

  1. Log từ các server ứng dụng (Nginx, Apache, database, ứng dụng tự viết) được gửi đến Logstash thông qua Beats hoặc syslog.
  2. Logstash thực hiện parsing, filtering và chuyển đổi dữ liệu.
  3. Dữ liệu đã xử lý được lưu trữ và index trong Elasticsearch.
  4. Kibana cung cấp giao diện trực quan hóa, tìm kiếm và báo cáo.

Cấu hình tối ưu Elasticsearch cho bộ nhớ thấp

Elasticsearch là thành phần tiêu thụ nhiều tài nguyên nhất trong stack. Việc tối ưu hóa cấu hình là yếu tố quyết định đến thành công của toàn hệ thống.

Thiết lập JVM Heap Size

Không nên cấp phát quá 50% tổng RAM vật lý cho JVM heap. Với VPS 8GB RAM, cấu hình lý tưởng là:

Đặt Xms và Xmx bằng 4g (4GB) trong file jvm.options. Điều này đảm bảo Elasticsearch có đủ bộ nhớ hoạt động mà không gây ra swap quá mức.

Điều chỉnh số lượng shard và replica

  • Giới hạn số primary shard cho mỗi index: 1-2 shard là đủ cho khối lượng log từ 10+ server.
  • Đặt số replica shard bằng 0 trong môi trường single-node để tiết kiệm tài nguyên. Chỉ bật replica khi triển khai cluster nhiều node.
  • Sử dụng Index Lifecycle Management (ILM) để tự động rollover và xóa index cũ.

Tinh chỉnh thread pool và queue size

Giảm các giá trị mặc định để phù hợp với tài nguyên hạn chế:

  • thread_pool.search.queue_size: 500 (mặc định 1000)
  • thread_pool.write.queue_size: 200 (mặc định 1000)

Tối ưu hóa Logstash cho hiệu suất xử lý

Logstash có thể trở thành nút cổ chai nếu không được cấu hình đúng cách. Dưới đây là các bước tối ưu quan trọng.

Lựa chọn và điều chỉnh pipeline

Sử dụng pipeline đơn giản với số lượng worker thread phù hợp:

pipeline.workers: 2 (bằng số CPU core)
pipeline.batch.size: 125 (giảm từ mặc định 125 để giảm áp lực bộ nhớ)
pipeline.batch.delay: 50 (ms)

Filter tối giản và hiệu quả

  • Chỉ sử dụng các filter thực sự cần thiết (grok, date, mutate).
  • Tránh các phép tính phức tạp trong filter.
  • Sử dụng conditionals để áp dụng filter chỉ khi cần thiết.

Buffer management

Sử dụng persistent queue với kích thước giới hạn để tránh mất dữ liệu khi quá tải:

  • queue.type: persisted
  • queue.max_bytes: 1gb (không nên vượt quá 2gb trên VPS 8GB RAM)

Cấu hình Kibana nhẹ nhàng và responsive

Kibana thường bị bỏ qua trong việc tối ưu hóa, nhưng nó có thể ảnh hưởng đáng kể đến trải nghiệm người dùng.

Điều chỉnh cài đặt server

Trong file kibana.yml:

  • server.maxPayloadBytes: 1048576 (1MB, giảm từ mặc định nếu không cần upload file lớn)
  • server.keepaliveTimeout: 5000 (giảm thời gian chờ kết nối)

Tối ưu hóa visualization và dashboard

  • Giới hạn số lượng visualization trên mỗi dashboard (không quá 10-15).
  • Sử dụng aggregation đơn giản thay vì pipeline aggregation phức tạp.
  • Đặt time range phù hợp, tránh query dữ liệu quá dài hạn.

Thu thập log từ 10+ server: Chiến lược và công cụ

Việc thu thập log hiệu quả từ nhiều server nguồn đòi hỏi chiến lược phù hợp.

Lựa chọn giữa Beats và syslog

  • Filebeat: Lý tưởng cho log file, nhẹ nhàng, hỗ trợ nhiều module có sẵn (Nginx, Apache, MySQL).
  • Metricbeat: Cho hệ thống và service metrics.
  • Syslog: Giải pháp tiêu chuẩn, ổn định nhưng ít linh hoạt hơn trong parsing.

Khuyến nghị sử dụng Filebeat cho hầu hết các trường hợp vì tính nhẹ nhàng và khả năng xử lý backpressure.

Cấu hình Filebeat tối ưu

Trên mỗi server nguồn:

  • Giới hạn số lượng harvester đồng thời.
  • Sử dụng backoff strategy để giảm tải CPU khi không có log mới.
  • Nén dữ liệu (compression_level: 3) để tiết kiệm băng thông mạng.

Load balancing và failover

Khi số lượng server nguồn tăng lên, cân nhắc:

  • Cấu hình nhiều Logstash instance (nếu tài nguyên cho phép).
  • Sử dụng message queue trung gian (Redis, Kafka) để giải phóng áp lực.
  • Thiết lập Logstash cluster cho khả năng chịu lỗi.

Giám sát và bảo trì hệ thống ELK

Một hệ thống được tối ưu cần được giám sát liên tục để đảm bảo vận hành ổn định.

Giám sát chính hệ thống ELK

  • Sử dụng Elasticsearch Monitoring API để theo dõi cluster health, index rate, query latency.
  • Thiết lập alert cho các ngưỡng quan trọng: heap usage > 75%, disk space < 20%.
  • Theo dõi Logstash pipeline metrics qua Monitoring UI.

Chiến lược lưu trữ và retention

Với dung lượng lưu trữ hạn chế, cần có chính sách retention rõ ràng:

  1. Log chi tiết: Giữ 7-14 ngày.
  2. Log tổng hợp (daily summary): Giữ 30-90 ngày.
  3. Log audit/security: Giữ 1 năm hoặc theo yêu cầu compliance.

Sử dụng Curator hoặc ILM để tự động hóa việc xóa index cũ.

Backup và recovery

Định kỳ snapshot Elasticsearch indices đến object storage (S3, MinIO) hoặc filesystem mount. Test recovery procedure ít nhất mỗi quý.

Xử lý sự cố thường gặp và best practices

Các vấn đề phổ biến và giải pháp

  • Elasticsearch heap pressure: Giảm index refresh interval, tăng flush threshold.
  • Logstash queue đầy: Tăng batch delay, giảm batch size, scale thêm worker.
  • Kibana chậm: Giảm số lượng field trong index, tối ưu query, sử dụng saved search.

Best practices cho môi trường tài nguyên thấp

  • Luôn test cấu hình trên môi trường staging trước khi áp dụng production.
  • Document đầy đủ mọi thay đổi cấu hình.
  • Thiết lập monitoring ngay từ đầu, không đợi đến khi có sự cố.
  • Plan cho việc scaling ngang (thêm node) khi khối lượng log tăng 30-50%.

Kết luận

Việc xây dựng hệ thống log tập trung ELK Stack trên VPS tài nguyên thấp cho 10+ server là hoàn toàn khả thi với các kỹ thuật tối ưu hóa phù hợp. Trọng tâm nằm ở việc cân bằng giữa hiệu năng, độ ổn định và chi phí. Bằng cách điều chỉnh cấu hình JVM, tối ưu hóa pipeline, quản lý index thông minh và giám sát chủ động, doanh nghiệp có thể thiết lập một hệ thống giám sát mạnh mẽ mà không cần đầu tư lớn vào cơ sở hạ tầng. Hệ thống này không chỉ giải quyết bài toán quản lý log hiện tại mà còn cung cấp nền tảng để mở rộng khi nhu cầu phát triển trong tương lai.