Quay lại danh sách
DevOps & Hệ thống

Quản lý Logging Tập trung với ELK Stack

ELK Stack là giải pháp phổ biến để quản lý và phân tích nhật ký tập trung (centralized logging) trong môi trường DevOps. Bao gồm Elasticsearch, Logstash và Kibana, ELK Stack giúp...

DPTCloud Engineering4 phút đọc
Quản lý Logging Tập trung với ELK Stack

ELK Stack là giải pháp phổ biến để quản lý và phân tích nhật ký tập trung (centralized logging) trong môi trường DevOps. Bao gồm Elasticsearch, Logstash và Kibana, ELK Stack giúp thu thập, xử lý, lưu trữ và trực quan hóa dữ liệu nhật ký từ nhiều nguồn khác nhau. Hướng dẫn này trình bày cách triển khai và cấu hình ELK Stack trên máy chủ VPS hoặc Dedicated Server để tạo hệ thống giám sát nhật ký hiệu quả, hỗ trợ chẩn đoán sự cố và phân tích hành vi ứng dụng trong thời gian thực.

Tổng quan về ELK Stack

ELK Stack là bộ công cụ mở nguồn được phát triển bởi Elastic, bao gồm ba thành phần chính: Elasticsearch, Logstash và Kibana. Elasticsearch là hệ thống tìm kiếm và phân tích dữ liệu thời gian thực, Logstash xử lý và chuyển đổi dữ liệu nhật ký, còn Kibana cung cấp giao diện trực quan để truy vấn và hiển thị dữ liệu. Việc triển khai ELK Stack giúp doanh nghiệp tập trung hóa nhật ký từ các máy chủ, ứng dụng và dịch vụ, giảm thiểu rủi ro mất dữ liệu và tăng hiệu suất giám sát.

ELK Stack thường được triển khai trên nền tảng máy chủ hiệu năng cao như Dedicated Server hiệu năng cao cho cụm Production hoặc Cloud VPS NVMe cho Docker, Nginx & Database. Với cấu hình phù hợp, hệ thống có thể xử lý hàng triệu dòng nhật ký mỗi ngày và cung cấp khả năng truy vấn nhanh chóng. Các doanh nghiệp sử dụng ELK Stack để theo dõi sự cố hệ thống, phân tích hành vi người dùng, đảm bảo tuân thủ quy định và tối ưu hóa hiệu suất ứng dụng.

Yêu cầu và chuẩn bị môi trường

Để triển khai ELK Stack, cần chuẩn bị một máy chủ có tài nguyên phù hợp. Dưới đây là các yêu cầu tối thiểu:

  • OS: Ubuntu 20.04 LTS hoặc CentOS 8
  • RAM: Ít nhất 8GB (khuyến nghị 16GB nếu xử lý lượng lớn nhật ký)
  • Storage: SSD NVMe, tối thiểu 100GB (tùy theo lượng nhật ký)
  • Java 11 trở lên (bắt buộc cho Elasticsearch)

Trước khi cài đặt, cần đảm bảo máy chủ có kết nối internet và cập nhật hệ thống:

sudo apt update && sudo apt upgrade -y
sudo apt install openjdk-11-jdk -y

Đối với các máy chủ Dedicated Server hiệu năng cao, nên sử dụng hệ thống lưu trữ phân tán hoặc RAID để đảm bảo độ tin cậy dữ liệu. Ngoài ra, cần mở các cổng mạng cần thiết như 9200 (Elasticsearch), 5044 (Logstash), và 5601 (Kibana).

Triển khai ELK Stack

Quy trình triển khai bao gồm cài đặt từng thành phần và cấu hình kết nối giữa chúng.

Cài đặt Elasticsearch

Elasticsearch là trung tâm xử lý dữ liệu. Cài đặt bằng cách thêm repository Elastic và cài đặt phiên bản phù hợp:

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg
echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt update
sudo apt install elasticsearch -y

Sau khi cài đặt, chỉnh sửa file cấu hình `/etc/elasticsearch/elasticsearch.yml`:

cluster.name: elasticsearch-cluster
node.name: elasticsearch-node-1
network.host: 0.0.0.0
http.port: 9200
discovery.type: single-node

Bật và khởi động dịch vụ:

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Cài đặt Logstash

Logstash dùng để thu thập và xử lý nhật ký. Cài đặt:

sudo apt install logstash -y

Chỉnh sửa file cấu hình `/etc/logstash/conf.d/01-inputs.conf` để nhận nhật ký từ các nguồn:

input {
  beats {
    port => 5044
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

Khởi động Logstash:

sudo systemctl enable logstash
sudo systemctl start logstash

Cài đặt Kibana

Kibana cung cấp giao diện trực quan. Cài đặt:

sudo apt install kibana -y

Chỉnh sửa `/etc/kibana/kibana.yml`:

server.port: 5601
server.hosts: ["0.0.0.0"]
elasticsearch.hosts: ["http://localhost:9200"]

Bật và khởi động:

sudo systemctl enable kibana
sudo systemctl start kibana

Phân tích và giám sát nhật ký

Sau khi ELK Stack hoạt động, có thể truy cập Kibana qua trình duyệt tại http://:5601. Người dùng có thể tạo các dashboard, truy vấn dữ liệu bằng KQL (Kibana Query Language) và thiết lập cảnh báo sự cố.

Để giám sát hiệu suất, có thể sử dụng các plugin như Elastic APM hoặc tích hợp với các công cụ như CrowdSec để phát hiện các hoạt động đáng ngờ từ nhật ký.

Xác minh và khắc phục sự cố

Để xác minh ELK Stack hoạt động đúng:

  • Chạy lệnh kiểm tra Elasticsearch: curl -X GET "http://localhost:9200/"
  • Kiểm tra Logstash: sudo systemctl status logstash
  • Truy cập Kibana: http://localhost:5601

Nếu có lỗi, kiểm tra log trong /var/log/elasticsearch/, /var/log/logstash/ và /var/log/kibana/. Các lỗi phổ biến bao gồm cấu hình mạng, thiếu RAM hoặc phiên bản Java không tương thích.

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS NVMe khuyến nghị để triển khai

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02

VPS-2E

94.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 2 GB
  • SSD: 30 GB NVMe
ECO · vn-02Khuyên dùng

VPS-3E

170.500 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 4 GB
  • SSD: 50 GB NVMe
BASIC · vn-01Khuyên dùng

VPS-05

457.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478