Xây dựng AI Gateway LiteLLM sản xuất với khóa ảo, giới hạn tốc độ và bộ nhớ đệm Redis
Bài viết hướng dẫn chi tiết cách triển khai một AI Gateway sản xuất dựa trên LiteLLM, bao gồm hệ thống khóa ảo, giới hạn tốc độ API và bộ nhớ đệm ngữ nghĩa Redis để tối ưu hiệu năng...
Trong bối cảnh các mô hình LLM ngày càng phổ biến, việc tự host các mô hình này trên VPS để kiểm soát dữ liệu và chi phí là một xu hướng mạnh mẽ. Tuy nhiên, việc triển khai một hệ thống API hiệu năng cao, an toàn và dễ mở rộng cho nhiều mô hình LLM lại là một thách thức. Bài viết này sẽ hướng dẫn chi tiết cách xây dựng một AI Gateway sản xuất dựa trên LiteLLM, một nền tảng mã nguồn mở nổi bật, với ba tính năng cốt lõi: khóa ảo (virtual keys), giới hạn tốc độ (rate limiting) và bộ nhớ đệm ngữ nghĩa (semantic caching) sử dụng Redis.
Tại sao cần một AI Gateway?
Việc tự host các mô hình LLM như Qwen, Gemma hay các mô hình của IBM Granite trên một VPS cho phép bạn kiểm soát hoàn toàn dữ liệu đầu vào và đầu ra, tránh rủi ro về bảo mật và quyền riêng tư. Tuy nhiên, khi triển khai nhiều mô hình khác nhau hoặc phục vụ nhiều người dùng, bạn cần một lớp trung gian để:
- Đảm bảo an toàn bằng cách kiểm soát truy cập.
- Giới hạn tốc độ để ngăn chặn việc sử dụng quá mức tài nguyên.
- Tối ưu hiệu năng bằng cách tránh việc gọi lại các yêu cầu tương tự nhiều lần.
- Đơn giản hóa việc gọi API cho các ứng dụng phía client.
Giới thiệu về LiteLLM
LiteLLM là một thư viện mã nguồn mở cho phép bạn gọi các mô hình LLM từ nhiều nhà cung cấp khác nhau (OpenAI, Anthropic, Google, v.v.) bằng một API thống nhất. Nó hỗ trợ các tính năng như tự động chuyển đổi mô hình, xử lý lỗi và, quan trọng nhất, là một hệ thống Gateway mạnh mẽ. LiteLLM Gateway cho phép bạn tạo một điểm truy cập duy nhất để điều phối các yêu cầu đến nhiều mô hình LLM khác nhau, bao gồm cả các mô hình tự host.
Thiết lập môi trường
Để bắt đầu, bạn cần một máy chủ VPS với hệ điều hành Linux (Ubuntu/Debian). Dưới đây là các bước cài đặt cơ bản:
sudo apt update && sudo apt upgrade -y
sudo apt install python3 python3-pip git -y
pip3 install litellm redisThiết lập khóa ảo (Virtual Keys)
Khóa ảo cho phép bạn tạo ra các khóa truy cập riêng biệt cho từng người dùng hoặc ứng dụng, thay vì sử dụng một khóa chung. Điều này giúp bạn theo dõi và kiểm soát truy cập một cách chi tiết.
Trong LiteLLM, bạn có thể thiết lập khóa ảo bằng cách tạo một tệp cấu hình `config.json`:
{
"virtual_keys": {
"user1_key": {
"max_budget": 100,
"model": "gemma-4-E4B-it-ultra-uncensored-heretic-GGUF",
"max_tokens": 1000
},
"app2_key": {
"max_budget": 500,
"model": "qwen3.6-35b-a3b-uncensored-heretic-gguf",
"max_tokens": 2000
}
}
}Trong ví dụ trên, `user1_key` có ngân sách tối đa 100 đơn vị (có thể là tiền hoặc điểm), chỉ được phép sử dụng mô hình `gemma-4-E4B-it-ultra-uncensored-heretic-GGUF` và giới hạn số token đầu ra là 1000. Bạn có thể thiết lập các giới hạn khác như số lần gọi API mỗi phút.
Giới hạn tốc độ (Rate Limiting)
Giới hạn tốc độ là một tính năng an toàn quan trọng để ngăn chặn các ứng dụng bị tấn công hoặc sử dụng tài nguyên quá mức. LiteLLM hỗ trợ giới hạn tốc độ thông qua Redis.
Để kích hoạt, bạn cần có một máy chủ Redis đang chạy. Sau đó, trong tệp cấu hình `config.json`, thêm phần `rate_limiting`:
{
"rate_limiting": {
"redis_url": "redis://localhost:6379",
"max_tokens_per_minute": 10000
}
}Điều này sẽ giới hạn tổng số token được xử lý trong một phút là 10.000. Bạn có thể đặt giới hạn cho từng khóa ảo riêng biệt bằng cách cấu hình `rate_limiting` trong từng phần `virtual_keys`.
Bộ nhớ đệm ngữ nghĩa (Semantic Caching)
Bộ nhớ đệm ngữ nghĩa giúp lưu trữ các cặp đầu vào - đầu ra của các yêu cầu LLM và trả về kết quả nhanh chóng khi có một yêu cầu tương tự. Điều này giảm đáng kể thời gian phản hồi và chi phí xử lý.
LiteLLM hỗ trợ bộ nhớ đệm thông qua Redis. Bạn cần cài đặt thư viện `redis` và cấu hình tệp `config.json`:
{
"cache": {
"cache_type": "redis",
"redis_url": "redis://localhost:6379",
"ttl": 3600
}
}Ở đây, `cache_type` được đặt là `redis`, `redis_url` chỉ đến máy chủ Redis của bạn, và `ttl` (time to live) là 3600 giây (1 giờ). Khi một yêu cầu được gửi đến, LiteLLM sẽ tính toán một hash của đầu vào và kiểm tra xem kết quả đã được lưu trong Redis chưa. Nếu có, nó sẽ trả về kết quả đó ngay lập tức mà không cần gọi mô hình LLM.
Triển khai và vận hành
Để triển khai AI Gateway, bạn chạy lệnh sau trên VPS của mình:
litellm --config config.jsonGateway sẽ bắt đầu lắng nghe trên cổng mặc định (通常是 4000). Bây giờ, các ứng dụng phía client có thể gọi API đến `http://your-vps-ip:4000` với khóa ảo tương ứng để truy cập các mô hình LLM.
Để đảm bảo tính ổn định, bạn nên sử dụng một trình quản lý quá trình như `systemd` để đảm bảo Gateway luôn chạy. Bạn cũng nên thiết lập giám sát hệ thống để theo dõi tài nguyên CPU, RAM và bộ nhớ đệm Redis.
Việc sử dụng DPTCloud với các VPS NVMe Gen5, 10Gbps fiber uplink và khả năng xử lý DDoS mạnh mẽ sẽ cung cấp một hạ tầng lý tưởng để triển khai một AI Gateway như vậy, đảm bảo hiệu năng cao và độ tin cậy.
Lưu ý: Khi sử dụng các mô hình LLM tự host như Gemma hay Qwen, hãy đảm bảo tuân thủ các điều khoản giấy phép và quy định về bảo mật dữ liệu.
Sẵn sàng triển khai trên Cloud VPS NVMe Gen4 & 10Gbps?
Khởi tạo máy chủ dưới 60 giây với Anti-DDoS Anycast và cam kết Uptime 99.99%.
