Triển khai AI Agent trên VPS: Hướng dẫn chi tiết từ A-Z với Docker và GPU
Hướng dẫn triển khai AI Agent trên VPS với Docker và GPU, bao gồm cài đặt, cấu hình, tối ưu hiệu suất và kiểm tra hoạt động. Hướng dẫn chi tiết từ A-Z cho người dùng Việt Nam.
Giới thiệu
AI Agent là một ứng dụng tự động hóa mạnh mẽ, có thể thực hiện các tác vụ như xử lý dữ liệu, tương tác với người dùng hoặc điều khiển hệ thống. Để triển khai AI Agent hiệu quả trên môi trường tự host, VPS (Virtual Private Server) là lựa chọn phổ biến nhờ tính linh hoạt, hiệu suất cao và khả năng tích hợp GPU. Hướng dẫn này sẽ hướng dẫn bạn từng bước triển khai AI Agent trên VPS sử dụng Docker và GPU, từ cài đặt ban đầu đến kiểm tra hoạt động.
Yêu cầu hệ thống và chuẩn bị
Để triển khai AI Agent trên VPS, bạn cần:
- VPS có ít nhất 8GB RAM và 2 nhân CPU (tốt hơn với 16GB RAM và 4 nhân CPU).
- GPU hỗ trợ CUDA (ví dụ: NVIDIA Tesla, RTX 30xx/40xx) hoặc GPU tích hợp hỗ trợ OpenCL.
- Hệ điều hành Linux (Ubuntu 20.04 LTS trở lên).
- Access SSH đến VPS.
- Docker và Docker Compose đã cài đặt.
- Driver GPU NVIDIA (nếu dùng GPU NVIDIA).
Truy cập Cloud VPS RAM lớn cho Self-Host LLM & API Gateway để chọn VPS phù hợp.
Cài đặt và cấu hình Docker với GPU
Đầu tiên, cài đặt Docker và Docker Compose trên VPS:
# Cập nhật hệ thống
sudo apt update && sudo apt upgrade -y
# Cài đặt Docker
sudo apt install docker.io docker-compose -y
# Bật và khởi động Docker
sudo systemctl enable docker
sudo systemctl start docker
Đối với GPU NVIDIA, cài đặt driver và Docker runtime:
# Thêm repository NVIDIA
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"
sudo apt update
# Cài đặt driver GPU
sudo apt install nvidia-driver-535 nvidia-cuda-toolkit -y
# Cài đặt Docker NVIDIA runtime
sudo apt install nvidia-docker2 -y
sudo systemctl restart docker
Thử nghiệm GPU trong Docker:
docker run --gpus all nvidia/cuda:11.0-base nvidia-smi
Triển khai AI Agent với Docker
Tạo file docker-compose.yml để định nghĩa AI Agent:
version: '3.8'
services:
ai-agent:
image: your-ai-agent-image:latest
container_name: ai-agent
runtime: nvidia
environment:
- CUDA_VISIBLE_DEVICES=0
volumes:
- ./data:/app/data
ports:
- "8000:8000"
deploy:
resources:
limits:
cpus: '2'
memory: 8G
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
Chạy AI Agent:
docker-compose up -d
Kiểm tra và tối ưu hiệu suất
Để kiểm tra hoạt động của AI Agent:
# Kiểm tra trạng thái container
docker ps
# Xem log
docker logs ai-agent
# Kiểm tra GPU sử dụng
nvidia-smi
Để tối ưu hiệu suất, bạn có thể:
- Giới hạn tài nguyên GPU trong Docker Compose.
- Sử dụng KServe, Ray và GPU Binpacking cho phân tải.
- Áp dụng Fuse OverlayFS cho storage driver.
Giải quyết sự cố
Nếu AI Agent không hoạt động:
- Kiểm tra log Docker:
docker logs ai-agent. - Đảm bảo driver GPU đã cài đúng và Docker có quyền truy cập GPU.
- Thử chạy
docker run --gpus all nvidia/cuda:11.0-base nvidia-smiđể kiểm tra GPU. - Chạy
nvidia-smitrên VPS để xem GPU có nhận diện được không.
Tham khảo triển khai SurrealDB trên VPS để hiểu thêm về cấu hình VPS.
Kết luận
Triển khai AI Agent trên VPS với Docker và GPU là một cách hiệu quả để tự host các ứng dụng AI tại chỗ. Với hướng dẫn chi tiết từ A-Z này, bạn có thể thiết lập, cấu hình và tối ưu AI Agent trên môi trường tự host. Hãy đảm bảo kiểm tra kỹ lưỡng và tối ưu hiệu suất để đạt được trải nghiệm tốt nhất.
Để tìm hiểu thêm về các giải pháp AI, hãy tham khảo Dedicated Server riêng biệt cho Workload AI/Inference.
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
