Triển Khai Và Vận Hành Local LLM AI Trên VPS Với Ollama Và Open WebUI
Hướng dẫn chi tiết triển khai và vận hành Local LLM AI trên VPS sử dụng Ollama và Open WebUI, bao gồm cấu hình, tối ưu hiệu năng và bảo mật. Áp dụng cho các doanh nghiệp cần chạy AI...
Giới thiệu
Việc triển khai và vận hành Local LLM (Large Language Model) AI trên VPS (Virtual Private Server) là giải pháp lý tưởng cho các doanh nghiệp cần kiểm soát dữ liệu, đảm bảo bảo mật và giảm chi phí vận hành so với các nền tảng AI đám mây. Với Ollama và Open WebUI, bạn có thể tự xây dựng một hệ thống AI tự host, hỗ trợ các mô hình như Llama 3, Mistral, Phi-2, và nhiều hơn nữa, hoàn toàn kiểm soát từ phần mềm đến phần cứng.
Bài viết này hướng dẫn chi tiết cách triển khai và vận hành Local LLM AI trên VPS sử dụng Ollama và Open WebUI, bao gồm các bước cài đặt, cấu hình, tối ưu hiệu năng và bảo mật. Hướng dẫn phù hợp với cả người mới bắt đầu và kỹ sư hệ thống cần triển khai quy mô lớn.
Yêu cầu và chuẩn bị
Để triển khai thành công Local LLM AI trên VPS, bạn cần:
- Cloud VPS có RAM lớn (ít nhất 16GB, tốt hơn là 32GB hoặc cao hơn nếu chạy mô hình lớn)
- OS: Ubuntu 22.04 LTS hoặc Debian 11+
- Access SSH vào VPS
- Đảm bảo VPS có kết nối Internet ổn định
- Đã cài đặt Docker và Docker Compose (nếu dùng Open WebUI)
Triển khai Ollama và Open WebUI
Ollama là công cụ đơn giản để tải, chạy và quản lý các mô hình LLM địa phương. Open WebUI cung cấp giao diện web thân thiện để tương tác với các mô hình Ollama.
Cài đặt Ollama
Chạy lệnh sau trên VPS để cài đặt Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Tải mô hình LLM
Sau khi cài đặt Ollama, tải mô hình cần thiết. Ví dụ, tải Llama 3:
ollama pull llama3
Hoặc tải mô hình nhỏ hơn như Phi-2:
ollama pull phi
Cài đặt Open WebUI
Open WebUI có thể chạy bằng Docker. Tạo file docker-compose.yml:
version: '3.8'
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "8080:8080"
volumes:
- ./data:/app/data
environment:
- OLLAMA_BASE_URL=http://host.docker.internal:11434
restart: always
Chạy:
docker-compose up -d
Tối ưu hiệu năng và bảo mật
Để đảm bảo hiệu năng tốt và bảo mật cao, thực hiện các bước sau:
- Chạy Ollama với giới hạn bộ nhớ: sử dụng
OLLAMA_NUM_GPUvàOLLAMA_NUM_THREADSđể điều chỉnh. - Đặt
OLLAMA_HOST=0.0.0.0:11434để cho phép kết nối từ bên ngoài. - Tích hợp Nginx làm reverse proxy với HTTPS để bảo vệ truy cập.
- Đặt tường lửa (UFW) để chỉ mở cổng 80, 443, 11434.
- Thiết lập định kỳ cập nhật Ollama và Open WebUI.
Kiểm tra và xác thực
Để kiểm tra hệ thống hoạt động:
- Mở trình duyệt vào
http://:8080 - Đăng nhập vào Open WebUI (mặc định không có tài khoản, tạo mới)
- Chọn mô hình LLM đã tải (Llama 3, Phi, v.v.)
- Thử nhập câu hỏi và kiểm tra phản hồi.
Giải quyết sự cố
Một số lỗi thường gặp và cách khắc phục:
- Không thể kết nối Ollama: Kiểm tra xem Ollama đang chạy bằng
systemctl status ollamavà cổng 11434 đang mở. - Open WebUI không hiển thị mô hình: Kiểm tra biến môi trường
OLLAMA_BASE_URLvà đảm bảo Ollama đang lắng nghe trên cổng 11434. - Thiếu bộ nhớ: Giảm số lượng mô hình chạy đồng thời hoặc tăng RAM VPS.
Tài liệu tham khảo
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
