Quay lại danh sách
AI & Cloud

Triển Khai Và Vận Hành Local LLM AI Trên VPS Với Ollama Và Open WebUI

Hướng dẫn chi tiết triển khai và vận hành Local LLM AI trên VPS sử dụng Ollama và Open WebUI, bao gồm cấu hình, tối ưu hiệu năng và bảo mật. Áp dụng cho các doanh nghiệp cần chạy AI...

DPTCloud Engineering4 phút đọc
Triển Khai Và Vận Hành Local LLM AI Trên VPS Với Ollama Và Open WebUI

Giới thiệu

Việc triển khai và vận hành Local LLM (Large Language Model) AI trên VPS (Virtual Private Server) là giải pháp lý tưởng cho các doanh nghiệp cần kiểm soát dữ liệu, đảm bảo bảo mật và giảm chi phí vận hành so với các nền tảng AI đám mây. Với Ollama và Open WebUI, bạn có thể tự xây dựng một hệ thống AI tự host, hỗ trợ các mô hình như Llama 3, Mistral, Phi-2, và nhiều hơn nữa, hoàn toàn kiểm soát từ phần mềm đến phần cứng.

Bài viết này hướng dẫn chi tiết cách triển khai và vận hành Local LLM AI trên VPS sử dụng Ollama và Open WebUI, bao gồm các bước cài đặt, cấu hình, tối ưu hiệu năng và bảo mật. Hướng dẫn phù hợp với cả người mới bắt đầu và kỹ sư hệ thống cần triển khai quy mô lớn.

Yêu cầu và chuẩn bị

Để triển khai thành công Local LLM AI trên VPS, bạn cần:

  • Cloud VPS có RAM lớn (ít nhất 16GB, tốt hơn là 32GB hoặc cao hơn nếu chạy mô hình lớn)
  • OS: Ubuntu 22.04 LTS hoặc Debian 11+
  • Access SSH vào VPS
  • Đảm bảo VPS có kết nối Internet ổn định
  • Đã cài đặt Docker và Docker Compose (nếu dùng Open WebUI)

Triển khai Ollama và Open WebUI

Ollama là công cụ đơn giản để tải, chạy và quản lý các mô hình LLM địa phương. Open WebUI cung cấp giao diện web thân thiện để tương tác với các mô hình Ollama.

Cài đặt Ollama

Chạy lệnh sau trên VPS để cài đặt Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Tải mô hình LLM

Sau khi cài đặt Ollama, tải mô hình cần thiết. Ví dụ, tải Llama 3:

ollama pull llama3

Hoặc tải mô hình nhỏ hơn như Phi-2:

ollama pull phi

Cài đặt Open WebUI

Open WebUI có thể chạy bằng Docker. Tạo file docker-compose.yml:

version: '3.8'
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "8080:8080"
    volumes:
      - ./data:/app/data
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
    restart: always

Chạy:

docker-compose up -d

Tối ưu hiệu năng và bảo mật

Để đảm bảo hiệu năng tốt và bảo mật cao, thực hiện các bước sau:

  • Chạy Ollama với giới hạn bộ nhớ: sử dụng OLLAMA_NUM_GPU và OLLAMA_NUM_THREADS để điều chỉnh.
  • Đặt OLLAMA_HOST=0.0.0.0:11434 để cho phép kết nối từ bên ngoài.
  • Tích hợp Nginx làm reverse proxy với HTTPS để bảo vệ truy cập.
  • Đặt tường lửa (UFW) để chỉ mở cổng 80, 443, 11434.
  • Thiết lập định kỳ cập nhật Ollama và Open WebUI.

Kiểm tra và xác thực

Để kiểm tra hệ thống hoạt động:

  • Mở trình duyệt vào http://:8080
  • Đăng nhập vào Open WebUI (mặc định không có tài khoản, tạo mới)
  • Chọn mô hình LLM đã tải (Llama 3, Phi, v.v.)
  • Thử nhập câu hỏi và kiểm tra phản hồi.

Giải quyết sự cố

Một số lỗi thường gặp và cách khắc phục:

  • Không thể kết nối Ollama: Kiểm tra xem Ollama đang chạy bằng systemctl status ollama và cổng 11434 đang mở.
  • Open WebUI không hiển thị mô hình: Kiểm tra biến môi trường OLLAMA_BASE_URL và đảm bảo Ollama đang lắng nghe trên cổng 11434.
  • Thiếu bộ nhớ: Giảm số lượng mô hình chạy đồng thời hoặc tăng RAM VPS.

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478