Quay lại danh sách
AI & Cloud

Hướng dẫn tối ưu chạy Qwen2.5-Coder 7B làm Private AI Assistant trên VPS ARM Oracle Free Tier hiệu năng cao

Hướng dẫn chi tiết tối ưu hiệu năng chạy mô hình Qwen2.5-Coder 7B trên VPS ARM Oracle Free Tier để làm Private AI Assistant hiệu quả, bao gồm cài đặt, cấu hình, tối ưu kernel và...

DPTCloud Engineering4 phút đọc
Hướng dẫn tối ưu chạy Qwen2.5-Coder 7B làm Private AI Assistant trên VPS ARM Oracle Free Tier hiệu năng cao

Tối ưu hiệu năng chạy Qwen2.5-Coder 7B trên VPS ARM Oracle Free Tier

Qwen2.5-Coder 7B là một mô hình ngôn ngữ mở nguồn mạnh mẽ, phù hợp để triển khai Private AI Assistant trên các nền tảng tự host. Với Oracle Free Tier cung cấp VPS ARM (ARM64) có RAM 24GB, đây là lựa chọn hiệu quả để chạy mô hình này mà không cần chi phí. Tuy nhiên, để đạt hiệu năng tối đa, cần thực hiện một số bước tối ưu về hệ điều hành, phần mềm và cấu hình.

Yêu cầu và chuẩn bị

Để bắt đầu, bạn cần:

  • Một tài khoản Oracle Cloud và đăng ký VPS ARM Free Tier (khoảng 24GB RAM, ARM64).
  • Truy cập SSH vào máy chủ.
  • Đảm bảo hệ điều hành là Ubuntu 22.04 hoặc tương đương.
  • Các công cụ cần thiết: git, curl, python3, pip, và Docker (nếu sử dụng).

Tối ưu hệ điều hành và kernel

Oracle Free Tier mặc định sử dụng kernel mặc định của Ubuntu, nhưng để tăng hiệu năng cho LLM inference, nên sử dụng kernel được tối ưu như XanMod. Kernel này giúp cải thiện hiệu suất I/O và xử lý CPU cho các tác vụ nặng.

Thực hiện cài đặt XanMod bằng lệnh sau:

sudo apt update
sudo apt install -y wget gnupg2
wget -qO - https://xanmod.org/kernel-signing-key.asc | sudo apt-key add -
echo "deb http://xanmod.org/repos/apt jammy main" | sudo tee /etc/apt/sources.list.d/xanmod.list
sudo apt update
sudo apt install -y linux-xanmod

Sau khi cài đặt, khởi động lại hệ thống và kiểm tra kernel mới:

uname -r

Cài đặt và chạy Qwen2.5-Coder 7B

Sử dụng Ollama để chạy mô hình Qwen2.5-Coder 7B một cách dễ dàng. Ollama hỗ trợ tự động tải và chạy mô hình trên nhiều nền tảng, bao gồm ARM64.

Thực hiện các bước sau:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:7b
ollama run qwen2.5-coder:7b

Để chạy như một dịch vụ API, bạn có thể khởi chạy Ollama với tùy chọn listen:

ollama serve

Hoặc sử dụng Docker để chạy trong môi trường cách ly:

docker run -d --name ollama -p 11434:11434 ollama/ollama

Điều chỉnh cấu hình và tối ưu hiệu năng

Để đảm bảo mô hình chạy ổn định và hiệu năng cao, cần điều chỉnh một số tham số hệ thống:

  • Giảm swap: Oracle Free Tier có swap giới hạn, nên nên tắt hoặc giảm sử dụng swap.
  • Tối ưu hóa bộ nhớ: Sử dụng zram để tăng hiệu năng bộ nhớ.
  • Đặt giới hạn CPU cho Ollama nếu cần.

Thực hiện cấu hình zram bằng cách cài đặt zram-generator:

sudo apt install zram-generator
sudo systemctl enable zram-generator-defaults

Kiểm tra hiệu năng

Sau khi cài đặt và tối ưu, hãy kiểm tra hiệu năng bằng cách thực hiện các yêu cầu API đơn giản:

curl -X POST http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:7b",
    "prompt": "Viết một hàm Python để tính tổng các số chẵn trong danh sách."
  }'

Đo thời gian phản hồi và kiểm tra sử dụng CPU, RAM để đảm bảo hệ thống hoạt động ổn định.

Giải quyết sự cố

  • Nếu mô hình không tải được: Kiểm tra kết nối mạng và đảm bảo đã cài đặt Ollama đúng cách.
  • Thiếu bộ nhớ: Tắt các dịch vụ không cần thiết và giảm số lượng request đồng thời.
  • Kernel không hoạt động: Kiểm tra kernel hiện tại và đảm bảo đã khởi động lại hệ thống sau khi cài XanMod.

Tài liệu tham khảo

Để tìm hiểu thêm, bạn có thể tham khảo:

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478