Hướng dẫn tối ưu chạy Qwen2.5-Coder 7B làm Private AI Assistant trên VPS ARM Oracle Free Tier hiệu năng cao
Hướng dẫn chi tiết tối ưu hiệu năng chạy mô hình Qwen2.5-Coder 7B trên VPS ARM Oracle Free Tier để làm Private AI Assistant hiệu quả, bao gồm cài đặt, cấu hình, tối ưu kernel và...
Tối ưu hiệu năng chạy Qwen2.5-Coder 7B trên VPS ARM Oracle Free Tier
Qwen2.5-Coder 7B là một mô hình ngôn ngữ mở nguồn mạnh mẽ, phù hợp để triển khai Private AI Assistant trên các nền tảng tự host. Với Oracle Free Tier cung cấp VPS ARM (ARM64) có RAM 24GB, đây là lựa chọn hiệu quả để chạy mô hình này mà không cần chi phí. Tuy nhiên, để đạt hiệu năng tối đa, cần thực hiện một số bước tối ưu về hệ điều hành, phần mềm và cấu hình.
Yêu cầu và chuẩn bị
Để bắt đầu, bạn cần:
- Một tài khoản Oracle Cloud và đăng ký VPS ARM Free Tier (khoảng 24GB RAM, ARM64).
- Truy cập SSH vào máy chủ.
- Đảm bảo hệ điều hành là Ubuntu 22.04 hoặc tương đương.
- Các công cụ cần thiết: git, curl, python3, pip, và Docker (nếu sử dụng).
Tối ưu hệ điều hành và kernel
Oracle Free Tier mặc định sử dụng kernel mặc định của Ubuntu, nhưng để tăng hiệu năng cho LLM inference, nên sử dụng kernel được tối ưu như XanMod. Kernel này giúp cải thiện hiệu suất I/O và xử lý CPU cho các tác vụ nặng.
Thực hiện cài đặt XanMod bằng lệnh sau:
sudo apt update
sudo apt install -y wget gnupg2
wget -qO - https://xanmod.org/kernel-signing-key.asc | sudo apt-key add -
echo "deb http://xanmod.org/repos/apt jammy main" | sudo tee /etc/apt/sources.list.d/xanmod.list
sudo apt update
sudo apt install -y linux-xanmod
Sau khi cài đặt, khởi động lại hệ thống và kiểm tra kernel mới:
uname -r
Cài đặt và chạy Qwen2.5-Coder 7B
Sử dụng Ollama để chạy mô hình Qwen2.5-Coder 7B một cách dễ dàng. Ollama hỗ trợ tự động tải và chạy mô hình trên nhiều nền tảng, bao gồm ARM64.
Thực hiện các bước sau:
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:7b
ollama run qwen2.5-coder:7b
Để chạy như một dịch vụ API, bạn có thể khởi chạy Ollama với tùy chọn listen:
ollama serve
Hoặc sử dụng Docker để chạy trong môi trường cách ly:
docker run -d --name ollama -p 11434:11434 ollama/ollama
Điều chỉnh cấu hình và tối ưu hiệu năng
Để đảm bảo mô hình chạy ổn định và hiệu năng cao, cần điều chỉnh một số tham số hệ thống:
- Giảm swap: Oracle Free Tier có swap giới hạn, nên nên tắt hoặc giảm sử dụng swap.
- Tối ưu hóa bộ nhớ: Sử dụng
zramđể tăng hiệu năng bộ nhớ. - Đặt giới hạn CPU cho Ollama nếu cần.
Thực hiện cấu hình zram bằng cách cài đặt zram-generator:
sudo apt install zram-generator
sudo systemctl enable zram-generator-defaults
Kiểm tra hiệu năng
Sau khi cài đặt và tối ưu, hãy kiểm tra hiệu năng bằng cách thực hiện các yêu cầu API đơn giản:
curl -X POST http://localhost:11434/api/generate \
-H "Content-Type: application/json" \
-d '{
"model": "qwen2.5-coder:7b",
"prompt": "Viết một hàm Python để tính tổng các số chẵn trong danh sách."
}'
Đo thời gian phản hồi và kiểm tra sử dụng CPU, RAM để đảm bảo hệ thống hoạt động ổn định.
Giải quyết sự cố
- Nếu mô hình không tải được: Kiểm tra kết nối mạng và đảm bảo đã cài đặt Ollama đúng cách.
- Thiếu bộ nhớ: Tắt các dịch vụ không cần thiết và giảm số lượng request đồng thời.
- Kernel không hoạt động: Kiểm tra kernel hiện tại và đảm bảo đã khởi động lại hệ thống sau khi cài XanMod.
Tài liệu tham khảo
Để tìm hiểu thêm, bạn có thể tham khảo:
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
