Quay lại danh sách
AI & Cloud

Chạy DeepSeek-R1 Distill Qwen-15B trên K3s Cluster Raspberry Pi VPS ARM: Kiến trúc Edge AI Hybrid Dot-Pha

Hướng dẫn triển khai mô hình ngôn ngữ lớn DeepSeek-R1 Distill Qwen-15B trên cluster K3s với Raspberry Pi và VPS ARM, tối ưu hiệu năng cho kiến trúc Edge AI Hybrid.

DPTCloud Engineering4 phút đọc
Chạy DeepSeek-R1 Distill Qwen-15B trên K3s Cluster Raspberry Pi VPS ARM: Kiến trúc Edge AI Hybrid Dot-Pha

Giới thiệu

Trong bối cảnh AI ngày càng phổ biến, việc triển khai các mô hình ngôn ngữ lớn (LLM) trên thiết bị vi xử lý ARM như Raspberry Pi hay VPS ARM đang trở thành xu hướng. Bài viết này hướng dẫn chi tiết cách chạy mô hình DeepSeek-R1 Distill Qwen-15B trên một cluster K3s được xây dựng từ các thiết bị Raspberry Pi và VPS ARM, tạo nên một kiến trúc Edge AI Hybrid hiệu quả, tiết kiệm chi phí và phù hợp với doanh nghiệp nhỏ hoặc cá nhân phát triển AI tại nhà.

DeepSeek-R1 Distill là phiên bản được tinh chỉnh và thu nhỏ từ mô hình Qwen-15B, với hiệu suất tốt hơn trên thiết bị vi xử lý ARM nhờ kỹ thuật distillation (rút gọn). Kết hợp với K3s – phiên bản nhẹ của Kubernetes – cho phép triển khai và quản lý mô hình LLM một cách hiệu quả trên môi trường edge.

Yêu cầu và chuẩn bị

Phần cứng

  • 2–3 Raspberry Pi 4 (4GB RAM trở lên, ARM64)
  • 1 VPS ARM (ví dụ: Linode, Vultr, hoặc DigitalOcean ARM) với tối thiểu 8GB RAM
  • Ổ cứng SSD hoặc microSD 32GB+ cho Raspberry Pi
  • Switch mạng 1Gbps để kết nối tất cả thiết bị

Phần mềm

  • OS: Raspberry Pi OS 64-bit hoặc Ubuntu Server ARM64
  • K3s (Kubernetes lightweight)
  • Docker
  • Python 3.9+
  • Git
  • Đã cài đặt ollama hoặc llama.cpp để chạy mô hình LLM

Triển khai cluster K3s trên Raspberry Pi và VPS ARM

Chúng ta sẽ xây dựng một cluster K3s với một node master (VPS ARM) và các node worker (Raspberry Pi).

Bước 1: Cài đặt K3s trên VPS ARM (Master)

curl -sfL https://get.k3s.io | sh -

Bước 2: Cài đặt K3s trên Raspberry Pi (Worker)

Chạy lệnh sau trên mỗi Raspberry Pi, thay <MASTER_IP> bằng địa chỉ IP của VPS ARM:

curl -sfL https://get.k3s.io | K3S_URL=https://<MASTER_IP>:6443 K3S_TOKEN=<TOKEN> sh -

Tokens có thể lấy từ /var/lib/rancher/k3s/server/node-token trên VPS.

Bước 3: Kiểm tra cluster

kubectl get nodes

Chắc chắn rằng tất cả các node đều ở trạng thái Ready.

Chạy DeepSeek-R1 Distill Qwen-15B trên cluster

Chúng ta sẽ sử dụng llama.cpp để chạy mô hình trên ARM, vì nó hỗ trợ tối ưu hóa hiệu năng cho vi xử lý ARM.

1. Tải mô hình

Tải mô hình DeepSeek-R1-Distill-Qwen-15B từ Hugging Face hoặc kho lưu trữ nội bộ:

git clone https://huggingface.co/DeepSeek/DeepSeek-R1-Distill-Qwen-15B.git
cd DeepSeek-R1-Distill-Qwen-15B
# Chuyển đổi mô hình sang định dạng GGUF (nếu cần)

2. Cài đặt llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j$(nproc)

3. Chạy mô hình trên cluster

Chạy lệnh trên một node worker (Raspberry Pi):

./main -m ./models/DeepSeek-R1-Distill-Qwen-15B.gguf -p "Xin chào, bạn là ai?" -n 128 --ctx-size 2048

Kiến trúc Edge AI Hybrid: Dot-Pha

Đây là mô hình Dot-Pha – một kiến trúc hybrid kết hợp giữa:

  • Edge: Raspberry Pi xử lý các yêu cầu nhỏ, nhạy cảm về thời gian thực (như chatbot, nhận diện giọng nói)
  • Cloud: VPS ARM xử lý các tác vụ nặng hơn như fine-tuning, batch inference, hoặc truy vấn dữ liệu lớn

Điều này giúp tối ưu chi phí, giảm độ trễ và tăng khả năng mở rộng.

Xác minh và kiểm tra

1. Kiểm tra hiệu suất

# Kiểm tra thời gian phản hồi
time ./main -m ./models/DeepSeek-R1-Distill-Qwen-15B.gguf -p "Giải thích về AI?" -n 128

2. Kiểm tra độ ổn định

  • Chạy các tác vụ liên tục trong 24 giờ
  • Quan sát nhiệt độ và sử dụng CPU/RAM trên Raspberry Pi
  • Dùng htop hoặc glances để giám sát

Khắc phục sự cố

  • Không thể kết nối node worker: Kiểm tra firewall, port 6443, và token K3s
  • Thiếu bộ nhớ: Tối ưu ctx-size hoặc dùng mô hình nhỏ hơn
  • Hiệu suất thấp: Cài đặt libomp, dùng GGML với ARM NEON, hoặc giảm số lượng nhân
  • Không tải được mô hình: Kiểm tra định dạng GGUF, kích thước tệp, và đường dẫn

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478