Quay lại danh sách
AI & Cloud

Hướng dẫn build hệ thống AI Code Assistant offline trên VPS 4GB RAM với CodeGPT, CodeLlama và Ollama

Hướng dẫn chi tiết cách xây dựng hệ thống AI Code Assistant chạy offline trên VPS 4GB RAM bằng Ollama, CodeGPT và CodeLlama, tích hợp với VS Code Extension. Hướng dẫn bao gồm cài...

DPTCloud Engineering4 phút đọc
Hướng dẫn build hệ thống AI Code Assistant offline trên VPS 4GB RAM với CodeGPT, CodeLlama và Ollama

Tổng quan về hệ thống AI Code Assistant offline

Trong bối cảnh nhu cầu phát triển phần mềm ngày càng tăng, việc có một trợ lý AI tự động hỗ trợ viết mã trực tiếp trong môi trường phát triển (IDE) là vô cùng hữu ích. Với hướng dẫn này, bạn sẽ xây dựng một hệ thống AI Code Assistant offline chạy trên VPS 4GB RAM sử dụng các mô hình ngôn ngữ mở như CodeGPT và CodeLlama thông qua Ollama, tích hợp với VS Code Extension để hỗ trợ lập trình viên viết code nhanh, chính xác và an toàn.

Phương pháp này cho phép bạn hoạt động hoàn toàn offline, không phụ thuộc vào API của bên thứ ba, đảm bảo bảo mật dữ liệu và kiểm soát toàn bộ hệ thống. Hướng dẫn này phù hợp với các nhà phát triển, doanh nghiệp hoặc tổ chức muốn triển khai giải pháp AI tự host cho môi trường phát triển nội bộ.

Yêu cầu và chuẩn bị môi trường

Để triển khai hệ thống này, bạn cần:

  • Một VPS có ít nhất 4GB RAM và 2 vCPU (tối thiểu).
  • Hệ điều hành: Ubuntu 22.04 LTS hoặc tương đương.
  • Kết nối internet ổn định để tải mô hình lần đầu.
  • Phần mềm: Ollama, VS Code, VS Code Extension dành cho Ollama.

Thực hiện cài đặt và cấu hình

Thực hiện các bước sau trên VPS của bạn:

1. Cài đặt Ollama

Chạy lệnh sau để cài đặt Ollama:

curl -fsSL https://ollama.com/install.sh | sh

2. Tải mô hình CodeLlama và CodeGPT

Chạy lệnh để tải mô hình CodeLlama 7B (hoặc 13B nếu có đủ RAM):

ollama pull codellama:7b

Nếu muốn sử dụng CodeGPT (tương thích với GPT-3.5), bạn có thể tải mô hình tương ứng:

ollama pull codegpt:7b

3. Khởi động Ollama và kiểm tra mô hình

Bạn có thể kiểm tra mô hình đã tải thành công bằng lệnh:

ollama list

Đảm bảo mô hình xuất hiện trong danh sách. Sau đó, chạy lệnh để kiểm tra mô hình hoạt động:

ollama run codellama:7b "Write a Python function to calculate factorial"

4. Cài đặt VS Code Extension

Trên máy tính cá nhân, mở VS Code và cài đặt Extension: Ollama từ thị trường mở rộng (Extensions Marketplace).

Sau khi cài đặt, mở cài đặt (Settings) và cấu hình:

  • Đặt OLLAMA_HOST thành địa chỉ IP của VPS (ví dụ: http://192.168.1.100:11434)
  • Chọn mô hình mặc định (ví dụ: codellama:7b)

Kiểm tra và tối ưu hiệu năng

Sau khi cấu hình, bạn có thể kiểm tra hệ thống bằng cách:

  • Mở một file mã nguồn (Python, JavaScript, etc.) trong VS Code.
  • Chọn Code Assistant từ thanh công cụ hoặc dùng lệnh Ctrl+Shift+P để mở Ollama.
  • Yêu cầu mô hình viết hoặc sửa mã.

Để tối ưu hiệu năng:

  • Giới hạn số lượng token đầu vào để giảm tải bộ nhớ.
  • Sử dụng mô hình nhỏ hơn nếu VPS có RAM hạn chế.
  • Chạy Ollama dưới dạng service để tự động khởi động lại nếu bị lỗi.

Xử lý sự cố và hỗ trợ

Nếu gặp lỗi:

  • Không thể kết nối đến Ollama: Kiểm tra cổng 11434 đã mở và Ollama đang chạy.
  • RAM vượt quá giới hạn: Giảm kích thước mô hình hoặc tăng RAM VPS.
  • Không thấy mô hình trong VS Code: Đảm bảo mô hình đã được tải và Ollama đang chạy.

Tham khảo tài liệu chính thức của Ollama và GitHub Ollama để được hỗ trợ chi tiết.

Tài liệu tham khảo

Để tìm hiểu thêm về việc triển khai mô hình LLM tự host, bạn có thể tham khảo:

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478