Hướng dẫn build hệ thống AI Code Assistant offline trên VPS 4GB RAM với CodeGPT, CodeLlama và Ollama
Hướng dẫn chi tiết cách xây dựng hệ thống AI Code Assistant chạy offline trên VPS 4GB RAM bằng Ollama, CodeGPT và CodeLlama, tích hợp với VS Code Extension. Hướng dẫn bao gồm cài...
Tổng quan về hệ thống AI Code Assistant offline
Trong bối cảnh nhu cầu phát triển phần mềm ngày càng tăng, việc có một trợ lý AI tự động hỗ trợ viết mã trực tiếp trong môi trường phát triển (IDE) là vô cùng hữu ích. Với hướng dẫn này, bạn sẽ xây dựng một hệ thống AI Code Assistant offline chạy trên VPS 4GB RAM sử dụng các mô hình ngôn ngữ mở như CodeGPT và CodeLlama thông qua Ollama, tích hợp với VS Code Extension để hỗ trợ lập trình viên viết code nhanh, chính xác và an toàn.
Phương pháp này cho phép bạn hoạt động hoàn toàn offline, không phụ thuộc vào API của bên thứ ba, đảm bảo bảo mật dữ liệu và kiểm soát toàn bộ hệ thống. Hướng dẫn này phù hợp với các nhà phát triển, doanh nghiệp hoặc tổ chức muốn triển khai giải pháp AI tự host cho môi trường phát triển nội bộ.
Yêu cầu và chuẩn bị môi trường
Để triển khai hệ thống này, bạn cần:
- Một VPS có ít nhất 4GB RAM và 2 vCPU (tối thiểu).
- Hệ điều hành: Ubuntu 22.04 LTS hoặc tương đương.
- Kết nối internet ổn định để tải mô hình lần đầu.
- Phần mềm: Ollama, VS Code, VS Code Extension dành cho Ollama.
Thực hiện cài đặt và cấu hình
Thực hiện các bước sau trên VPS của bạn:
1. Cài đặt Ollama
Chạy lệnh sau để cài đặt Ollama:
curl -fsSL https://ollama.com/install.sh | sh
2. Tải mô hình CodeLlama và CodeGPT
Chạy lệnh để tải mô hình CodeLlama 7B (hoặc 13B nếu có đủ RAM):
ollama pull codellama:7b
Nếu muốn sử dụng CodeGPT (tương thích với GPT-3.5), bạn có thể tải mô hình tương ứng:
ollama pull codegpt:7b
3. Khởi động Ollama và kiểm tra mô hình
Bạn có thể kiểm tra mô hình đã tải thành công bằng lệnh:
ollama list
Đảm bảo mô hình xuất hiện trong danh sách. Sau đó, chạy lệnh để kiểm tra mô hình hoạt động:
ollama run codellama:7b "Write a Python function to calculate factorial"
4. Cài đặt VS Code Extension
Trên máy tính cá nhân, mở VS Code và cài đặt Extension: Ollama từ thị trường mở rộng (Extensions Marketplace).
Sau khi cài đặt, mở cài đặt (Settings) và cấu hình:
- Đặt OLLAMA_HOST thành địa chỉ IP của VPS (ví dụ: http://192.168.1.100:11434)
- Chọn mô hình mặc định (ví dụ: codellama:7b)
Kiểm tra và tối ưu hiệu năng
Sau khi cấu hình, bạn có thể kiểm tra hệ thống bằng cách:
- Mở một file mã nguồn (Python, JavaScript, etc.) trong VS Code.
- Chọn Code Assistant từ thanh công cụ hoặc dùng lệnh Ctrl+Shift+P để mở Ollama.
- Yêu cầu mô hình viết hoặc sửa mã.
Để tối ưu hiệu năng:
- Giới hạn số lượng token đầu vào để giảm tải bộ nhớ.
- Sử dụng mô hình nhỏ hơn nếu VPS có RAM hạn chế.
- Chạy Ollama dưới dạng service để tự động khởi động lại nếu bị lỗi.
Xử lý sự cố và hỗ trợ
Nếu gặp lỗi:
- Không thể kết nối đến Ollama: Kiểm tra cổng 11434 đã mở và Ollama đang chạy.
- RAM vượt quá giới hạn: Giảm kích thước mô hình hoặc tăng RAM VPS.
- Không thấy mô hình trong VS Code: Đảm bảo mô hình đã được tải và Ollama đang chạy.
Tham khảo tài liệu chính thức của Ollama và GitHub Ollama để được hỗ trợ chi tiết.
Tài liệu tham khảo
Để tìm hiểu thêm về việc triển khai mô hình LLM tự host, bạn có thể tham khảo:
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
