Triển khai Open WebUI và Pipelines: Xây dựng Hệ thống Cổng Kiểm duyệt Prompt AI (Guardrails) Tập trung trên VPS

Giới thiệu về Thách thức Bảo mật AI trong Doanh nghiệp

Trong kỷ nguyên bùng nổ của trí tuệ nhân tạo tạo sinh (Generative AI), việc ứng dụng các mô hình ngôn ngữ lớn (LLM) vào vận hành doanh nghiệp mang lại những bước tiến vượt bậc về hiệu suất. Tuy nhiên, đi kèm với đó là những rủi ro tiềm ẩn về an ninh thông tin. Các mối đe dọa như Prompt Injection (tấn công thao túng câu lệnh), rò rỉ dữ liệu bí mật kinh doanh (Data Leakage), hay việc mô hình tạo ra thông tin sai lệch, độc hại (Hallucination) đang trở thành bài toán đau đầu cho các nhà quản trị IT.

Để giải quyết bài toán này, khái niệm Guardrails (Cổng kiểm duyệt AI) đã ra đời. Thay vì kiểm duyệt phân tán tại từng ứng dụng, việc xây dựng một cổng kiểm duyệt tập trung giúp doanh nghiệp áp dụng một chính sách bảo mật nhất quán cho toàn bộ hệ thống LLM. Bài viết này sẽ hướng dẫn chi tiết cách thiết lập giải pháp này bằng cách kết hợp hai công cụ mã nguồn mở mạnh mẽ: Open WebUI và Pipelines trên hạ tầng máy chủ ảo (VPS).

Kiến trúc Hệ thống Cổng Kiểm duyệt Tập trung

Hệ thống cổng kiểm duyệt tập trung hoạt động như một proxy thông minh nằm giữa người dùng cuối (hoặc ứng dụng doanh nghiệp) và các mô hình AI (như OpenAI, Anthropic, hay LLM nội bộ qua Ollama). Cấu trúc cốt lõi bao gồm ba thành phần chính:

• Giao diện điều khiển (Open WebUI): Đóng vai trò là giao diện người dùng (UI) chuyên nghiệp, hỗ trợ quản lý người dùng, phân quyền và kết nối API.
• Tầng xử lý trung gian (Pipelines): Đây là plugin framework chính thức của Open WebUI, cho phép can thiệp vào chu kỳ xử lý của Prompt trước khi gửi đến LLM và Response trước khi trả về cho người dùng.
• Bộ lọc kiểm duyệt (Guardrails Engine): Các hàm Python hoặc mô hình nhỏ (như Llama-Guard) tích hợp trong Pipelines để phân tích cú pháp, phát hiện mã độc, thông tin nhạy cảm (PII) hoặc nội dung không phù hợp.

Kiến trúc này đảm bảo rằng không có bất kỳ câu lệnh nào được chuyển đến mô hình AI nếu chưa đi qua bộ lọc kiểm duyệt, đồng thời mọi câu trả lời từ AI cũng được sàng lọc kỹ càng trước khi hiển thị cho nhân viên.

Chuẩn bị Hạ tầng VPS và Cài đặt Môi trường

Để hệ thống vận hành ổn định, cấu hình VPS khuyến nghị tối thiểu bao gồm: 4 vCPU, 8GB RAM, và 50GB ổ cứng SSD (Ưu tiên Ubuntu 22.04 LTS hoặc 24.04 LTS). Chúng ta sẽ triển khai toàn bộ hệ thống thông qua Docker để đảm bảo tính đóng gói và dễ dàng quản lý.

Bước 1: Cài đặt Docker và Docker Compose

Truy cập vào VPS qua SSH và chạy chuỗi lệnh sau để cập nhật hệ thống và cài đặt Docker:

sudo apt update && sudo apt upgrade -y
sudo apt install docker.io docker-compose -y
sudo systemctl start docker
sudo systemctl enable docker

Bước 2: Cấu hình File docker-compose.yml

Tạo một thư mục dự án và thiết lập file cấu hình phối hợp giữa Open WebUI và Pipelines để chúng có thể chia sẻ mạng nội bộ một cách bảo mật:

mkdir ai-guardrails && cd ai-guardrails
nano docker-compose.yml

Thêm nội dung cấu hình sau vào file:

version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data
    environment:
      - 'ENABLE_SIGNUP=false'
      - 'OPENAI_API_BASE_URL=http://pipelines:9099'
      - 'OPENAI_API_KEY=your_secret_pipelines_key'
    restart: always
    depends_on:
      - pipelines

  pipelines:
    image: ghcr.io/open-webui/pipelines:main
    container_name: pipelines
    ports:
      - "9099:9099"
    volumes:
      - pipelines-data:/app/backend/data
    restart: always

volumes:
  open-webui-data:
  pipelines-data:

Trong cấu hình trên, chúng ta hướng toàn bộ luồng API của Open WebUI qua cổng 9099 của dịch vụ Pipelines thay vì gọi trực tiếp lên OpenAI. Điều này biến Pipelines thành trạm kiểm soát trung chuyển bắt buộc.

Xây dựng Bộ lọc Guardrails với Pipelines

Sau khi khởi chạy container bằng lệnh docker-compose up -d, hệ thống Pipelines sẽ sẵn sàng kích hoạt. Điểm mạnh của Pipelines là khả năng tùy biến bằng ngôn ngữ Python. Chúng ta có thể tạo các tệp mã nguồn kiểm duyệt và tải trực tiếp lên hệ thống.

1. Bộ lọc Kiểm duyệt Đầu vào (Inlet Pipeline)

Bộ lọc này sẽ quét nội dung Prompt của người dùng trước khi gửi đi. Dưới đây là ví dụ về một hàm kiểm duyệt đơn giản giúp chặn các từ khóa nhạy cảm và phát hiện định dạng số thẻ tín dụng hoặc thông tin định danh cá nhân (PII):

import re
from typing import List, Union, Generator

class Pipeline:
    def __init__(self):
        self.name = "Hệ thống Kiểm duyệt Bảo mật Doanh nghiệp"
        self.blocked_keywords = ["bí mật kinh doanh", "mã nguồn lõi", "báo cáo tài chính chưa công bố"]

    async def inlet(self, body: dict, user: dict) -> dict:
        messages = body.get("messages", [])
        if not messages:
            return body

        last_message = messages[-1]["content"]
        
        # Kiểm tra từ khóa bị cấm
        for keyword in self.blocked_keywords:
            if keyword in last_message.lower():
                raise Exception(f"Vi phạm chính sách: Câu lệnh chứa từ khóa bị cấm '{keyword}'.")

        # Kiểm tra định dạng số thẻ tín dụng (Regex)
        credit_card_pattern = r'\b\d{4}[- ]?\d{4}[- ]?\d{4}[- ]?\d{4}\b'
        if re.search(credit_card_pattern, last_message):
            raise Exception("Vi phạm chính sách an toàn: Không được phép chia sẻ số thẻ tín dụng trên hệ thống AI.")

        return body

2. Bộ lọc Kiểm duyệt Đầu ra (Outlet Pipeline)

Bộ lọc đầu ra đóng vai trò rà soát câu trả lời từ AI để tránh trường hợp mô hình sinh dữ liệu giả mạo hoặc chứa các liên kết độc hại độc hại. Quy trình hoạt động tương tự như Inlet nhưng sẽ can thiệp vào thuộc tính phản hồi để làm mờ hoặc chặn hiển thị.

Tối ưu hóa và Quản lý Hệ thống Toàn diện

Để đưa hệ thống vào vận hành thực tế trong doanh nghiệp, quản trị viên cần lưu ý các bước tối ưu hóa nâng cao sau:

1. Tích hợp SSL/TLS và Reverse Proxy: Sử dụng Nginx và Let's Encrypt để mã hóa toàn bộ lưu lượng truy cập từ người dùng đến VPS qua giao thức HTTPS bảo mật.
2. Bật tính năng Giám sát và Log tập trung: Lưu vết (Log) toàn bộ các trường hợp Prompt vi phạm chính sách bảo mật để phục vụ công tác kiểm toán an ninh thông tin định kỳ.
3. Cập nhật mẫu Guardrails liên tục: Các hình thức tấn công Prompt luôn thay đổi liên tục. Doanh nghiệp nên nâng cấp bộ lọc bằng cách kết hợp API kiểm duyệt chuyên dụng như Llama-Guard hoặc Perspective API để tự động hóa việc nhận diện hành vi nguy hiểm.

Lời kết

Xây dựng một hệ thống cổng kiểm duyệt Prompt AI (Guardrails) tập trung bằng Open WebUI và Pipelines trên VPS là một bước đi chiến lược, cân bằng giữa khả năng khai thác sức mạnh của trí tuệ nhân tạo và việc bảo vệ tài sản số của doanh nghiệp. Giải pháp mã nguồn mở này không chỉ giúp tối ưu hóa chi phí bản quyền, duy trì quyền tự chủ dữ liệu cao mà còn mang lại khả năng tùy biến không giới hạn theo cấu trúc quản trị rủi ro riêng biệt của từng doanh nghiệp.