Quay lại danh sách
AI & Cloud

Xây Dựng Hệ Thống Tổng Hợp Và Phân Tích Tin Tức Tài Chính Tự Động Bằng CrewAI Và Ollama Trên VPS

Hướng dẫn xây dựng hệ thống tự động tổng hợp và phân tích tin tức tài chính sử dụng CrewAI và Ollama trên VPS, tích hợp API và xử lý văn bản bằng mô hình ngôn ngữ lớn (LLM) tự host.

DPTCloud Engineering4 phút đọc
Xây Dựng Hệ Thống Tổng Hợp Và Phân Tích Tin Tức Tài Chính Tự Động Bằng CrewAI Và Ollama Trên VPS

Nguồn ảnh: cegoh · Pixabay Content License

Trong thời đại số hóa, việc theo dõi và phân tích tin tức tài chính theo thời gian thực là yếu tố then chốt để đưa ra quyết định đầu tư chính xác. Với sự phát triển của AI, các hệ thống tự động tổng hợp và phân tích tin tức tài chính đang trở thành công cụ không thể thiếu. Bài viết này hướng dẫn cách xây dựng một hệ thống như vậy bằng CrewAI và Ollama trên VPS, tận dụng mô hình ngôn ngữ lớn (LLM) tự host để xử lý dữ liệu tài chính một cách hiệu quả và tự động.

Giới thiệu về CrewAI và Ollama

CrewAI là một framework AI mở nguồn cho phép xây dựng các đội AI (AI Crews) với nhiều vai trò chuyên biệt, như thu thập thông tin, phân tích dữ liệu, và tạo báo cáo. Nó cho phép mô phỏng quy trình làm việc của con người bằng cách phân công nhiệm vụ cho các AI agent, mỗi agent có khả năng xử lý một phần công việc cụ thể.

Ollama là một công cụ cho phép chạy mô hình ngôn ngữ lớn (LLM) như Llama 3, Mistral, hoặc Gemma trên máy chủ cục bộ hoặc VPS. Ollama giúp dễ dàng triển khai và quản lý các mô hình LLM mà không cần kết nối đến các nền tảng AI công cộng, đảm bảo tính bảo mật và kiểm soát dữ liệu.

Yêu cầu và chuẩn bị môi trường

Để triển khai hệ thống, bạn cần:

  • Một VPS có RAM lớn (ít nhất 16GB RAM và 4 vCPU).
  • Hệ điều hành Linux (Ubuntu 22.04 hoặc tương đương).
  • Python 3.10 trở lên.
  • Đã cài đặt Ollama và một mô hình LLM (ví dụ: Llama 3).
  • API từ các nguồn tin tức tài chính như Alpha Vantage, Finnhub, hoặc Yahoo Finance.

Thực hiện xây dựng hệ thống

Chúng ta sẽ triển khai hệ thống theo các bước sau:

Bước 1: Cài đặt và cấu hình Ollama

Trên VPS, cài đặt Ollama bằng lệnh sau:

curl -fsSL https://ollama.com/install.sh | sh

Sau khi cài đặt, tải mô hình LLM:

ollama pull llama3

Bước 2: Cài đặt CrewAI và các thư viện phụ trợ

Khởi tạo môi trường Python và cài đặt các thư viện cần thiết:

pip install crewai langchain ollama requests

Bước 3: Thiết kế các agent trong CrewAI

Chúng ta sẽ tạo ba agent chính:

  • NewsCollectorAgent: Thu thập tin tức từ API tài chính.
  • AnalyzerAgent: Phân tích nội dung tin tức bằng mô hình LLM.
  • ReporterAgent: Tạo báo cáo tổng hợp và cảnh báo.

Dưới đây là đoạn mã mẫu cho agent thu thập tin tức:

from crewai import Agent, Task, Crew
from langchain_community.llms import Ollama

llm = Ollama(model="llama3")

news_collector = Agent(
    role="Tin tức tài chính",
    goal="Thu thập tin tức từ các API tài chính theo thời gian thực",
    backstory="Bạn là chuyên gia thu thập tin tức tài chính từ nhiều nguồn khác nhau",
    llm=llm
)

Bước 4: Kết nối API và xử lý dữ liệu

Thiết lập kết nối với API tài chính. Ví dụ với Alpha Vantage:

import requests

def fetch_news(api_key, symbol):
    url = f"https://www.alphavantage.co/query?function=NEWS_SENTIMENT&symbol={symbol}&apikey={api_key}"
    response = requests.get(url)
    return response.json()

Chạy và kiểm tra hệ thống

Khởi tạo Crew và chạy hệ thống:

news_task = Task(
    description="Thu thập tin tức về cổ phiếu {symbol}",
    agent=news_collector
)

crew = Crew(
    agents=[news_collector],
    tasks=[news_task],
    verbose=True
)

result = crew.kickoff()
print(result)

Phân tích và tối ưu hóa

Để tăng hiệu suất, bạn có thể:

  • Tối ưu hóa mô hình LLM bằng cách chọn phiên bản nhỏ hơn nếu cần tốc độ nhanh hơn.
  • Sử dụng VPS có GPU nếu cần xử lý nhanh hơn.
  • Áp dụng caching cho các API gọi lặp lại.

Giải pháp khắc phục sự cố

  • Không tải được mô hình Ollama: Kiểm tra kết nối mạng và lệnh ollama pull.
  • API không trả về dữ liệu: Kiểm tra key API và quyền truy cập.
  • Agent không hoạt động: Đảm bảo tất cả các thư viện đã được cài đặt đúng.

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478