Quay lại danh sách
DevOps & Hệ thống

Xây dựng hệ thống lưu trữ website tự động với Automated Web Archiver với ArchiveBox trên VPS

Hướng dẫn chi tiết xây dựng hệ thống lưu trữ website tự động bằng ArchiveBox trên VPS, bao gồm cài đặt, cấu hình, tự động hóa và bảo mật.

DPTCloud Engineering4 phút đọc
Xây dựng hệ thống lưu trữ website tự động với Automated Web Archiver với ArchiveBox trên VPS

Nguồn ảnh: Ben_Kerckx · Pixabay Content License

Tổng quan về Automated Web Archiver với ArchiveBox

ArchiveBox là một công cụ mã nguồn mở cho phép bạn lưu trữ và truy cập lại các trang web một cách tự động và đáng tin cậy. Với khả năng lưu trữ nội dung web dưới dạng HTML, hình ảnh, video, và các tệp liên quan, ArchiveBox giúp bạn tạo ra một kho lưu trữ website toàn diện, bảo vệ nội dung khỏi sự thay đổi hoặc mất mát do các trang web bị xóa hoặc cập nhật.

Trong hướng dẫn này, chúng ta sẽ xây dựng một hệ thống lưu trữ website tự động trên VPS sử dụng ArchiveBox. Hệ thống này sẽ tự động thu thập và lưu trữ các trang web theo lịch trình, cung cấp khả năng truy cập nhanh chóng và bảo mật cho nội dung đã lưu trữ.

Yêu cầu và cài đặt ban đầu

Để bắt đầu, bạn cần một máy chủ VPS với hệ điều hành Linux (Ubuntu 20.04 hoặc 22.04 được khuyến nghị). Các yêu cầu cụ thể bao gồm:

  • RAM: ít nhất 4GB
  • Storage: 50GB trở lên (tùy thuộc vào lượng trang web cần lưu trữ)
  • Internet bandwidth: đủ để tải nội dung web

Trước tiên, cập nhật hệ thống:

sudo apt update && sudo apt upgrade -y

Chạy lệnh sau để cài đặt Docker và Docker Compose:

sudo apt install docker.io docker-compose -y

Cấu hình và triển khai ArchiveBox

Tạo một thư mục mới để chứa cấu hình ArchiveBox:

mkdir archivebox && cd archivebox

Tạo tệp docker-compose.yml với nội dung sau:

version: '3.8'
services:
  archivebox:
    image: archivebox/archivebox:latest
    container_name: archivebox
    volumes:
      - ./data:/archivebox/data
    ports:
      - "8000:8000"
    command: archivebox server --host 0.0.0.0 --port 8000 --allow-root
    restart: unless-stopped

Khởi động dịch vụ:

docker-compose up -d

Sau khi khởi động, truy cập vào http://your-vps-ip:8000 để kiểm tra trang web quản lý ArchiveBox.

Tự động hóa lưu trữ website

Để tự động hóa việc lưu trữ, bạn có thể sử dụng cron job. Tạo một tệp script archive.sh:

#!/bin/bash
docker-compose exec archivebox archivebox add https://example.com --depth=1 --timeout=300

Gán quyền thực thi cho tệp script:

chmod +x archive.sh

Thêm lệnh vào cron để chạy mỗi ngày:

0 2 * * * /path/to/archive.sh

Thay /path/to/archive.sh bằng đường dẫn thực tế đến tệp script.

Bảo mật và bảo trì

Để bảo mật hệ thống, bạn nên:

  • Sử dụng HTTPS với Let's Encrypt để bảo vệ kết nối.
  • Thiết lập tường lửa với UFW để chỉ mở cổng 80 và 443.
  • Thực hiện sao lưu định kỳ dữ liệu lưu trữ.

Để bảo trì, theo dõi dung lượng lưu trữ và cập nhật ArchiveBox thường xuyên:

docker-compose pull archivebox

Kiểm tra và xác minh

Để kiểm tra hệ thống hoạt động đúng, hãy thực hiện các bước sau:

  • Truy cập vào giao diện web và kiểm tra xem trang web đã được thêm vào chưa.
  • Chạy lệnh docker-compose logs archivebox để xem nhật ký lỗi.
  • Thử truy cập vào một trang đã lưu trữ để đảm bảo nó hoạt động.

Giải quyết sự cố

Nếu gặp lỗi, hãy kiểm tra:

  • Log của container ArchiveBox.
  • Đường dẫn dữ liệu có được gắn đúng không.
  • Phạm vi truy cập của VPS có bị chặn bởi tường lửa hay không.

Nếu cần hỗ trợ, tham khảo tài liệu chính thức của ArchiveBox tại https://archivebox.io/docs/.

Tài liệu tham khảo

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS NVMe khuyến nghị để triển khai

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02

VPS-2E

94.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 2 GB
  • SSD: 30 GB NVMe
ECO · vn-02Khuyên dùng

VPS-3E

170.500 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 2 vCPU
  • RAM: 4 GB
  • SSD: 50 GB NVMe
BASIC · vn-01Khuyên dùng

VPS-05

457.600 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478