Xây dựng hệ thống lưu trữ website tự động với Automated Web Archiver với ArchiveBox trên VPS
Hướng dẫn chi tiết xây dựng hệ thống lưu trữ website tự động bằng ArchiveBox trên VPS, bao gồm cài đặt, cấu hình, tự động hóa và bảo mật.
Nguồn ảnh: Ben_Kerckx · Pixabay Content License
Tổng quan về Automated Web Archiver với ArchiveBox
ArchiveBox là một công cụ mã nguồn mở cho phép bạn lưu trữ và truy cập lại các trang web một cách tự động và đáng tin cậy. Với khả năng lưu trữ nội dung web dưới dạng HTML, hình ảnh, video, và các tệp liên quan, ArchiveBox giúp bạn tạo ra một kho lưu trữ website toàn diện, bảo vệ nội dung khỏi sự thay đổi hoặc mất mát do các trang web bị xóa hoặc cập nhật.
Trong hướng dẫn này, chúng ta sẽ xây dựng một hệ thống lưu trữ website tự động trên VPS sử dụng ArchiveBox. Hệ thống này sẽ tự động thu thập và lưu trữ các trang web theo lịch trình, cung cấp khả năng truy cập nhanh chóng và bảo mật cho nội dung đã lưu trữ.
Yêu cầu và cài đặt ban đầu
Để bắt đầu, bạn cần một máy chủ VPS với hệ điều hành Linux (Ubuntu 20.04 hoặc 22.04 được khuyến nghị). Các yêu cầu cụ thể bao gồm:
- RAM: ít nhất 4GB
- Storage: 50GB trở lên (tùy thuộc vào lượng trang web cần lưu trữ)
- Internet bandwidth: đủ để tải nội dung web
Trước tiên, cập nhật hệ thống:
sudo apt update && sudo apt upgrade -y
Chạy lệnh sau để cài đặt Docker và Docker Compose:
sudo apt install docker.io docker-compose -y
Cấu hình và triển khai ArchiveBox
Tạo một thư mục mới để chứa cấu hình ArchiveBox:
mkdir archivebox && cd archivebox
Tạo tệp docker-compose.yml với nội dung sau:
version: '3.8'
services:
archivebox:
image: archivebox/archivebox:latest
container_name: archivebox
volumes:
- ./data:/archivebox/data
ports:
- "8000:8000"
command: archivebox server --host 0.0.0.0 --port 8000 --allow-root
restart: unless-stopped
Khởi động dịch vụ:
docker-compose up -d
Sau khi khởi động, truy cập vào http://your-vps-ip:8000 để kiểm tra trang web quản lý ArchiveBox.
Tự động hóa lưu trữ website
Để tự động hóa việc lưu trữ, bạn có thể sử dụng cron job. Tạo một tệp script archive.sh:
#!/bin/bash
docker-compose exec archivebox archivebox add https://example.com --depth=1 --timeout=300
Gán quyền thực thi cho tệp script:
chmod +x archive.sh
Thêm lệnh vào cron để chạy mỗi ngày:
0 2 * * * /path/to/archive.sh
Thay /path/to/archive.sh bằng đường dẫn thực tế đến tệp script.
Bảo mật và bảo trì
Để bảo mật hệ thống, bạn nên:
- Sử dụng HTTPS với Let's Encrypt để bảo vệ kết nối.
- Thiết lập tường lửa với UFW để chỉ mở cổng 80 và 443.
- Thực hiện sao lưu định kỳ dữ liệu lưu trữ.
Để bảo trì, theo dõi dung lượng lưu trữ và cập nhật ArchiveBox thường xuyên:
docker-compose pull archivebox
Kiểm tra và xác minh
Để kiểm tra hệ thống hoạt động đúng, hãy thực hiện các bước sau:
- Truy cập vào giao diện web và kiểm tra xem trang web đã được thêm vào chưa.
- Chạy lệnh
docker-compose logs archiveboxđể xem nhật ký lỗi. - Thử truy cập vào một trang đã lưu trữ để đảm bảo nó hoạt động.
Giải quyết sự cố
Nếu gặp lỗi, hãy kiểm tra:
- Log của container ArchiveBox.
- Đường dẫn dữ liệu có được gắn đúng không.
- Phạm vi truy cập của VPS có bị chặn bởi tường lửa hay không.
Nếu cần hỗ trợ, tham khảo tài liệu chính thức của ArchiveBox tại https://archivebox.io/docs/.
Tài liệu tham khảo
Cấu hình Cloud VPS NVMe khuyến nghị để triển khai
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-3E
Đã gồm VAT 10%
- CPU: 2 vCPU
- RAM: 4 GB
- SSD: 50 GB NVMe
