Bypass Web Scraping Blockers: Xây dựng hệ thống proxy cư dân residential proxy trên 20 VPS giá rẻ
Để vượt qua các rào cản chặn web scraping, xây dựng một hệ thống proxy cư dân (residential proxy) trên 20 VPS giá rẻ là giải pháp hiệu quả và tiết kiệm chi phí. Hệ thống này tận...
Để vượt qua các rào cản chặn web scraping, xây dựng một hệ thống proxy cư dân (residential proxy) trên 20 VPS giá rẻ là giải pháp hiệu quả và tiết kiệm chi phí. Hệ thống này tận dụng địa chỉ IP công cộng thực từ các máy chủ VPS để mô phỏng người dùng thực, giúp tránh bị phát hiện và chặn bởi các trang web bảo vệ chống scraping. Hướng dẫn này trình bày cách thiết lập toàn bộ hệ thống proxy, bao gồm cấu hình mạng, quản lý IP, phân phối tải và bảo mật, với các công nghệ DevOps hiện đại như Docker, Nginx và OpenWRT.
Giới thiệu hệ thống proxy cư dân
Residential proxy sử dụng địa chỉ IP thật từ các thiết bị người dùng thực để truy cập internet, khác với proxy dữ liệu (datacenter proxy) thường bị các trang web nhận diện và chặn. Với 20 VPS giá rẻ, ta có thể tạo ra một mạng proxy phân tán, mô phỏng nhiều người dùng ở các khu vực địa lý khác nhau, làm tăng khả năng vượt qua các rào cản scraping. Mỗi VPS đóng vai trò như một nút proxy, xử lý yêu cầu từ client và chuyển tiếp chúng qua IP thực của nó. Hệ thống này phù hợp cho các ứng dụng như thu thập dữ liệu, kiểm tra nội dung, hoặc tối ưu hóa SEO.
Yêu cầu và chuẩn bị
Để triển khai hệ thống, cần các yếu tố sau:
- 20 máy chủ VPS có địa chỉ IP công cộng riêng biệt (tham khảo: Cloud VPS NVMe cho Docker, Nginx & Database)
- Hệ điều hành Linux (Ubuntu/Debian) trên mỗi VPS
- Phần mềm proxy như Squid, Privoxy hoặc Sing Box
- Chương trình quản lý kết nối như SSH, Fail2Ban
- Địa chỉ IP tĩnh hoặc động có thể quản lý được
Khởi tạo các VPS, đảm bảo kết nối mạng ổn định và cập nhật hệ thống. Cài đặt các công cụ cơ bản như SSH, curl, và net-tools. Mỗi VPS nên được cấu hình với tên miền riêng hoặc IP tĩnh để dễ quản lý.
Cấu hình proxy trên từng VPS
Trên mỗi VPS, cài đặt và cấu hình proxy. Dưới đây là ví dụ với Sing Box, một công cụ mạnh mẽ hỗ trợ nhiều giao thức hiện đại:
sudo apt update
sudo apt install -y sing-box
Chỉnh sửa file cấu hình `/etc/sing-box/config.json`:
{
"inbounds": [
{
"type": "socks",
"tag": "socks",
"listen": "0.0.0.0",
"listen_port": 1080,
"users": [
{
"username": "user1",
"password": "pass1"
}
]
}
],
"outbounds": [
{
"type": "direct"
}
]
}
Khởi động dịch vụ:
sudo systemctl enable sing-box
sudo systemctl start sing-box
Đảm bảo cổng 1080 mở và không bị chặn bởi tường lửa. Mỗi VPS có thể được cấu hình với một port khác nhau để tránh xung đột.
Phân phối tải và quản lý IP
Để tối ưu hiệu suất, sử dụng Nginx làm reverse proxy để phân phối tải giữa các VPS. Cấu hình Nginx trên một máy chủ điều khiển (tham khảo: Cấu hình VPS làm WebRTC SFU Media Server với LiveKit):
upstream proxy_pool {
server 192.168.1.10:1080;
server 192.168.1.11:1080;
# Thêm 18 server còn lại
}
server {
listen 80;
location / {
proxy_pass http://proxy_pool;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
Thực hiện kiểm tra kết nối từ client đến các VPS bằng lệnh:
curl --proxy socks5h://user1:[email protected]:1080 http://ipinfo.io/json
Thực hiện và kiểm tra
Sau khi cấu hình, kiểm tra tính ổn định của từng VPS. Sử dụng công cụ như `ping`, `traceroute` và `curl` để xác minh kết nối và thời gian phản hồi. Đảm bảo các VPS không bị phát hiện bởi các trang web bảo vệ như Cloudflare hoặc Akamai. Có thể dùng các trang kiểm tra IP như iplocation.net để xác nhận địa chỉ IP thực.
Giải quyết sự cố
- Nếu không thể kết nối, kiểm tra tường lửa và port mở trên VPS
- Không thấy IP thực? Kiểm tra cấu hình proxy và định tuyến mạng
- Proxy bị chặn? Thử thay đổi giao thức (SOCKS5, HTTP) hoặc sử dụng các công cụ như OpenWRT để ẩn dấu (tham khảo: Biến VPS thành Super Router)
Kết luận
Xây dựng hệ thống proxy cư dân trên 20 VPS giá rẻ là giải pháp hiệu quả để bypass web scraping blockers. Với cấu hình hợp lý, quản lý IP và phân phối tải, hệ thống có thể hoạt động ổn định và bảo mật. Các công nghệ DevOps như Docker, Nginx và Sing Box giúp triển khai nhanh chóng và dễ bảo trì. Hướng dẫn này cung cấp nền tảng để phát triển hệ thống proxy mạnh mẽ, phù hợp với nhu cầu thu thập dữ liệu và tối ưu hóa nội dung web.
Cấu hình Cloud VPS NVMe khuyến nghị để triển khai
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-3E
Đã gồm VAT 10%
- CPU: 2 vCPU
- RAM: 4 GB
- SSD: 50 GB NVMe
