Tạo rotating mobile proxy từ VPS và SIM 4G: Giải pháp scraping dữ liệu không giới hạn
Hướng dẫn chi tiết cách tạo rotating mobile proxy từ VPS và SIM 4G để thực hiện scraping dữ liệu không giới hạn, bảo vệ quyền riêng tư và tránh bị phát hiện. Bao gồm thiết lập phần...
Giới thiệu về rotating mobile proxy
Rotating mobile proxy là một giải pháp mạnh mẽ giúp bạn thực hiện scraping dữ liệu không giới hạn từ các trang web mà không bị phát hiện hay chặn. Thay vì sử dụng IP tĩnh hoặc proxy thông thường, rotating mobile proxy tự động thay đổi địa chỉ IP mỗi lần truy cập, mô phỏng hành vi người dùng thực tế trên mạng di động 4G.
Giải pháp này đặc biệt hữu ích khi bạn cần thu thập dữ liệu từ các nền tảng như thương mại điện tử, tin tức, hoặc dữ liệu công cộng mà có hệ thống bảo vệ chống scraping. Với VPS (Virtual Private Server) và SIM 4G, bạn có thể tự xây dựng một hệ thống proxy di động riêng, kiểm soát hoàn toàn và tiết kiệm chi phí so với các dịch vụ proxy thương mại.
Yêu cầu và thiết lập phần cứng
Thiết bị cần thiết
- VPS cao cấp với RAM lớn (tối thiểu 8GB, khuyến nghị 16GB) để xử lý nhiều kết nối đồng thời.
- SIM 4G từ nhà mạng uy tín (Viettel, Vinaphone, Mobifone) với gói data không giới hạn hoặc dung lượng cao.
- USB 4G LTE modem hỗ trợ Linux (ví dụ: Huawei E3372, ZTE MF190).
- Router hoặc máy chủ nhỏ để kết nối modem và VPS (tùy chọn, nhưng có thể cần nếu không có khả năng kết nối trực tiếp).
Thiết lập phần mềm trên VPS
Trên VPS, bạn cần cài đặt các công cụ sau:
- Ubuntu 22.04 LTS hoặc tương đương.
- Để quản lý kết nối SIM, cần
usb_modeswitch,ppp, vàNetworkManager. - Để tạo proxy, sử dụng
PrivoxyhoặcSquid.
Thiết lập kết nối SIM 4G trên VPS
Đầu tiên, hãy kết nối USB 4G modem vào VPS. Sau đó, kiểm tra thiết bị được nhận:
lsusb
Nếu thấy thiết bị xuất hiện (ví dụ: Huawei E3372), tiếp tục cài đặt phần mềm:
sudo apt update
sudo apt install usb_modeswitch ppp network-manager
Chạy lệnh sau để kiểm tra kết nối:
sudo nmcli device
Đảm bảo modem xuất hiện trong danh sách và được nhận dưới dạng kết nối di động. Nếu không, kiểm tra driver hoặc thay đổi thiết bị.
Tạo rotating proxy với Privoxy
Sau khi kết nối SIM hoạt động, bạn có thể cấu hình Privoxy để tạo proxy và tự động chuyển đổi IP.
Chỉnh sửa file cấu hình:
sudo nano /etc/privoxy/config
Thêm các dòng sau:
forward-socks5t / 127.0.0.1:9050 .
listen-address 127.0.0.1:8118
Chạy Privoxy:
sudo systemctl restart privoxy
Để tự động thay đổi IP, bạn có thể viết một script đơn giản sử dụng lệnh ppp restart hoặc nmcli connection down/up sau mỗi 5-10 phút.
Kiểm tra và tối ưu hóa
Verify connection
Chạy lệnh sau để kiểm tra IP hiện tại:
curl ifconfig.me
Thay đổi IP sau mỗi lần restart kết nối. Nếu IP không thay đổi, kiểm tra lại SIM, modem hoặc cấu hình NetworkManager.
Thử nghiệm scraping
Chạy một script Python đơn giản để kiểm tra proxy:
import requests
proxies = {
'http': 'http://127.0.0.1:8118',
'https': 'http://127.0.0.1:8118'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
Giải pháp thay thế và lưu ý
Để tránh rủi ro pháp lý, hãy đảm bảo bạn tuân thủ điều khoản sử dụng của trang web bạn đang scraping. Ngoài ra, bạn có thể tham khảo các giải pháp thay thế như:
- VPS RAM lớn để tự host các công cụ scraping.
- Dedicated Server nếu cần hiệu năng cao hơn.
- Cấu hình Unbound để tăng bảo mật và riêng tư.
Giải pháp này phù hợp với doanh nghiệp, nhà phát triển hoặc cá nhân muốn kiểm soát hoàn toàn hệ thống scraping, tránh phụ thuộc vào dịch vụ bên thứ ba.
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
