Quay lại danh sách
AI & Cloud

Tạo rotating mobile proxy từ VPS và SIM 4G: Giải pháp scraping dữ liệu không giới hạn

Hướng dẫn chi tiết cách tạo rotating mobile proxy từ VPS và SIM 4G để thực hiện scraping dữ liệu không giới hạn, bảo vệ quyền riêng tư và tránh bị phát hiện. Bao gồm thiết lập phần...

DPTCloud Engineering4 phút đọc
Tạo rotating mobile proxy từ VPS và SIM 4G: Giải pháp scraping dữ liệu không giới hạn

Giới thiệu về rotating mobile proxy

Rotating mobile proxy là một giải pháp mạnh mẽ giúp bạn thực hiện scraping dữ liệu không giới hạn từ các trang web mà không bị phát hiện hay chặn. Thay vì sử dụng IP tĩnh hoặc proxy thông thường, rotating mobile proxy tự động thay đổi địa chỉ IP mỗi lần truy cập, mô phỏng hành vi người dùng thực tế trên mạng di động 4G.

Giải pháp này đặc biệt hữu ích khi bạn cần thu thập dữ liệu từ các nền tảng như thương mại điện tử, tin tức, hoặc dữ liệu công cộng mà có hệ thống bảo vệ chống scraping. Với VPS (Virtual Private Server) và SIM 4G, bạn có thể tự xây dựng một hệ thống proxy di động riêng, kiểm soát hoàn toàn và tiết kiệm chi phí so với các dịch vụ proxy thương mại.

Yêu cầu và thiết lập phần cứng

Thiết bị cần thiết

  • VPS cao cấp với RAM lớn (tối thiểu 8GB, khuyến nghị 16GB) để xử lý nhiều kết nối đồng thời.
  • SIM 4G từ nhà mạng uy tín (Viettel, Vinaphone, Mobifone) với gói data không giới hạn hoặc dung lượng cao.
  • USB 4G LTE modem hỗ trợ Linux (ví dụ: Huawei E3372, ZTE MF190).
  • Router hoặc máy chủ nhỏ để kết nối modem và VPS (tùy chọn, nhưng có thể cần nếu không có khả năng kết nối trực tiếp).

Thiết lập phần mềm trên VPS

Trên VPS, bạn cần cài đặt các công cụ sau:

  • Ubuntu 22.04 LTS hoặc tương đương.
  • Để quản lý kết nối SIM, cần usb_modeswitch, ppp, và NetworkManager.
  • Để tạo proxy, sử dụng Privoxy hoặc Squid.

Thiết lập kết nối SIM 4G trên VPS

Đầu tiên, hãy kết nối USB 4G modem vào VPS. Sau đó, kiểm tra thiết bị được nhận:

lsusb

Nếu thấy thiết bị xuất hiện (ví dụ: Huawei E3372), tiếp tục cài đặt phần mềm:

sudo apt update
sudo apt install usb_modeswitch ppp network-manager

Chạy lệnh sau để kiểm tra kết nối:

sudo nmcli device

Đảm bảo modem xuất hiện trong danh sách và được nhận dưới dạng kết nối di động. Nếu không, kiểm tra driver hoặc thay đổi thiết bị.

Tạo rotating proxy với Privoxy

Sau khi kết nối SIM hoạt động, bạn có thể cấu hình Privoxy để tạo proxy và tự động chuyển đổi IP.

Chỉnh sửa file cấu hình:

sudo nano /etc/privoxy/config

Thêm các dòng sau:

forward-socks5t / 127.0.0.1:9050 .
listen-address 127.0.0.1:8118

Chạy Privoxy:

sudo systemctl restart privoxy

Để tự động thay đổi IP, bạn có thể viết một script đơn giản sử dụng lệnh ppp restart hoặc nmcli connection down/up sau mỗi 5-10 phút.

Kiểm tra và tối ưu hóa

Verify connection

Chạy lệnh sau để kiểm tra IP hiện tại:

curl ifconfig.me

Thay đổi IP sau mỗi lần restart kết nối. Nếu IP không thay đổi, kiểm tra lại SIM, modem hoặc cấu hình NetworkManager.

Thử nghiệm scraping

Chạy một script Python đơn giản để kiểm tra proxy:

import requests

proxies = {
    'http': 'http://127.0.0.1:8118',
    'https': 'http://127.0.0.1:8118'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

Giải pháp thay thế và lưu ý

Để tránh rủi ro pháp lý, hãy đảm bảo bạn tuân thủ điều khoản sử dụng của trang web bạn đang scraping. Ngoài ra, bạn có thể tham khảo các giải pháp thay thế như:

Giải pháp này phù hợp với doanh nghiệp, nhà phát triển hoặc cá nhân muốn kiểm soát hoàn toàn hệ thống scraping, tránh phụ thuộc vào dịch vụ bên thứ ba.

Hạ tầng DPTCloud Tier III

Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache

SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.

Xem 22 gói Cloud VPS
ECO · vn-02Khuyên dùng

VPS-4E

297.000 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe
ECO · vn-02

VPS-5E

614.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 8 vCPU
  • RAM: 16 GB
  • SSD: 100 GB NVMe
ADVANCED · vn-03Khuyên dùng

VPS-4T

548.900 ₫ / tháng

Đã gồm VAT 10%

  • CPU: 4 vCPU
  • RAM: 8 GB
  • SSD: 50 GB NVMe

Bài viết liên quan

Xem tất cả
ZaloChat Zalo 24/7Discord0384 753 478