Skip to main content

Настройка прокси в ScreamingFrog

В Screaming Frog прокси задаётся глобально и применяется ко всем краулам.

1) Откройте настройки прокси​

Screaming Frog → File → Settings → Proxy

Открыть настройки прокси (File → Settings → Proxy)

2) Заполните параметры прокси​

  1. Отметьте Use Proxy Server.
  2. Укажите:
    • Address — p3.mangoproxy.com
    • Port — 2333
  3. Если у провайдера включена авторизация — отметьте Use Proxy Credentials и заполните:
    • Username — например, test-zone-cis-region-us
    • Password — пароль из личного кабинета
  4. Нажмите OK (или OK and Restart, если программа просит перезапуск).

Пример заполненной конфигурации прокси в Screaming Frog

3) Проверьте, что прокси работает​

Способ A — быстрый IP-чек

  1. Переключитесь в Mode → List.
  2. Upload → Enter Manually и вставьте URL:
    https://api.ipify.org/ или https://ipv4.icanhazip.com/
  3. Нажмите Start → внизу откройте Response → Body — там должен быть IP прокси.

Способ B — на реальном крауле

  • Запустите обычный краул и следите за кодами ответов: 407 (аутентификация), 403/429 (блок/лимиты), таймауты.

Рекомендации по настройке краула с прокси​

  • Configuration → Speed: уменьшите Max Threads (например, до 2–5), если провайдер ограничивает соединения или вы ловите 429.
  • Configuration → HTTP: слегка увеличьте Response Timeout, включите небольшое число Retries.
  • Configuration → Spider → Rendering: отключите рендеринг JS, если он не нужен — это уменьшит нагрузку на прокси.

SOCKS5 — как быть​

Screaming Frog не поддерживает SOCKS5 напрямую. Используйте один из вариантов:

  • HTTP/HTTPS-эндпоинт того же пула у провайдера (предпочтительно, если доступен).
  • Локальный мост SOCKS5→HTTP (ProxyCap/Proxifier на Windows/macOS, privoxy/redsocks на Linux). В Screaming Frog укажите адрес локального HTTP-моста.

Ротация IP​

  • Если у провайдера есть автоматическая ротация — включите её в кабинете, SF будет использовать текущий выходной IP.
  • Для ручной ротации: триггерните её в UI/по URL, затем продолжайте или перезапустите краул.

Устранение неполадок​

СимптомПричинаЧто делать
407 Proxy Authentication RequiredНеверный логин/пароль, требуется IP-allowlistПроверьте учётные данные или включите авторизацию по логину/паролю.
403 / 429 / 451Блок/ограничения на стороне сайтаУменьшите потоки, добавьте задержки, смените локацию/тип прокси (резидентские/ISP).
Таймауты/медленноДальний маршрут, перегрузка узла, неверный хост/портПроверьте адрес/порт, выберите ближний POP, увеличьте тайм-ауты.
Не все URL грузятсяЖёсткие лимиты прокси или JS-рендерингУберите лишний рендеринг, сократите параллелизм.

Отключить/сбросить​

File → Settings → Proxy → снимите Use Proxy Server → OK (при необходимости перезапустите).