Попытка проверить 1000 доменов в зоне .ru через обычный WHOIS-запрос за раз приведет к блокировке вашего IP через 50-100 итераций. Эффективный скрипт проверки доступности доменов должен обходить лимиты регистраторов и учитывать специфику работы серверов REG.RU и RU CENTER.
Методы проверки: WHOIS против DNS-запросов
Использование протокола WHOIS дает 100% точность, но имеет жесткие лимиты: от 2 до 10 запросов в минуту с одного IP. DNS-запрос (checkdns) работает в 20-30 раз быстрее и почти не имеет ограничений, но он показывает только наличие активных записей. Если домен зарегистрирован, но не делегирован (нет NS), DNS-проверка ошибочно покажет, что домен свободен.
Кейс: при парсинге 5000 имен для дроп-хантинга использование только DNS-запросов дало 12% ложноположительных результатов. Экспертный вывод: для первичного фильтра больших списков используйте DNS, для финального подтверждения перед покупкой — только WHOIS.
Обход блокировок и работа с прокси
Серверы зоны .ru агрессивно фильтруют повторяющиеся запросы. Чтобы проверять более 100 доменов в час, необходимо внедрить ротацию прокси. Оптимальный пул — 10-15 качественных резидентских прокси с задержкой (sleep) между запросами в 3-7 секунд. Использование дешевых дата-центровых прокси снижает конверсию в успешный ответ до 40%, так как их диапазоны часто забанены на уровне фаервола регистратора.
Пример: схема «1 прокси на 50 запросов с паузой 5 секунд» позволяет стабильно обрабатывать до 10 000 доменов в сутки без риска перманентного бана. Экспертный вывод: инвестиция в резидентские прокси стоимостью $2-5 за ГБ окупается отсутствием ошибок в данных.
Оптимизация кода и безопасность данных
Реализация через fsockopen на порту 43 является стандартом, но требует строгой обработки таймаутов. Установка timeout в 2-3 секунды предотвращает зависание скрипта при недоступности сервера WHOIS. Важно помнить, что многие готовые решения из сети содержат уязвимости, поэтому Безопасность готовых PHP-скриптов должна включать валидацию входящего доменного имени через регулярные выражения, чтобы избежать инъекций в системные вызовы.
Факт: неправильная обработка многопоточности в PHP (через curl_multi или pthreads) при работе с WHOIS увеличивает вероятность бана IP в 5 раз из-за слишком высокой частоты пакетов. Экспертный вывод: используйте последовательную очередь с рандомизированным интервалом ожидания.
Сравнение стоимости: API против самописного скрипта
Разработка собственного скрипта стоит времени программиста, но бесплатна в эксплуатации. Использование платных API (например, от крупных регистраторов) стоит от $0.01 до $0.10 за запрос при больших объемах. При проверке 100 000 доменов в месяц экономия составляет от $1 000 до $10 000.
Сравнение: Самописный скрипт (бесплатно, риск бана, время на поддержку) vs API (стабильно, дорого, ограничение по функционалу). Экспертный вывод: если объем проверки превышает 1000 имен в сутки, самописный скрипт на PHP с ротацией прокси выгоднее любого API в 100 раз.
Вывод
Для профессионального мониторинга зоны .ru выбирайте гибридную схему: первичный отсев через DNS-запросы, затем детальная проверка через WHOIS с использованием пула из 10+ резидентских прокси и паузами 5-7 секунд. Избегайте простых скриптов без обработки таймаутов и валидации ввода — это приведет либо к бану сервера, либо к взлому вашего хостинга. Начинайте с реализации очереди в БД (MySQL/Redis), чтобы иметь возможность возобновить проверку при сбое сети.