Новые зарегистрированные домены: источники, фильтрация и работа с данными

Сбор новых зарегистрированных доменов (NRD) — это окно в зарождающуюся онлайн-активность, а значит, благодатная почва для SEO-агентств, доменных инвесторов и команд лидогенерации. В мире по всем TLD регистрируются сотни тысяч новых доменов в день, и именно в этом объёме кроется вся проблема: возможности похоронены под шумом. Каталог WebTrackly включает зональные файлы 716 TLD, а также 79 списков сайтов по технологиям и 27 готовых датасетов — всё поставляется в виде CSV-файлов внутри ZIP-архивов, поэтому сравнение ниже идёт между сырыми фидами и подготовленными файлами, а не между поставщиками.

Скрытая цена «бесплатных» списков NRD: проблемы качества данных

В интернете полно сервисов, раздающих бесплатные или дешёвые списки новых зарегистрированных доменов, и цена обычно видна по содержимому. «Бесплатный» список NRD — это, как правило, нефильтрованная свалка: припаркованные домены, PPC-заглушки, защитные регистрации и тайпсквоттинг соседствуют с той горсткой записей, которая вам действительно нужна. Платите вы не за скачивание, а часами работы по отделению одного от другого — и эти часы уходят заново при каждом обновлении списка. Прежде чем брать любой бесплатный источник, возьмите выборку в несколько тысяч записей, отрезолвьте их и посмотрите, сколько из них отвечает реальным контентом.

Отсеиваем шум: фильтры по регистратору и NS-серверам

Самые эффективные фильтры оказываются и самыми дешёвыми в вычислении. Основной сигнал несут два поля: регистратор и NS-сервер. Массовые дешёвые регистраторы концентрируют одноразовые регистрации, поэтому скоринг по регистратору и понижение худших убирают крупный пласт записей за один проход. С NS-серверами всё ещё прямее: домены, указывающие на известную парковочную инфраструктуру (шаблоны вроде parking, sedoparking или дефолтный NS регистратора, который никогда не меняется), по определению ещё не обслуживают сайт. Оформите оба набора как deny-листы, держите их в системе контроля версий и пересматривайте ежемесячно — парковочные провайдеры ротируют хостнеймы. Третий дешёвый проход — фильтр по шаблонам: длинные строки с дефисами и перегруженные цифрами имена коррелируют с массовой генерацией.

Загадка ccTLD: сложности с источниками

У доменов верхнего уровня общего назначения (gTLD) вроде .com или .org зональные файлы, как правило, публичны, а вот зональные файлы ccTLD достать намного сложнее, чем gTLD. Многие национальные реестры (ccTLD, Country Code Top-Level Domain) вообще не публикуют публичный зональный файл — или публикуют на условиях, исключающих массовую выгрузку; крупные реестры вроде .de, .uk и .fr ограничивают доступ, а некоторые небольшие не отдают ничего. Там, где официального зонального файла нет, единственный путь к рабочему покрытию — агрегированные источники, и именно поэтому у любого поставщика, заявляющего полные данные по ccTLD, стоит спросить, как именно получена каждая зона. В каталоге зон WebTrackly перечислено 716 TLD, так что честная проверка проста: найдите нужное расширение в каталоге, прежде чем строить под него кампанию.

Против общепринятого: свежесть важнее объёма

Полезное практическое правило идёт вразрез с типичной продажной риторикой: небольшой свежий список лучше большого устаревшего. Многие сервисы продают «исторические» или «массовые» доменные выгрузки, собранные недели и месяцы назад. Для новых зарегистрированных доменов это почти бесполезно, потому что ценность NRD-записи падает вместе с вниманием владельца. Тот, кто зарегистрировал домен вчера, прямо сейчас выбирает хостинг, CMS, SSL-сертификат и подход к SEO. Через три недели эти решения приняты, и ваше сообщение приходит слишком поздно. Поэтому дата сборки файла значит больше, чем число строк. Пакеты WebTrackly формируются в момент покупки из данных, которые обновляются у источника ежедневно, так что вы скачиваете текущее состояние зоны, а не срез неизвестной давности.

Проверка MX как обязательный шаг для холодных рассылок

Для холодной рассылки доменный список стоит ровно столько, сколько стоит его проверка MX: зарегистрированный домен и работающий почтовый ящик — далеко не одно и то же. Новые зарегистрированные домены здесь худший случай: почту часто настраивают через дни или недели после регистрации, поэтому имя, которое сегодня резолвится, может вообще не иметь MX-записи. Отправка на такие адреса даёт жёсткие возвраты, а достаточное их количество испортит репутацию отправляющего домена ещё до того, как кампания наберёт ход. Считайте проверки MX и SMTP шагом, который вы выполняете на своей копии списка на той же неделе, когда отправляете, а не чем-то унаследованным от того, кто собрал файл. Доменный список — это сырьё; доставляемость находится на вашей стороне конвейера. Подробнее о проверках — в материале Бесплатные списки email-доменов: наш проверенный подход & данные.

Объём против чистоты: компромисс, который никто не оценивает правильно

Инстинктивное допущение при покупке доменных данных — что чем больше строк, тем лучше, ведь фильтрация дёшева и её можно сделать потом. На практике бюджет уходит именно на фильтрацию. Очистка большого списка NRD — не разовый скрипт: это резолвинг доменов, проверка NS-серверов, MX-запросы, дедупликация по тем, с кем вы уже связывались, и повторение всей последовательности при каждом обновлении фида. Если посчитать по реалистичной часовой ставке, «бесплатный» список обычно оказывается самым дорогим. Практический ответ — до покупки решить, данные какой формы действительно нужны вашему процессу. Если для анализа нужна полная популяция зоны, берите файл целиком: пакет зоны .com содержит 157,775,115 доменов, а датасет всех доменов — 272,614,863 записи. Если нужен сегмент, заданный технологией, а не расширением, готовый список — лучшая отправная точка, чем самостоятельная фильтрация зоны: список WordPress охватывает 21,639,326 доменов, уже работающих на одной платформе. Пакеты начинаются от $3.50, а если одна и та же выгрузка нужна регулярно, тариф Pro за $29 в месяц включает 50 скачиваний пакетов, 10 датасетов и 30,000 вызовов API; Enterprise за $99 в месяц — 200 пакетов, 50 датасетов и 300,000 вызовов API.

Практические выводы

1. Ставьте свежесть данных во главу угла в работе с NRD:

   Берите домены, зарегистрированные в последние несколько дней, пока владелец ещё выбирает хостинг, CMS и подход к SEO. Отклик на NRD-рассылки быстро падает, как только эти решения приняты.

   Оценка времени: ежедневная проверка, 15-30 минут на настройку. Сложность: средняя.

2. Фильтруйте агрессивно, чтобы снизить шум:

   Фильтруйте списки NRD по шаблонам регистраторов и NS-серверов в первую очередь. Эти два поля убирают основную массу припаркованных записей и заглушек практически без вычислительных затрат.

   Оценка времени: первичная настройка 4-8 часов (скриптинг), дальше автоматически. Сложность: высокая (нужны скрипты и инструменты).

3. Всегда проверяйте MX перед холодной рассылкой:

   Проверяйте MX-записи и SMTP на своём списке непосредственно перед отправкой, а не на момент сборки файла. Возвраты на новых зарегистрированных доменах — обычное дело, потому что почту часто настраивают уже после регистрации.

   Оценка времени: 1-2 часа на список из 10,000 записей. Сложность: низкая (зависит от инструмента).

4. Для ccTLD рассматривайте агрегированные данные:

   Если вы работаете с конкретными ccTLD, проверьте доступность до планирования кампании: многие реестры не публикуют зональный файл вообще. В каталоге зон WebTrackly перечислены 716 доступных сейчас TLD. Сторону таргетинга разбирает руководство по SEO для ccTLD.

   Оценка времени: 2-3 часа на изучение поставщиков. Сложность: низкая.

5. Качество важнее количества:

   Меньший, но хорошо отфильтрованный список работает лучше большой шумной выгрузки, потому что каждая неквалифицированная запись стоит не только времени, но и репутации отправителя. Измеряйте воронку в квалифицированных контактах, а не в купленных строках.

   Оценка времени: постоянная доработка. Сложность: средняя.

Часто задаваемые вопросы

Какая доля новых зарегистрированных доменов обычно оказывается низкокачественной или спамной?

Значительная часть любого сырого нефильтрованного NRD-фида приходится на низкое качество: припаркованные страницы, PPC-заглушки, защитные регистрации и тайпсквоттинг. Точная доля зависит от TLD и меняется день ото дня — поэтому из любого нового источника стоит взять выборку в несколько тысяч записей и отрезолвить её, прежде чем строить на нём кампанию.

Как часто обновляются данные WebTrackly?

Исходные данные обновляются у источника ежедневно, а файл каждого пакета формируется в момент покупки. Ждать фиксированного расписания релизов не нужно: скачанный файл отражает состояние зоны на момент покупки.

Можно ли получить данные по конкретным ccTLD?

По многим, но не по всем. Зональные файлы ccTLD достать сложнее, чем gTLD, а некоторые реестры не публикуют ничего. В каталоге зон перечислены 716 доступных сейчас TLD, так что проверьте там своё расширение, прежде чем строить под него планы.

Почему проверка MX так важна для списков новых зарегистрированных доменов?

Регистрация не гарантирует работающий почтовый сервер, а на новых зарегистрированных доменах почту нередко настраивают через несколько дней после самого имени. Пропустить проверку MX — значит слать на адреса, которые не могут принимать почту: это даёт жёсткие возвраты и бьёт по репутации отправляющего домена. Выполняйте проверку на своей копии списка на той же неделе, когда отправляете.