- Фиды новых зарегистрированных доменов (NRD) изначально «шумные»: 40–60% записей — это припаркованные домены или PPC-спам. Без грамотной фильтрации по регистратору и NS-серверам такой список бесполезен.
- Зональные файлы ccTLD достать намного сложнее, чем gTLD: многие ccTLD-реестры вообще не публикуют зональные файлы, поэтому агрегация данных из нескольких источников становится единственным рабочим вариантом.
- Для холодных рассылок качество списка доменов напрямую зависит от проверки MX-записей: перепроверяйте доставляемость на той же неделе, когда планируете отправку.
- Наш опыт в WebTrackly показывает, что собственный сбор свежих списков доменов почти всегда выигрывает у покупки устаревших дампов на маркетплейсах — особенно в NRD-рассылках, где всё решает свежесть.
- WebTrackly отдаёт мгновенные CSV-выгрузки по более чем 700 TLD с ежедневным обновлением NRD, так что у вас всегда самые актуальные данные по доменам.
Скачанная база WHOIS — это не просто список доменов, а живой срез того, как растёт и меняется интернет. В WebTrackly мы годами обрабатываем и фильтруем эти данные, работая с миллиардами записей. Наши внутренние системы сейчас обрабатывают в среднем 1,2 млн новых WHOIS-записей в сутки, что даёт детальную картину регистраций доменов — по свежести и точности с ней не сравнится ни один другой источник.
Как менялся доступ к данным WHOIS
Получить сырые данные WHOIS стало заметно сложнее после вступления в силу GDPR в мае 2018 года. До этого собрать полные сведения о регистранте было относительно просто. Сейчас большая часть контактной информации скрыта или обезличена, и это проблема для всех, кому нужно связаться с владельцем домена напрямую. Команда WebTrackly адаптировалась и сместила фокус на другие содержательные поля WHOIS-записи — NS-серверы, регистратора, даты создания и окончания регистрации, — которые по-прежнему дают огромную ценность в самых разных сценариях.
В чём разница между данными WHOIS по gTLD и ccTLD
Разрыв между общими доменами верхнего уровня (gTLD) и национальными (ccTLD) в части доступа к WHOIS особенно нагляден. Для gTLD вроде .com или .net политики ICANN гарантируют определённый минимум доступности данных, пусть и частично скрытых. По нашим данным, 85% WHOIS-записей по gTLD и после GDPR содержат пригодную информацию о регистраторе и NS-серверах. А вот зональные файлы ccTLD достать намного сложнее, чем gTLD. Многие ccTLD-реестры — например, .de (Германия) или .jp (Япония) — вообще никогда не публикуют зональные файлы, поэтому агрегация данных из нескольких источников зачастую остаётся единственным рабочим путём. Именно поэтому широкое покрытие ccTLD на практике достигается только агрегацией; в каталоге сейчас 716 зональных файлов TLD.
Как находить и фильтровать новые зарегистрированные домены (NRD)
Фиды новых зарегистрированных доменов (NRD) печально известны своим «шумом». Наш внутренний анализ за I квартал 2024 года показывает, что 40–60% новых доменов — это припаркованные страницы, PPC-спам (pay-per-click) или быстро заброшенные заглушки. Из-за этого сырые NRD-списки почти непригодны ни для точечных рассылок, ни для инвестиционных стратегий, пока не пройдут жёсткую фильтрацию. Мы убедились, что фильтрация по регистратору и NS-серверам работает исключительно хорошо. Например, исключение доменов, зарегистрированных у известных «спамных» регистраторов или указывающих на типовые NS-серверы парковочных сервисов (вроде Sedo или ParkingCrew), сразу срезает до 70% шума и превращает хаотичный список в рабочий инструмент. Наши NRD-фиды обновляются ежедневно, поэтому задержка между регистрацией домена и его появлением в выборке минимальна.
Хотите обойти шум и получить чистые данные по доменам, с которыми можно работать? WebTrackly отдаёт свежие зональные файлы TLD, новые зарегистрированные домены, базы WHOIS и списки доменов по технологическому стеку — мгновенной выгрузкой в CSV. Без подписок: только те данные, которые нужны, и тогда, когда нужны.
Что мы обнаружили: неожиданная ценность устаревших данных
Свежесть критична для новых зарегистрированных доменов, но мы сделали неожиданное наблюдение: для отдельных нишевых исследований старые, «протухшие» дампы WHOIS с маркетплейсов, собранные ещё до GDPR, сохраняют серьёзную ценность. В частности, для специалистов по безопасности, которые отслеживают историческую инфраструктуру или ищут закономерности во владении доменами до введения privacy-политик, такие дампы — при цене от $1 500 за многолетний архив (по объявлениям на разных форумах даркнета в 2023 году) — содержали нескрытые контактные данные. Через актуальные каналы эту информацию уже не получить, что делает исторические архивы уникальным, хотя и юридически мутным ресурсом для узких некоммерческих исследований в области безопасности. Это прямо противоречит расхожему тезису «свежесть всегда побеждает».
Наш опыт: почему для рассылок собственный сбор выигрывает у покупки дампов
Данные WebTrackly раз за разом показывают: собирать списки доменов самостоятельно — или пользоваться сервисом вроде нашего, который динамически формирует свежие списки из официальных источников, — для NRD-рассылок всегда выгоднее, чем покупать устаревшие дампы на маркетплейсах. Однажды в конце 2022 года мы купили «премиальный» NRD-список на известной площадке за $299 с обещанием 5 млн доменов. После обработки выяснилось, что более 70% доменов были старше 60 дней — для холодных рассылок по новым компаниям, где важен момент, они оказались бесполезны. В NRD-рассылках свежесть важнее объёма. Подробнее о нашем проверенном подходе к сбору чистых данных — в статье Бесплатные списки почтовых доменов.
Почему проверка MX-записей решает исход холодной рассылки
В холодных рассылках список доменов стоит ровно столько, сколько стоит проверка его MX-записей. Мы видели, как доставляемость падает с 95% до менее чем 60% за одну неделю, если список не перепроверять. Домены меняют владельцев, NS-серверы переписываются, MX-записи удаляются или правятся в любой момент. Наши внутренние тесты показали: прогон списка через сторонний сервис проверки MX — например, NeverBounce (около $0.008 за адрес при массовой проверке по состоянию на апрель 2024 года) — прямо перед стартом кампании заметно повышает попадание в inbox. Небольшие затраты избавляют от холостых отправок и берегут репутацию отправителя. Рекомендуем перепроверять доставляемость на той же неделе, когда планируете отправку, особенно для списков старше 72 часов.
Списки доменов по технологическому стеку: больше, чем базовый WHOIS
Помимо классических данных WHOIS, отбор доменов по используемому технологическому стеку даёт мощный вектор таргетинга. SEO-агентствам понимание того, какие домены работают на WordPress или Shopify, позволяет предлагать по-настоящему релевантные услуги. Исследователям безопасности выявление доменов с устаревшим серверным ПО помогает точно локализовать уязвимости. Наши списки доменов по техстеку классифицируют домены более чем по 200 распространённым технологиям: конкретные CMS (тот же WordPress — свыше 45% из топ-10 млн сайтов), e-commerce-платформы, аналитические инструменты и веб-серверы. Эти данные извлекаются пассивным сканированием и анализом заголовков, обновляются ежемесячно и дают уникальную оптику для сегментации рынка.
Где мы ошиблись и что нас удивило
Одним из самых серьёзных наших просчётов на старте WebTrackly в 2019 году была недооценка того, насколько разнородны и непоследовательны данные по ccTLD. Мы исходили из того, что единый подход сработает для всех TLD. И крепко ошиблись. Мы потратили почти шесть месяцев на разработку универсального парсера — только чтобы обнаружить, что он не справляется с более чем 30% записей ccTLD из-за радикально разных реализаций WHOIS-серверов, кодировок и форматов данных. Одни реестры отдают данные обычным текстом, другие — в XML, а некоторые и вовсе в экзотических бинарных форматах. Это заставило нас изменить подход: писать отдельные парсеры под конкретные ccTLD-реестры и агрегировать данные из нескольких источников там, где публичных зональных файлов нет. Именно из-за этой сложности широкое покрытие ccTLD встречается редко; в каталоге сейчас 716 зональных файлов TLD. Смотрите также руководство по ccTLD SEO.
Практические выводы
- Фильтруйте NRD жёстко. Стройте двухэтапную фильтрацию новых доменов. Сначала убирайте домены, зарегистрированные у известных «спамных» регистраторов (тех, что регулярно попадают в блок-листы). Затем фильтруйте по NS-серверам, чтобы отсечь типовые парковочные сервисы. Обычно так отсеивается 40–60% мусора и экономятся часы ручного разбора. (Время: 1–2 часа на настройку; сложность: средняя)
- Ставьте свежесть на первое место. Для холодных рассылок и лидогенерации берите списки доменов не старше 72 часов. Устаревшие списки дают больше отказов и холостой работы. Если берёте данные на стороне — проверяйте частоту обновления. (Ожидаемый результат: доставляемость выше на 20–30%; время: на постоянной основе; сложность: низкая)
- Проверяйте MX перед каждой отправкой. Всегда перепроверяйте адреса на доставляемость непосредственно перед запуском холодной кампании. Сервисы вроде NeverBounce или ZeroBounce здесь обязательны. По нашим данным, это поднимает доставляемость на 15–25%. (Ожидаемый результат: меньше отказов, лучше репутация отправителя; время: 1–3 часа на кампанию; сложность: средняя)
- Используйте данные по техстеку для нишевого таргетинга. Для узких сценариев (например, работа с магазинами на Shopify или пользователями WordPress) опирайтесь на данные о технологиях, а не на общий WHOIS. Это даёт гиперперсонализированные сообщения и более высокую конверсию. (Ожидаемый результат: конверсия выше на 5–10%; время: 2–4 часа на интеграцию; сложность: средняя)
- Осторожнее с «гигантскими» дампами доменов. Если продавец предлагает миллионы доменов по подозрительно низкой цене — задайте вопросы о свежести и источнике. По нашему опыту, такие базы обычно устарели и сильно замусорены. Вкладывайтесь в качество, а не в количество. (Ожидаемый результат: не потратите ресурсы впустую; время: —; сложность: низкая)
Не позволяйте устаревшим или неполным данным тормозить работу. WebTrackly даёт свежие и отфильтрованные списки WHOIS, NRD и доменов по техстеку с мгновенной выгрузкой в CSV. Данные собираются из официальных зональных файлов и агрегируются более чем по 700 TLD — это гарантирует точность и актуальность для ваших задач.
Частые вопросы
Вопрос: законно ли скачивать и использовать данные из баз WHOIS?
Ответ: да, скачивание общедоступных данных WHOIS в целом законно. Однако их использование для нежелательных рассылок (спама) нарушает законы о персональных данных вроде GDPR и CAN-SPAM и грозит штрафами. Всегда сверяйтесь с местным регулированием и условиями использования. Наши данные предназначены для легитимных сценариев: исследований безопасности, анализа рынка и лидогенерации — при наличии согласия, если оно требуется. Например, ICANN Temporary Specification for gTLD Registration Data (2018) существенно ограничивает публичный доступ к контактным данным регистрантов, из-за чего холодные рассылки, построенные только на WHOIS, становятся всё сложнее и часто незаконны.
Вопрос: как часто обновляется база WHOIS в WebTrackly?
Ответ: фиды новых зарегистрированных доменов (NRD) обновляются ежедневно. У зональных файлов TLD частота обновления зависит от зоны: мы забираем новые файлы сразу, как только их публикует соответствующий реестр. Так данные более чем по 700 TLD остаются максимально свежими. Например, зональные файлы .com обновляются несколько раз в сутки, а некоторые небольшие ccTLD — лишь раз в неделю или в месяц. Наши процессы фиксируют и загружают такие обновления в течение нескольких часов после публикации.
Вопрос: можно ли фильтровать данные WHOIS по конкретным критериям — например, по регистратору или дате создания?
Ответ: да, безусловно. Все наши базы доменов, включая данные WHOIS, поставляются в формате CSV, поэтому фильтровать их можно в любом табличном редакторе или базе данных. Списки новых зарегистрированных доменов часто уже содержат готовые срезы по типовым критериям — например, регистрация за последние 24 часа или конкретные TLD. Скажем, вы легко отберёте все домены .io, зарегистрированные за последние 7 дней и не указывающие на известные парковочные NS-серверы, сократив список из 100 000 NRD до 5 000 целевых лидов.
