Для конкурентной разведки, лидогенерации или исследований в области безопасности точный список доменов на AWS представляет реальную ценность: выбор хостинга — надёжный косвенный признак размера компании, её технической зрелости и бюджета. При этом определить его по одним лишь данным о доменах непросто, поскольку большинство сайтов использует AWS под конкретный сервис — S3, EC2, Route 53, CloudFront — а не как регистратора или единственного провайдера.
Нужны свежие данные о доменах? WebTrackly отдаёт мгновенные CSV-загрузки файлов зон TLD, обогащённых данных зон с полями NS, MX, IP и CMS, списков сайтов по технологиям и готовых датасетов — без подписки.
Задача: как определить домены на AWS по сырым данным
В записи WHOIS нет признака «AWS». Принадлежность приходится выводить косвенно, и на практике существует три сигнала — в порядке возрастания стоимости.
Самый дешёвый — NS-запись. У доменов на Route 53 NS-записи относятся к семейству ns-XXX.awsdns-XX.com, и такой шаблон элементарно ищется в файле зоны. Второй — IP-адрес: AWS публикует выделенные ей диапазоны машиночитаемым файлом по адресу ip-ranges.amazonaws.com, поэтому резолв домена и проверка результата по этим CIDR-блокам выявляет точки входа EC2, S3 и CloudFront независимо от того, кто обслуживает DNS. Третий и самый дорогой — анализ HTTP-заголовков: Server: AmazonS3 или наличие X-Amz-Cf-Id, — он требует отдельного запроса к каждому домену.
Все три существуют потому, что охватывают разные группы доменов. Сопоставление по NS упускает каждый домен, который держит DNS на Cloudflare или у регистратора, а инфраструктуру — на EC2. Сопоставление по IP упускает домены за сторонним CDN, который проксирует источник на AWS. Анализ заголовков ловит как раз случаи с CDN, недоступные первым двум методам, но дёшево прогнать его по сотням миллионов доменов невозможно. Серьёзный пайплайн применяет дешёвые фильтры ко всей зоне, а проверку заголовков оставляет для короткого списка.
Источники данных: файлы зон и обогащённые данные
Все три метода стартуют из одной точки — списка доменов интересующей вас зоны. Каталог WebTrackly охватывает 716 файлов зон TLD и 716 соответствующих обогащённых наборов, суммарно 285 582 781 домена по всем зонам. Только на зону .com приходится 163 422 083. В обогащённые пакеты входят поля NS и IP, а значит, первые два метода определения работают прямо по скачанному CSV — без единого DNS-запроса с вашей стороны.
Какой бы путь вы ни выбрали, важна свежесть. Особенно для холодных рассылок: список доменов хорош ровно настолько, насколько актуальна проверка MX, а MX-записи меняются без предупреждения — перепроверяйте доставляемость на той же неделе, когда отправляете. WebTrackly формирует каждый файл в момент покупки, а не отдаёт заранее собранный срез, поэтому данные отражают текущее состояние зоны.
Нюанс ccTLD
Получить файлы зон ccTLD заметно сложнее, чем файлы зон gTLD. Многие национальные реестры вовсе не публикуют зону, а другие вводят ограничения доступа, соглашения или плату, из-за которых прямое получение данных нецелесообразно. Немецкая .de и французская .fr — самые известные примеры, но та же картина повторяется на значительной части национального пространства. Единственный рабочий путь к покрытию таких зон — агрегированные данные, поэтому доступность по отдельным TLD неравномерна у любого поставщика на этом рынке.
Готовы проанализировать хостинг на реальных данных зон? WebTrackly предлагает мгновенную загрузку файлов зон TLD и обогащённых данных зон с полями NS, MX, IP и CMS. Пакеты — от $3.50.
Отсев шума: новые зарегистрированные домены
Сырая лента новых зарегистрированных доменов зашумлена. Значительная доля новых регистраций — это припаркованные домены, PPC-заглушки или домены, заброшенные в течение нескольких недель, поэтому работа по сырому списку съедает существенную часть усилий впустую. Самый результативный фильтр — по NS: новые зарегистрированные домены, указывающие на известные парковочные NS-серверы вроде ns1.sedoparking.com, можно отбросить целой группой без единого сетевого запроса. Паттерны регистраторов коррелируют с теми же кластерами, поэтому сочетание двух признаков убирает основную часть мусора за один офлайн-проход.
Свежесть важнее объёма
Маркетплейсы торгуют объёмом, но в работе с новыми доменами результат определяет возраст данных. Дамп, проданный как «новые регистрации», мог быть собран несколькими месяцами ранее — и тогда ключевое свойство, то, что это бизнесы на этапе запуска, уже неактуально. Меньший, но недавний выгруз — лучший исходник, и именно поэтому файлы генерируются при покупке, а не берутся из архива.
Почему определить AWS сложнее, чем кажется
Регулярно всплывают две сложности. Первая — разделение DNS и хостинга: огромное число доменов держит DNS у стороннего провайдера, направляя трафик на AWS, поэтому сопоставление по NS систематически занижает результат. Решение — сверять резолвенные IP с опубликованными диапазонами AWS, а значит, поддерживать эти диапазоны в актуальном состоянии: JSON-файл регулярно меняется по мере ввода и вывода мощностей.
Вторая — диапазоны AWS покрывают множество сервисов с разным смыслом. Домен, резолвящийся в диапазон CloudFront, говорит лишь о том, что используется CDN; домен, резолвящийся в диапазон EC2 в конкретном регионе, говорит совсем другое о том, где реально выполняется нагрузка. Сводить «на AWS» к одному булеву флагу — значит выбросить большую часть сигнала.
Практические выводы
- Начинайте с данных зоны, а не с краулера. Сопоставление по NS и IP на полном выгрузе зоны покрывает большинство доменов на AWS практически бесплатно. HTTP-проверки оставьте на то, что дешёвые фильтры разобрать не смогли.
- Держите IP-диапазоны AWS актуальными. Забирайте
ip-ranges.jsonпо расписанию, а не зашивайте CIDR в код. Устаревшие диапазоны дают ложноотрицательные результаты, которые выглядят как настоящее отсутствие. - Сегментируйте по сервису, а не только по провайдеру. Различайте сигналы Route 53, CloudFront, S3 и EC2. «Использует AWS» — куда более слабый квалификатор, чем «работает на EC2 в eu-west-1».
- Фильтруйте новые домены в первую очередь. Сначала отбрасывайте парковочные NS-серверы и кластеры массовых регистраций. Всё, что дальше по цепочке, обойдётся дешевле.
- Проверяйте MX непосредственно перед рассылкой. Для офлайн-прохода используйте поле MX в обогащённом CSV, затем сервис верификации — ZeroBounce или Email Hippo — для живой проверки. WebTrackly не продаёт контактные записи, адреса электронной почты или телефоны — только данные уровня домена.
Часто задаваемые вопросы
В: Продаёт ли WebTrackly готовый список доменов на AWS?
О: Не под меткой «AWS». В каталоге есть 79 списков сайтов, сгруппированных по CMS и технологиям, а также обогащённые пакеты зон с полями NS и IP — именно по ним вы фильтруете совпадения с NS-шаблонами AWS и опубликованными IP-диапазонами. Логика определения остаётся на вашей стороне, а значит, и под вашим контролем при изменении диапазонов AWS.
В: Можно ли получить полный список доменов конкретного TLD?
О: Для 716 TLD, представленных в каталоге сейчас, — да: см. зоны для сырых файлов зон и данные о доменах для обогащённых версий. Покрытие ccTLD с ограничениями по определению уже, чем у gTLD, — по причинам, связанным с политикой реестров и описанным выше.
В: Как доставляются данные?
Формат скачиваемого файла зависит от пакета и указан на странице продукта. Файл формируется в момент покупки. Пакеты — от $3.50; при регулярном использовании выгоднее тариф Pro за $29/month (50 пакетов, 10 датасетов, 30K вызовов API) или Enterprise за $99/month (200 пакетов, 50 датасетов, 300K вызовов API).
В: Как лучше всего фильтровать новые зарегистрированные домены, чтобы не попасть в спам?
О: Сначала фильтруйте по NS-шаблонам, убирая парковочные кластеры, затем по регистратору, а после убедитесь, что домен резолвится не в страницу-заглушку. Первые два шага выполняются офлайн по CSV и снимают основную часть шума ещё до того, как вы потратитесь на сетевые запросы.
Работайте с актуальными данными о доменах, а не с устаревшими дампами. WebTrackly отдаёт 1 538 пакетов — 716 файлов зон TLD, 716 обогащённых наборов зон, 79 списков сайтов по технологиям и 27 готовых датасетов — мгновенными CSV-загрузками.
