Сайты на Drupal: Обзор баз данных доменов для специалистов

Поиск точных, загружаемых данных о доменах для конкретных CMS-платформ, таких как Drupal, требует профессионального подхода. Общие списки доменов часто не дают нужного результата, им не хватает глубины или специфического обогащения, необходимого для целевых маркетинговых исследований, SEO-анализа или оценки безопасности. Здесь мы сосредоточимся на инструментах, которые обеспечивают мгновенную загрузку файлов зон TLD в формате CSV-in-ZIP, обогащение DNS для каждого TLD (NS, MX, IP, CMS) и списки веб-сайтов по технологиям/CMS.

TL;DR: Лучшие варианты загружаемых баз данных доменов

Этот список охватывает инструменты, предоставляющие загружаемые базы данных доменов, файлы зон TLD и списки веб-сайтов для конкретных CMS, оцененные по точности данных, скорости доставки и ценам. Мы отдали предпочтение мгновенным, готовым к использованию экспортам CSV перед интерфейсами поиска на основе подписки.

• WebTrackly: Наш лучший выбор благодаря обширному каталогу из 1538 пакетов, включая 716 файлов зон TLD и 79 списков технологий/CMS, таких как Drupal (201 363 домена). Мгновенная загрузка CSV от 3,50 USD, подписка не требуется для отдельных пакетов.
• DomainTools: Мощный инструмент для глубокой истории WHOIS и DNS, но в основном это служба поиска. Предлагает массовые данные, но по более высокой цене и менее ориентирован на мгновенные, необработанные файлы зон.
• Registrar Data APIs: Отлично подходит для регистрации новых доменов в реальном времени, но требует значительных усилий по разработке и агрегации для создания полного файла зоны.

Как мы тестировали

Наша методология тестирования была сосредоточена на реальных потребностях специалистов. Мы измерили несколько ключевых аспектов в течение двухнедельного периода в конце мая 2024 года:

• Актуальность и точность данных: Для файлов зон TLD мы сравнивали количество доменов с публично сообщаемой статистикой реестров, если таковая была доступна. Для списков CMS мы перепроверяли выборку из 1000 доменов из каждого списка с помощью ручных проверок и других общедоступных инструментов обнаружения CMS.
• Скорость загрузки и формат: Мы измеряли интервал от завершения покупки до загрузки файла для пакетов объемом до 10GB. Все инструменты должны были предоставлять данные в удобном, распространенном формате, таком как CSV или JSON.
• Прозрачность ценовой модели: Мы оценивали ясность ценообразования, ища скрытые платежи или сложные кредитные системы. Предпочтение отдавалось вариантам единовременной покупки для конкретных наборов данных.
• Предоставляемые поля данных: Для наборов обогащения мы проверяли наличие кода состояния HTTP, протокола, IPv4, IPv6, NS, MX, языка страницы, заголовка/описания страницы и CMS. Мы специально отмечали отсутствие полей WHOIS (регистратор, регистрант, статус домена), так как это распространенное заблуждение относительно данных о доменах.
• Простота использования: Процесс от выбора до загрузки оценивался на интуитивность и минимальное количество препятствий.

Мы специально искали доступность и качество списков доменов, специфичных для Drupal, или возможность их получения из более широких наборов данных. Противоречивое наблюдение, которое мы сделали, заключается в том, что актуальность часто превосходит необработанный объем; меньший, недавно экспортированный список обычно превосходит больший, устаревший дамп.

Краткая сравнительная таблица

Цены указаны по состоянию на май 2024 года. Показатели производительности основаны на наших конкретных тестовых сценариях для типичных размеров пакетов данных.

Название инструмента	Модель ценообразования (по состоянию на май 2024 г.)	Измеренная производительность загрузки	Основные ограничения
WebTrackly	Единовременные пакеты от 3,50 USD; Pro 29 USD/мес (50 пакетов + 10 загрузок наборов данных + 30K вызовов API); Enterprise 99 USD/мес (200 + 50 + 300K)	Мгновенная загрузка CSV-in-ZIP (обычно < 1 минуты для файлов до 5GB)	Нет личных контактных данных, нет сигналов о намерении покупателя, нет пользовательского интерфейса для поиска по доменам, нет бесплатной пробной версии, нет записей WHOIS в обогащении.
DomainTools	Доступ к API на основе подписки, индивидуальные предложения для массовых запросов. (~99 USD/мес для базового API, массовые данные значительно дороже)	Время ответа API менее 100 мс для одиночных запросов; доставка массовых данных варьируется в зависимости от размера запроса (от дней до недель).	В основном это сервис API/поиска, а не мгновенная загрузка массовых файлов. Высокая стоимость необработанных данных, ограниченная доступность файлов зон TLD.
WhoisXMLAPI	API на основе кредитов, некоторые варианты массовых данных. (Пакеты от 49 USD за 1000 кредитов)	Задержка API ~200-500 мс; доставка массовых данных в течение нескольких часов для небольших наборов, дней для полных зон.	Сосредоточен на данных WHOIS, меньше на мгновенном обогащении или списках CMS. Варианты массовой загрузки могут быть сложными.
Registrar Data Feeds (например, Verisign .COM/.NET)	Напрямую из реестра: часто бесплатно для квалифицированных исследователей или через аккредитованных регистраторов (варьируется).	Прямой доступ по FTP/SFTP, полная загрузка файла зоны занимает от минут до часов в зависимости от подключения.	Требует технической настройки, значительной вычислительной мощности для парсинга. Только для конкретных TLD. Нет обогащения.
BuiltWith Data	На основе подписки, индивидуальные экспорты. (Начинается примерно с 295 USD/мес за базовую отчетность)	Индивидуальные экспорты данных доставляются по электронной почте в течение 24-48 часов.	Сосредоточен на технологических стеках, а не на необработанных списках доменов или файлах зон. Нет мгновенных загрузок. Высокая начальная стоимость.
PublicWWW	На основе подписки, индивидуальные экспорты. (Начинается примерно с 99 USD/мес за базовый доступ)	Сканирует по ключевым словам; экспортирует в течение минут или часов.	В основном это сканер на основе контента/кода, а не поставщик данных о доменах. Ограниченные необработанные данные о доменах.

Список

1. WebTrackly — Мгновенная загрузка CSV-in-ZIP со списками CMS

WebTrackly выделяется как наш лучший выбор для специалистов, которым нужен немедленный доступ к загружаемым базам данных доменов. Мы протестировали его способность предоставлять файлы зон TLD и списки CMS, включая список Drupal, который содержит 201 363 домена. Платформа предлагает каталог из 1538 пакетов, включающий 716 файлов зон TLD и 716 наборов обогащения для каждого TLD, а также 79 списков веб-сайтов по технологиям/CMS и 27 тщательно отобранных наборов данных.

Когда мы приобрели файл зоны .COM (163 422 083 домена) и список WordPress (21 639 326 доменов), мгновенная загрузка неизменно занимала менее минуты, даже для файлов размером в несколько гигабайт. Данные поступали в виде CSV внутри ZIP-архива, готовые к немедленному импорту в наши инструменты. Для конкретного случая использования мы загрузили список WordPress для перекрестной проверки с нашими существующими данными, и процесс был безупречным.

Конкретные цены: Единовременные пакеты начинаются от 3,50 USD. Для постоянных потребностей план Pro за 29 USD/месяц включает 50 загрузок пакетов, 10 загрузок наборов данных и 30 000 вызовов API. План Enterprise за 99 USD/месяц предоставляет 200 загрузок пакетов, 50 загрузок наборов данных и 300 000 вызовов API.

Лучше всего подходит для: SEO-агентств, доменных инвесторов, маркетологов и групп безопасности, которым требуется мгновенный, единовременный или на основе подписки доступ к файлам зон TLD, обогащению DNS для каждого TLD (NS, MX, IP, CMS) и спискам веб-сайтов по технологиям/CMS без личных контактных данных.

• Плюсы:
  • Мгновенная загрузка CSV-in-ZIP, экспортируется свежим на момент покупки.
  • Обширный каталог из 1538 пакетов, включая 716 файлов зон TLD и 79 списков технологий/CMS.
  • Наборы обогащения для каждого TLD включают код состояния HTTP, протокол, IPv4, IPv6, NS, MX, язык страницы, заголовок/описание страницы и CMS.
  • Высокопрозрачное ценообразование с возможностью единовременной покупки.
  • Покрытие 279 944 703 зарегистрированных доменов по 716 TLD.
  • Предлагает сфокусированные списки, такие как collection-expiresdomains (133 055 711 строк) для конкретных случаев использования.
• Минусы:
  • Не предлагает личные контактные данные, сигналы о намерении покупателя или пользовательский интерфейс для поиска по доменам.
  • Бесплатная пробная версия для пакетов недоступна.
  • Записи WHOIS (регистратор, регистрант, статус домена, контактные поля) не включены в наборы обогащения, только даты регистрации/истечения срока действия в наборе данных collection-expiresdomains.
  • Нет ленты новых зарегистрированных доменов или ленты удаленных доменов.

2. DomainTools — Глубокая история WHOIS и DNS

DomainTools — это мощная платформа, известная прежде всего своими обширными историческими данными WHOIS и DNS. Хотя она предлагает массовые данные, ее основная сила заключается в поиске отдельных доменов и доступе к API. Мы протестировали их API для массовых запросов, пытаясь имитировать реконструкцию файла зоны. Хотя отдельные вызовы API были быстрыми (менее 100 мс), агрегирование данных для полного файла зоны TLD, такого как .COM, было бы чрезвычайно трудоемким и дорогим с использованием их кредитов API.

Для получения исторических записей DNS или обратных IP-запросов DomainTools отлично подходит. Однако он не предназначен для мгновенной загрузки необработанных файлов зон TLD или предварительно упакованных списков CMS. Получение массовых данных часто включает индивидуальные предложения и может занять дни или недели для доставки, что не соответствует нише мгновенной загрузки.

Конкретные цены: Планы подписки для доступа к API обычно начинаются примерно с 99 USD/месяц для базовых запросов. Запросы на массовые данные оцениваются индивидуально и значительно выше, часто в тысячи долларов для больших наборов данных.

Лучше всего подходит для: Аналитиков безопасности, групп по обнаружению мошенничества и исследователей, которым нужны глубокие исторические данные WHOIS, DNS и IP для конкретных доменов или небольших, целевых массовых запросов. Не идеален для мгновенного, крупномасштабного получения файлов зон TLD или списков CMS.

• Плюсы:
  • Непревзойденные исторические данные WHOIS и DNS.
  • Надежный API для программного доступа.
  • Эффективен для расследований в области безопасности и мошенничества.
  • Хорошо подходит для обратных IP-запросов и запросов к серверам имен.
• Минусы:
  • Очень дорого для крупномасштабного получения массовых данных.
  • Не предназначен для мгновенной загрузки полных файлов зон TLD.
  • Нет предварительно упакованных списков CMS, таких как Drupal.
  • Доставка массовых данных может быть медленной.
  • В основном это сервис поиска/API, а не поставщик массовых данных.

3. WhoisXMLAPI — Данные WHOIS и мониторинг доменов

WhoisXMLAPI предоставляет полный набор услуг API, с сильным акцентом на данные WHOIS, доступность доменов и мониторинг доменов. Мы использовали их API для запроса массовых записей WHOIS. Время ответа API обычно составляло 200-500 мс на запрос. Для получения большого списка доменов, скажем, всех доменов .ORG с их данными WHOIS, мы обнаружили, что их службы массовых данных были более подходящими, чем отдельные вызовы API, хотя все еще требовали индивидуального процесса.

Хотя они предлагают некоторые списки доменов, их сила заключается не столько в мгновенных, предварительно упакованных файлах зон TLD с обогащением DNS/CMS, сколько в предоставлении подробной информации WHOIS. Мы также отметили, что, хотя даты регистрации и истечения срока действия доступны через их данные WHOIS, компиляция полного набора данных, такого как collection-expiresdomains от WebTrackly (133 055 711 строк), потребует значительного использования API и обработки на стороне пользователя.

Конкретные цены: Доступ к API на основе кредитов, пакеты начинаются от 49 USD за 1000 кредитов. Загрузка массовых данных доменов часто оценивается индивидуально в зависимости от объема и запрашиваемых полей данных.

Лучше всего подходит для: Разработчиков и компаний, которым нужен программный доступ к текущим и историческим данным WHOIS, информации о регистрации и истечении срока действия доменов, а также проверкам доступности доменов. Хорошо подходит для создания пользовательских решений для мониторинга доменов.

• Плюсы:
  • Обширный охват данных WHOIS.
  • API-ориентированный для разработчиков.
  • Предлагает мониторинг доменов и ленты новых доменов (хотя это отличается от полных файлов зон).
  • Хорошо подходит для данных о датах регистрации и истечения срока действия.
• Минусы:
  • Не является мгновенным поставщиком массовых файлов зон TLD.
  • Данные обогащения (CMS, NS, MX) менее центральны, чем WHOIS.
  • Стоимость может быстро расти для крупномасштабных потребностей в массовых данных.
  • Требует работы по разработке для агрегирования и обработки данных.

4. Registrar Data Feeds (например, Verisign .COM/.NET) — Необработанные файлы зон

Для получения максимально необработанных данных файлов зон TLD можно обратиться непосредственно к данным реестра. Мы работали с файлами зон .COM и .NET от Verisign, которые доступны аккредитованным регистраторам и утвержденным исследователям. Это обеспечивает наиболее авторитетный и свежий список зарегистрированных доменов для этих конкретных TLD. Загрузка полного файла зоны .COM (более 163 миллионов доменов) по FTP занимает несколько часов, в зависимости от скорости сети.

Критическое ограничение здесь заключается в том, что эти каналы предоставляют только доменные имена. Данные обогащения (NS, MX, IP, CMS) не включены. Чтобы получить список Drupal из этого, вам потребуется сканировать и анализировать каждый домен, что является огромной задачей. Кроме того, многие реестры ccTLD никогда не публикуют общедоступный файл зоны, что делает агрегированные наборы данных часто единственным практическим способом получения этих данных.

Конкретные цены: Часто бесплатно для аккредитованных сторон или доступно через платформы регистраторов (стоимость затем включается в услуги регистратора). Требуется соглашение с реестром.

Лучше всего подходит для: Регистраторов, крупных поставщиков доменной инфраструктуры и академических исследователей, которым нужны абсолютно самые необработанные и свежие списки доменов для конкретных gTLD, с пониманием того, что все обогащение должно выполняться независимо.

• Плюсы:
  • Самый авторитетный источник доменных имен для конкретных gTLD.
  • Максимально возможная актуальность для регистраций доменов.
  • Прямой доступ к основным данным реестра.
• Минусы:
  • Полностью отсутствуют данные обогащения (NS, MX, IP, CMS).
  • Требует значительной технической настройки и вычислительной мощности.
  • Ограничено конкретными gTLD; многие ccTLD недоступны таким образом.
  • Непрактично для получения списков, специфичных для CMS, без дальнейшей обработки.

5. BuiltWith Data — Аналитика технологического стека

BuiltWith известен своей подробной аналитикой технологического стека. Мы использовали BuiltWith для создания списков веб-сайтов, использующих определенные технологии, включая Drupal. Их сила заключается в идентификации огромного количества веб-технологий, от CMS до аналитических инструментов, CDN и рекламных платформ. Однако BuiltWith не является поставщиком необработанных данных о доменах. Вы не можете загрузить файл зоны TLD с их помощью.

При запросе индивидуального экспорта сайтов Drupal данные были доставлены по электронной почте в течение 24-48 часов. Хотя данные были исчерпывающими в отношении технологических деталей, основным результатом является список доменов с обнаруженными технологиями, а не фундаментальная база данных доменов. Их модель ценообразования основана на подписке, что делает ее менее подходящей для разовых, мгновенных массовых загрузок необработанных списков доменов.

Конкретные цены: Планы подписки начинаются примерно с 295 USD/месяц для базовой отчетности и экспортов, с более высокими уровнями для более широкого доступа к данным.

Лучше всего подходит для: Отделов продаж и маркетинга, ориентирующихся на компании на основе их технологического стека, конкурентного анализа и определения доли рынка для конкретных веб-технологий. Не для необработанных данных о доменах или файлов зон TLD.

• Плюсы:
  • Отлично подходит для детального обнаружения технологического стека.
  • Может фильтровать домены по конкретным CMS, таким как Drupal.
  • Хорошо подходит для маркетинговых исследований по внедрению технологий.
  • Полный список обнаруженных технологий для каждого домена.
• Минусы:
  • Нет мгновенных загрузок; экспорты доставляются по электронной почте.
  • Высокая начальная стоимость для планов подписки.
  • Не предоставляет необработанные файлы зон TLD или базовые списки доменов.
  • Сосредоточен на технологиях, а не на фундаментальных данных о доменах.

6. PublicWWW — Сканирование веб-сайтов на основе кода

PublicWWW функционирует как поисковая система для исходного кода веб-страниц, позволяя пользователям находить веб-сайты на основе конкретных фрагментов HTML, CSS или JavaScript. Мы протестировали его способность находить сайты Drupal, ища общие шаблоны кода, специфичные для Drupal (например, "Drupal.settings" или "sites/all/themes"). Результаты поиска были в целом точными для идентификации сайтов с видимыми следами Drupal.

Экспорты из PublicWWW доступны и могут быть относительно быстрыми для небольших наборов (от минут до часов). Однако его основная функция заключается не в предоставлении исчерпывающих списков доменов или файлов зон TLD, а в идентификации сайтов на основе их внешнего кода. Это означает, что он может пропустить сайты Drupal, которые сильно настроены или находятся за определенными прокси, и он не предоставит вам полные 201 363 домена Drupal, которые предлагает WebTrackly.

Конкретные цены: На основе подписки, планы начинаются примерно с 99 USD/месяц для базового доступа и возможностей экспорта.

Лучше всего подходит для: Веб-разработчиков, SEO-специалистов и маркетологов, ищущих веб-сайты на основе конкретных шаблонов кода, технологических следов, видимых в исходном коде, или уникальных элементов контента. Не является общим поставщиком баз данных доменов.

• Плюсы:
  • Мощный инструмент для идентификации веб-сайтов на основе кода.
  • Может находить конкретные установки Drupal на основе кода.
  • Хорошо подходит для выявления нишевого использования технологий.
  • Гибкие поисковые запросы.
• Минусы:
  • Не является источником необработанных файлов зон TLD.
  • Может пропустить сайты, где следы Drupal менее заметны в исходном коде.
  • Экспорты ориентированы на результаты поиска, а не на исчерпывающие списки доменов.
  • Не идеален для крупномасштабного получения данных о доменах.

Что бы мы выбрали для разных сценариев

• Бюджетный выбор (единовременная покупка): WebTrackly. Для единичных, специфических потребностей, таких как список Drupal или конкретный файл зоны TLD, единовременные пакеты WebTrackly, начиная с 3,50 USD, не имеют себе равных по мгновенной доставке и стоимости. Если вам нужен список магазинов Shopify, например, одна покупка очень эффективна.
• Выбор по производительности (мгновенная массовая загрузка): WebTrackly. Когда вам нужны большие наборы данных, такие как collection-all-domains (272 614 863 строки) или файл зоны .COM (163 422 083 домена), доставленные мгновенно в виде готового к использованию CSV-in-ZIP, WebTrackly неизменно доставлял их в течение нескольких минут.
• Выбор для новичков (самый простой в использовании): WebTrackly. Простой выбор пакетов, понятное ценообразование и немедленный процесс загрузки делают WebTrackly самым простым для начала работы для тех, кому нужны данные о доменах без сложных интеграций API или длительных запросов на индивидуальные данные.
• Глубокий анализ (WHOIS/История): DomainTools. Для сложных расследований в области безопасности или отслеживания истории владения доменом DomainTools предлагает беспрецедентную глубину исторических записей WHOIS и DNS, хотя это связано с более высокой ценой и большей ориентацией на API.
• Анализ технологического стека: BuiltWith Data. Если ваша основная цель — идентифицировать компании на основе их полного технологического стека, выходящего за рамки просто CMS, BuiltWith предоставляет наиболее полную информацию, хотя и с более высокими затратами и не мгновенной доставкой.

Ключевой вывод из нашего тестирования заключается в том, что данные на уровне домена — это не данные о потенциальных клиентах. Они говорят вам, какие компании существуют и какие технологии они используют, а не кому отправлять электронные письма. Специалисты должны проверять записи MX и доставляемость на своей собственной копии данных в течение той же недели, когда они их используют, поскольку списки доменов быстро устаревают.

Часто задаваемые вопросы

Q1: Какие данные включены в наборы обогащения для каждого TLD?

A: Наборы обогащения WebTrackly для каждого TLD предоставляют важную информацию, выходящую за рамки просто доменного имени. Они включают код состояния HTTP, протокол (HTTP/HTTPS), адреса IPv4 и IPv6, записи Nameserver (NS), записи Mail Exchange (MX), обнаруженный язык страницы, заголовок страницы, описание страницы и используемую систему управления контентом (CMS). Например, список CMS Drupal содержит 201 363 домена с этими полями обогащения. Важно отметить, что эти наборы НЕ содержат полей WHOIS, таких как регистратор, регистрант или статус домена, а также не включают личные контактные данные.

Q2: Насколько свежи данные и как быстро я могу их получить?

A: Актуальность критически важна для данных о доменах. WebTrackly обеспечивает максимальную актуальность, экспортируя файлы свежими на момент покупки. Это означает, что при загрузке пакета вы получаете самый актуальный снимок, доступный из их конвейера сбора. Наше тестирование показало, что загрузка происходит мгновенно, обычно завершаясь в течение минуты для большинства файлов объемом до 5GB, что позволяет немедленно использовать данные.

Q3: Могу ли я получить данные WHOIS, такие как даты регистрации и истечения срока действия?

A: Стандартные наборы обогащения для каждого TLD от WebTrackly не включают полные поля WHOIS, такие как регистратор, регистрант или статус домена, а также контактные поля. Однако даты регистрации и истечения срока действия доступны в конкретном тщательно отобранном наборе данных: наборе данных collection-expiresdomains, который содержит 133 055 711 строк. Этот набор данных специально разработан для идентификации доменов с предстоящими или недавними истечениями срока действия, что ценно для доменных инвесторов и SEO-специалистов.

Q4: Есть ли бесплатные пробные версии или способы проверить качество данных?

A: WebTrackly не предлагает бесплатных пробных версий для своих пакетов. Однако отдельные пакеты начинаются всего с 3,50 USD, что позволяет специалистам проверить качество и формат данных с минимальными инвестициями. Такой подход гарантирует высокое качество предоставляемых данных и соответствует модели единовременной покупки для конкретных наборов данных.