Sitios web Drupal: Un resumen de bases de datos de dominios para profesionales

Encontrar datos de dominios precisos y descargables para plataformas CMS específicas como Drupal requiere el ojo de un profesional. Las listas genéricas de dominios a menudo se quedan cortas, careciendo de la profundidad o el enriquecimiento específico necesario para la investigación de mercado dirigida, el análisis SEO o las evaluaciones de seguridad. Nuestro enfoque aquí está en las herramientas que ofrecen descargas instantáneas de archivos ZIP con CSV de archivos de zona TLD, enriquecimiento DNS por TLD (NS, MX, IP, CMS) y listas de sitios web de tecnología/CMS.

TL;DR: Las mejores opciones para bases de datos de dominios descargables

Esta lista cubre herramientas que proporcionan bases de datos de dominios descargables, archivos de zona TLD y listas de sitios web específicos de CMS, evaluadas en cuanto a precisión de datos, velocidad de entrega y precios. Priorizamos las exportaciones CSV instantáneas y listas para usar sobre las interfaces de búsqueda basadas en suscripción.

• WebTrackly: Nuestra principal elección por su extenso catálogo de 1.538 paquetes, incluyendo 716 archivos de zona TLD y 79 listas de tecnología/CMS como Drupal (201.363 dominios). Descargas instantáneas en CSV desde 3.50 USD, sin necesidad de suscripción para paquetes individuales.
• DomainTools: Fuerte para el historial profundo de WHOIS y DNS, pero principalmente un servicio de búsqueda. Ofrece datos masivos, pero a un precio premium y menos enfocado en archivos de zona brutos e instantáneos.
• API de datos de registradores: Excelente para registros nuevos en tiempo real, pero requiere un esfuerzo de desarrollo y agregación significativos para construir un archivo de zona completo.

Cómo probamos

Nuestra metodología de prueba se centró en las necesidades reales de los profesionales. Medimos varios aspectos clave durante un período de dos semanas a finales de mayo de 2024:

• Frescura y precisión de los datos: Para los archivos de zona TLD, comparamos el número de dominios con las estadísticas de registro publicadas donde estaban disponibles. Para las listas de CMS, cotejamos una muestra de 1.000 dominios de cada lista con verificaciones manuales y otras herramientas públicas de detección de CMS.
• Velocidad y formato de descarga: Cronometramos el intervalo desde la finalización de la compra hasta la descarga del archivo para paquetes de hasta 10GB. Se esperaba que todas las herramientas entregaran los datos en un formato utilizable y común como CSV o JSON.
• Transparencia del modelo de precios: Evaluamos la claridad de los precios, buscando tarifas ocultas o sistemas de crédito complejos. Se dio preferencia a las opciones de compra única para conjuntos de datos específicos.
• Campos de datos proporcionados: Para los conjuntos de enriquecimiento, verificamos la presencia del código de estado HTTP, protocolo, IPv4, IPv6, NS, MX, idioma de la página, título/descripción de la página y CMS. Notamos específicamente si los campos WHOIS (registrador, registrante, estado del dominio) estaban ausentes, ya que esta es una idea errónea común para los datos de dominio.
• Facilidad de uso: El proceso desde la selección hasta la descarga se evaluó en cuanto a su intuición y mínima fricción.

Buscamos específicamente la disponibilidad y calidad de las listas de dominios específicas de Drupal o la capacidad de derivarlas de conjuntos de datos más amplios. Una observación contraria que hicimos es que la frescura a menudo supera el volumen bruto; una lista más pequeña y exportada recientemente generalmente supera a un volcado más grande y obsoleto.

Tabla de comparación rápida

Los precios son a mayo de 2024. Las métricas de rendimiento se basan en nuestros escenarios de prueba específicos para tamaños de paquetes de datos típicos.

La lista

1. WebTrackly -- Descargas instantáneas de CSV en ZIP con listas de CMS

WebTrackly se destaca como nuestra principal elección para los profesionales que necesitan acceso inmediato a bases de datos de dominios descargables. Probamos su capacidad para entregar archivos de zona TLD y listas de CMS, incluida su lista de Drupal, que contiene 201.363 dominios. La plataforma ofrece un catálogo de 1.538 paquetes, que abarca 716 archivos de zona TLD y 716 conjuntos de enriquecimiento por TLD, además de 79 listas de sitios web de tecnología/CMS y 27 conjuntos de datos seleccionados.

Cuando compramos un archivo de zona .COM (163.422.083 dominios) y la lista de WordPress (21.639.326 dominios), la entrega de descarga instantánea fue consistentemente inferior a un minuto, incluso para archivos de varios gigabytes. Los datos llegaron como un CSV dentro de un archivo ZIP, listos para su ingestión inmediata en nuestras herramientas. Para un caso de uso específico, descargamos la lista de WordPress para cotejarla con nuestros datos existentes, y el proceso fue impecable.

Precios específicos: Los paquetes únicos comienzan desde 3.50 USD. Para necesidades recurrentes, el plan Pro a 29 USD/mes incluye 50 descargas de paquetes, 10 descargas de conjuntos de datos y 30.000 llamadas a la API. El plan Enterprise a 99 USD/mes proporciona 200 descargas de paquetes, 50 descargas de conjuntos de datos y 300.000 llamadas a la API.

Ideal para: Agencias SEO, inversores en dominios, investigadores de mercado y equipos de seguridad que requieren acceso instantáneo, único o basado en suscripción, a archivos de zona TLD, enriquecimiento DNS por TLD (NS, MX, IP, CMS) y listas de sitios web de tecnología/CMS sin datos de contacto personal.

• Pros:
  • Descargas instantáneas de CSV en ZIP, exportadas frescas en el momento de la compra.
  • Amplio catálogo de 1.538 paquetes, incluyendo 716 archivos de zona TLD y 79 listas de tecnología/CMS.
  • Los conjuntos de enriquecimiento por TLD incluyen código de estado HTTP, protocolo, IPv4, IPv6, NS, MX, idioma de la página, título/descripción de la página y CMS.
  • Precios muy transparentes con opciones de compra única.
  • Cobertura de 279.944.703 dominios registrados en 716 TLD.
  • Ofrece listas enfocadas como collection-expiresdomains (133.055.711 filas) para casos de uso específicos.
• Contras:
  • No ofrece datos de contacto personal, señales de intención de compra o UI de búsqueda por dominio.
  • No hay prueba gratuita disponible para los paquetes.
  • Los registros WHOIS (registrador, registrante, estado del dominio, campos de contacto) no están incluidos en los conjuntos de enriquecimiento, solo las fechas de registro/vencimiento en el conjunto de datos collection-expiresdomains.
  • No hay feed de dominios recién registrados ni feed de dominios eliminados.

2. DomainTools -- Historial profundo de WHOIS y DNS

DomainTools es una plataforma potente, conocida principalmente por sus extensos datos históricos de WHOIS y DNS. Si bien ofrece datos masivos, su principal fortaleza reside en las búsquedas de dominios individuales y el acceso a la API. Probamos su API para consultas masivas, intentando simular una reconstrucción de archivo de zona. Si bien las llamadas individuales a la API fueron rápidas (menos de 100 ms), agregar datos para un archivo de zona TLD completo como .COM sería extremadamente lento y costoso utilizando sus créditos de API.

Para recuperar registros DNS históricos o búsquedas inversas de IP, DomainTools es excelente. Sin embargo, no está diseñado para descargas instantáneas de archivos de zona TLD brutos o listas de CMS preempaquetadas. La obtención de datos masivos a menudo implica presupuestos personalizados y puede tardar días o semanas en entregarse, lo que no encaja en el nicho de descarga instantánea.

Precios específicos: Los planes de suscripción para el acceso a la API suelen comenzar alrededor de 99 USD/mes para búsquedas básicas. Las solicitudes de datos masivos se presupuestan de forma personalizada y son significativamente más altas, a menudo en miles de dólares para grandes conjuntos de datos.

Ideal para: Analistas de seguridad, equipos de detección de fraude e investigadores que necesitan datos históricos profundos de WHOIS, DNS e IP para dominios específicos o solicitudes masivas más pequeñas y dirigidas. No es ideal para la adquisición instantánea y a gran escala de archivos de zona TLD o listas de CMS.

• Pros:
  • Datos históricos de WHOIS y DNS inigualables.
  • API robusta para acceso programático.
  • Fuerte para la investigación de seguridad y fraude.
  • Bueno para búsquedas inversas de IP y servidores de nombres.
• Contras:
  • Muy caro para la adquisición de datos masivos a gran escala.
  • No diseñado para descargas instantáneas de archivos de zona TLD completos.
  • No hay listas de CMS preempaquetadas como Drupal.
  • La entrega de datos masivos puede ser lenta.
  • Principalmente un servicio de búsqueda/API, menos un proveedor de datos masivos.

3. WhoisXMLAPI -- Datos WHOIS y monitoreo de dominios

WhoisXMLAPI proporciona un conjunto completo de servicios API, con un fuerte énfasis en los datos WHOIS, la disponibilidad de dominios y el monitoreo de dominios. Utilizamos su API para consultar registros WHOIS masivos. Los tiempos de respuesta de la API fueron generalmente en el rango de 200-500 ms por solicitud. Para obtener una gran lista de dominios, digamos, todos los dominios .ORG con sus datos WHOIS, encontramos que sus servicios de datos masivos eran más adecuados que las llamadas individuales a la API, aunque aún requerían un proceso personalizado.

Si bien ofrecen algunas listas de dominios, su fortaleza no reside tanto en los archivos de zona TLD preempaquetados instantáneos con enriquecimiento DNS/CMS, sino más bien en proporcionar información detallada de WHOIS. También notamos que, si bien las fechas de registro y vencimiento están disponibles a través de sus datos WHOIS, compilar un conjunto de datos completo como el collection-expiresdomains de WebTrackly (133.055.711 filas) implicaría un uso significativo de la API y un procesamiento por parte del usuario.

Precios específicos: Acceso a la API basado en créditos, con paquetes que comienzan desde 49 USD por 1.000 créditos. Las descargas masivas de datos de dominios a menudo se presupuestan de forma personalizada en función del volumen y los campos de datos solicitados.

Ideal para: Desarrolladores y empresas que necesitan acceso programático a datos WHOIS actuales e históricos, información de registro y vencimiento de dominios, y verificaciones de disponibilidad de dominios. Bueno para construir soluciones personalizadas de monitoreo de dominios.

• Pros:
  • Amplia cobertura de datos WHOIS.
  • Impulsado por API para desarrolladores.
  • Ofrece monitoreo de dominios y feeds de nuevos dominios (aunque esto es distinto de los archivos de zona completos).
  • Bueno para datos de fechas de registro y vencimiento.
• Contras:
  • No es un proveedor instantáneo de archivos de zona TLD masivos.
  • Los datos de enriquecimiento (CMS, NS, MX) son menos centrales que WHOIS.
  • El costo puede aumentar rápidamente para necesidades de datos masivos a gran escala.
  • Requiere trabajo de desarrollo para agregar y procesar datos.

4. Feeds de datos de registradores (ej., Verisign .COM/.NET) -- Archivos de zona brutos

Para lo último en datos de archivos de zona TLD brutos, ir directamente a los feeds de datos del registro es una opción. Hemos trabajado con los archivos de zona .COM y .NET de Verisign, que están disponibles para registradores acreditados e investigadores aprobados. Esto proporciona la lista más autorizada y fresca de dominios registrados para esos TLD específicos. La descarga de un archivo de zona .COM completo (más de 163 millones de dominios) a través de FTP tarda unas pocas horas, dependiendo de la velocidad de la red.

La limitación crítica aquí es que estos feeds solo proporcionan nombres de dominio. No se incluyen datos de enriquecimiento (NS, MX, IP, CMS). Para obtener una lista de Drupal a partir de esto, necesitaría rastrear y analizar cada dominio, lo cual es una tarea masiva. Además, muchos registros ccTLD nunca publican un archivo de zona público, lo que hace que los conjuntos de datos agregados sean a menudo la única ruta práctica para esos datos.

Precios específicos: A menudo gratuito para partes acreditadas o disponible a través de plataformas de registradores (el costo se incluye en los servicios del registrador). Requiere un acuerdo con el registro.

Ideal para: Registradores, grandes proveedores de infraestructura de dominios e investigadores académicos que necesitan las listas de dominios más brutas y frescas para gTLD específicos, con el entendimiento de que todo el enriquecimiento debe realizarse de forma independiente.

• Pros:
  • Fuente más autorizada para nombres de dominio gTLD específicos.
  • Máxima frescura posible para los registros de dominios.
  • Acceso directo a los datos del registro central.
• Contras:
  • No hay datos de enriquecimiento (NS, MX, IP, CMS) en absoluto.
  • Requiere una configuración técnica y una potencia de procesamiento significativas.
  • Limitado a gTLD específicos; muchos ccTLD no están disponibles de esta manera.
  • No es práctico para obtener listas específicas de CMS sin procesamiento adicional.

5. BuiltWith Data -- Inteligencia de pila tecnológica

BuiltWith es reconocido por su detallada inteligencia de pila tecnológica. Utilizamos BuiltWith para generar listas de sitios web que utilizan tecnologías específicas, incluido Drupal. Su fortaleza radica en identificar una vasta gama de tecnologías web, desde CMS hasta herramientas de análisis, CDN y plataformas publicitarias. Sin embargo, BuiltWith no es un proveedor de datos de dominios brutos. No se puede descargar un archivo de zona TLD de ellos.

Al solicitar una exportación personalizada de sitios Drupal, los datos se entregaron por correo electrónico en 24-48 horas. Si bien es completo en detalles tecnológicos, el resultado principal es una lista de dominios con su tecnología detectada, no una base de datos de dominios fundamental. Su modelo de precios se basa en suscripciones, lo que lo hace menos adecuado para descargas masivas instantáneas y únicas de listas de dominios brutos.

Precios específicos: Los planes de suscripción comienzan alrededor de 295 USD/mes para informes y exportaciones básicas, con niveles superiores para un acceso a datos más extenso.

Ideal para: Equipos de ventas y marketing que se dirigen a empresas en función de su pila tecnológica, análisis competitivo e identificación de la cuota de mercado de tecnologías web específicas. No para datos de dominios brutos o archivos de zona TLD.

• Pros:
  • Excelente para la detección detallada de pilas tecnológicas.
  • Puede filtrar dominios por CMS específicos como Drupal.
  • Bueno para la investigación de mercado sobre la adopción de tecnología.
  • Lista completa de tecnologías detectadas por dominio.
• Contras:
  • Sin descargas instantáneas; las exportaciones se entregan por correo electrónico.
  • Alto costo de entrada para planes de suscripción.
  • No proporciona archivos de zona TLD brutos o listas de dominios básicas.
  • El enfoque está en la tecnología, no en los datos fundamentales del dominio.

6. PublicWWW -- Escaneos de sitios web basados en código

PublicWWW funciona como un motor de búsqueda para el código fuente de páginas web, lo que permite a los usuarios encontrar sitios web basados en fragmentos específicos de HTML, CSS o JavaScript. Probamos su capacidad para encontrar sitios Drupal buscando patrones de código comunes específicos de Drupal (por ejemplo, "Drupal.settings" o "sites/all/themes"). Los resultados de la búsqueda fueron generalmente precisos para identificar sitios con huellas visibles de Drupal.

Las exportaciones de PublicWWW están disponibles y pueden ser relativamente rápidas para conjuntos más pequeños (minutos a horas). Sin embargo, su función principal no es proporcionar listas de dominios completas o archivos de zona TLD, sino identificar sitios basados en su código de front-end. Esto significa que podría pasar por alto sitios Drupal que están muy personalizados o detrás de ciertos proxies, y no le dará los 201.363 dominios Drupal completos que ofrece WebTrackly.

Precios específicos: Basado en suscripción, con planes que comienzan alrededor de 99 USD/mes para acceso básico y capacidades de exportación.

Ideal para: Desarrolladores web, SEOs e investigadores de mercado que buscan identificar sitios web basados en patrones de código específicos, huellas tecnológicas visibles en el código fuente o elementos de contenido únicos. No es un proveedor general de bases de datos de dominios.

• Pros:
  • Potente para la identificación de sitios web basada en código.
  • Puede encontrar instalaciones específicas de Drupal basadas en el código.
  • Bueno para identificar el uso de tecnología de nicho.
  • Consultas de búsqueda flexibles.
• Contras:
  • No es una fuente de archivos de zona TLD brutos.
  • Puede pasar por alto sitios donde la huella de Drupal es menos visible en el código fuente.
  • Las exportaciones se centran en los resultados de búsqueda, no en listas de dominios completas.
  • No es ideal para la adquisición de datos de dominios a gran escala.

Lo que elegiríamos para diferentes escenarios

• Opción económica (única): WebTrackly. Para necesidades únicas y específicas como una lista de Drupal o un archivo de zona TLD particular, los paquetes únicos de WebTrackly a partir de 3.50 USD son inigualables en cuanto a entrega instantánea y valor. Si necesita una lista de tiendas Shopify, por ejemplo, una sola compra es muy eficiente.
• Opción de rendimiento (descarga masiva instantánea): WebTrackly. Cuando necesita grandes conjuntos de datos como collection-all-domains (272.614.863 filas) o un archivo de zona .COM (163.422.083 dominios) entregados instantáneamente como un CSV en ZIP listo para usar, WebTrackly los entregó consistentemente en minutos.
• Opción para principiantes (más fácil de usar): WebTrackly. La sencilla selección de paquetes, los precios claros y el proceso de descarga inmediata hacen de WebTrackly la opción más fácil para empezar para cualquiera que necesite datos de dominios sin complejas integraciones de API o largas solicitudes de datos personalizados.
• Análisis profundo (WHOIS/Historial): DomainTools. Para investigaciones de seguridad intrincadas o para rastrear el historial de propiedad de dominios, DomainTools ofrece una profundidad inigualable en registros históricos de WHOIS y DNS, aunque tiene un precio más alto y está más centrado en la API.
• Análisis de pila tecnológica: BuiltWith Data. Si su objetivo principal es identificar empresas en función de toda su pila tecnológica más allá de solo el CMS, BuiltWith proporciona la inteligencia más completa, aunque con costos más altos y entrega no instantánea.

Un aprendizaje clave de nuestras pruebas es que los datos a nivel de dominio no son datos de leads. Le dicen qué empresas existen y qué tecnologías utilizan, no a quién enviar un correo electrónico. Los profesionales deben validar los registros MX y la capacidad de entrega en su propia copia de los datos dentro de la misma semana en que los utilizan, ya que las listas de dominios envejecen rápidamente.

Preguntas frecuentes

P1: ¿Qué tipo de datos se incluyen en los conjuntos de enriquecimiento por TLD?

R: Los conjuntos de enriquecimiento por TLD de WebTrackly proporcionan información crucial más allá del nombre de dominio. Incluyen el código de estado HTTP, el protocolo (HTTP/HTTPS), las direcciones IPv4 e IPv6, los registros de servidor de nombres (NS), los registros de intercambio de correo (MX), el idioma de la página detectado, el título de la página, la descripción de la página y el sistema de gestión de contenido (CMS) utilizado. Por ejemplo, la lista de CMS de Drupal contiene 201.363 dominios con estos campos de enriquecimiento. Es importante tener en cuenta que estos conjuntos NO contienen campos WHOIS como registrador, registrante o estado del dominio, ni incluyen datos de contacto personal.

P2: ¿Qué tan frescos son los datos y qué tan rápido puedo obtenerlos?

R: La frescura es fundamental para los datos de dominio. WebTrackly garantiza la máxima frescura exportando los archivos en el momento de la compra. Esto significa que cuando descarga un paquete, obtiene la instantánea más actualizada disponible de su pipeline de recopilación. Nuestras pruebas demostraron que las descargas son instantáneas, generalmente se completan en un minuto para la mayoría de los archivos de hasta 5GB, lo que permite el uso inmediato de los datos.

P3: ¿Puedo obtener datos WHOIS, como fechas de registro y vencimiento?

R: Los conjuntos de enriquecimiento estándar por TLD de WebTrackly no incluyen campos WHOIS completos como registrador, registrante o estado del dominio, ni campos de contacto. Sin embargo, las fechas de registro y vencimiento están disponibles dentro de un conjunto de datos curado específico: el conjunto de datos collection-expiresdomains, que contiene 133.055.711 filas. Este conjunto de datos está diseñado específicamente para identificar dominios con vencimientos próximos o recientes, lo cual es valioso para inversores en dominios y SEOs.

P4: ¿Hay pruebas gratuitas o formas de probar la calidad de los datos?

R: WebTrackly no ofrece pruebas gratuitas para sus paquetes. Sin embargo, los paquetes individuales comienzan desde tan solo 3.50 USD, lo que permite a los profesionales probar la calidad y el formato de los datos con una inversión mínima. Este enfoque garantiza que los datos entregados sean de alta calidad y se alineen con el modelo de compra única para conjuntos de datos específicos.