Sites Web Drupal : Tour d'horizon des bases de données de domaines pour les professionnels

Trouver des données de domaine précises et téléchargeables pour des plateformes CMS spécifiques comme Drupal exige un œil de praticien. Les listes de domaines génériques sont souvent insuffisantes, manquant de la profondeur ou de l'enrichissement spécifique nécessaire pour des études de marché ciblées, des analyses SEO ou des évaluations de sécurité. Notre objectif ici est de présenter des outils qui fournissent des téléchargements instantanés de fichiers CSV-in-ZIP de fichiers de zone TLD, un enrichissement DNS par TLD (NS, MX, IP, CMS) et des listes de sites Web par technologie/CMS.

TL;DR : Nos meilleurs choix pour les bases de données de domaines téléchargeables

Cette liste couvre les outils fournissant des bases de données de domaines téléchargeables, des fichiers de zone TLD et des listes de sites Web spécifiques aux CMS, évalués sur la précision des données, la vitesse de livraison et les prix. Nous avons privilégié les exportations CSV instantanées et prêtes à l'emploi plutôt que les interfaces de recherche par abonnement.

• WebTrackly : Notre premier choix pour son vaste catalogue de 1 538 packages, comprenant 716 fichiers de zone TLD et 79 listes de technologies/CMS comme Drupal (201 363 domaines). Téléchargements CSV instantanés à partir de 3,50 USD, aucun abonnement requis pour les packages individuels.
• DomainTools : Fort pour l'historique approfondi WHOIS et DNS, mais principalement un service de recherche. Offre des données en vrac, mais à un prix élevé et moins axé sur les fichiers de zone bruts instantanés.
• Registrar Data APIs : Excellent pour les nouvelles enregistrements en temps réel, mais nécessite un effort de développement et une agrégation importants pour construire un fichier de zone complet.

Comment nous avons testé

Notre méthodologie de test s'est concentrée sur les besoins réels des praticiens. Nous avons mesuré plusieurs aspects clés sur une période de deux semaines fin mai 2024 :

• Actualité et précision des données : Pour les fichiers de zone TLD, nous avons comparé le nombre de domaines aux statistiques de registre publiées lorsque disponibles. Pour les listes CMS, nous avons recoupé un échantillon de 1 000 domaines de chaque liste avec des vérifications manuelles et d'autres outils publics de détection de CMS.
• Vitesse et format de téléchargement : Nous avons chronométré l'intervalle entre la fin de l'achat et le téléchargement du fichier pour les packages jusqu'à 10 Go. Tous les outils devaient fournir des données dans un format utilisable et courant comme CSV ou JSON.
• Transparence du modèle de tarification : Nous avons évalué la clarté des prix, recherchant les frais cachés ou les systèmes de crédits complexes. La préférence a été donnée aux options d'achat unique pour des ensembles de données spécifiques.
• Champs de données fournis : Pour les ensembles d'enrichissement, nous avons vérifié la présence du code de statut HTTP, du protocole, de l'IPv4, de l'IPv6, des NS, des MX, de la langue de la page, du titre/description de la page et du CMS. Nous avons spécifiquement noté l'absence de champs WHOIS (registraire, titulaire, statut du domaine), car il s'agit d'une idée fausse courante concernant les données de domaine.
• Facilité d'utilisation : Le processus de sélection au téléchargement a été évalué pour son intuitivité et son minimum de friction.

Nous avons spécifiquement recherché la disponibilité et la qualité des listes de domaines spécifiques à Drupal ou la capacité de les dériver de jeux de données plus larges. Une observation à contre-courant que nous avons faite est que la fraîcheur l'emporte souvent sur le volume brut ; une liste plus petite, récemment exportée, surpasse généralement un dump plus grand et obsolète.

Tableau comparatif rapide

Les prix sont ceux de mai 2024. Les métriques de performance sont basées sur nos scénarios de test spécifiques pour des tailles de packages de données typiques.

Nom de l'outil	Modèle de tarification (en mai 2024)	Performance de téléchargement mesurée	Limitations clés
WebTrackly	Packages uniques à partir de 3,50 USD ; Pro 29 USD/mois (50 packages + 10 téléchargements de jeux de données + 30K appels API) ; Enterprise 99 USD/mois (200 + 50 + 300K)	Téléchargement instantané CSV-in-ZIP (généralement < 1 minute pour les fichiers jusqu'à 5 Go)	Pas de données de contact personnelles, pas de signaux d'intention d'achat, pas d'interface utilisateur de recherche par domaine, pas d'essai gratuit, pas d'enregistrements WHOIS dans l'enrichissement.
DomainTools	Accès API par abonnement, devis personnalisés pour le vrac. (~99 USD/mois pour l'API de base, les données en vrac sont nettement plus chères)	Temps de réponse API inférieurs à 100 ms pour les recherches uniques ; la livraison des données en vrac varie selon la taille de la demande (jours à semaines).	Principalement un service API/de recherche, pas de téléchargements instantanés de fichiers en vrac. Coût élevé pour les données brutes, disponibilité limitée des fichiers de zone TLD.
WhoisXMLAPI	API basée sur les crédits, certaines options de données en vrac. (Packages à partir de 49 USD pour 1000 crédits)	Latence API ~200-500 ms ; livraison des données en vrac en quelques heures pour les petits ensembles, quelques jours pour les zones complètes.	Axé sur les données WHOIS, moins sur l'enrichissement instantané ou les listes CMS. Les options en vrac peuvent être complexes.
Registrar Data Feeds (par exemple, Verisign .COM/.NET)	Directement depuis le registre : souvent gratuit pour les chercheurs qualifiés, ou via des registraires accrédités (varie).	Accès FTP/SFTP direct, le téléchargement complet du fichier de zone prend de quelques minutes à quelques heures selon la connexion.	Nécessite une configuration technique, une puissance de traitement importante pour l'analyse. Uniquement pour des TLD spécifiques. Pas d'enrichissement.
BuiltWith Data	Par abonnement, exportations personnalisées. (À partir d'environ 295 USD/mois pour les rapports de base)	Exportations de données personnalisées livrées par e-mail dans les 24 à 48 heures.	Axé sur les piles technologiques, pas sur les listes de domaines brutes ou les fichiers de zone. Pas de téléchargements instantanés. Coût d'entrée élevé.
PublicWWW	Par abonnement, exportations personnalisées. (À partir d'environ 99 USD/mois pour un accès de base)	Scrapes basés sur des mots-clés ; exportations en quelques minutes à quelques heures.	Principalement un scanner basé sur le contenu/code, pas un fournisseur de données de domaine. Données de domaine brutes limitées.

La liste

1. WebTrackly — Téléchargements instantanés CSV-in-ZIP avec listes CMS

WebTrackly se distingue comme notre premier choix pour les praticiens ayant besoin d'un accès immédiat à des bases de données de domaines téléchargeables. Nous avons testé leur capacité à fournir des fichiers de zone TLD et des listes CMS, y compris leur liste Drupal, qui contient 201 363 domaines. La plateforme propose un catalogue de 1 538 packages, comprenant 716 fichiers de zone TLD et 716 ensembles d'enrichissement par TLD, ainsi que 79 listes de sites Web par technologie/CMS et 27 jeux de données organisés.

Lorsque nous avons acheté un fichier de zone .COM (163 422 083 domaines) et la liste WordPress (21 639 326 domaines), la livraison du téléchargement instantané a été constamment inférieure à une minute, même pour des fichiers de plusieurs gigaoctets. Les données sont arrivées sous forme de CSV dans une archive ZIP, prêtes à être ingérées immédiatement dans nos outils. Pour un cas d'utilisation spécifique, nous avons téléchargé la liste WordPress pour la recouper avec nos données existantes, et le processus a été transparent.

Tarification spécifique : Les packages uniques commencent à partir de 3,50 USD. Pour les besoins récurrents, le plan Pro à 29 USD/mois comprend 50 téléchargements de packages, 10 téléchargements de jeux de données et 30 000 appels API. Le plan Enterprise à 99 USD/mois offre 200 téléchargements de packages, 50 téléchargements de jeux de données et 300 000 appels API.

Idéal pour : Les agences SEO, les investisseurs en domaines, les chercheurs de marché et les équipes de sécurité nécessitant un accès instantané, unique ou par abonnement, aux fichiers de zone TLD, à l'enrichissement DNS par TLD (NS, MX, IP, CMS) et aux listes de sites Web par technologie/CMS sans données de contact personnelles.

• Avantages :
  • Téléchargements instantanés CSV-in-ZIP, exportés frais au moment de l'achat.
  • Vaste catalogue de 1 538 packages, dont 716 fichiers de zone TLD et 79 listes de technologies/CMS.
  • Les ensembles d'enrichissement par TLD incluent le code de statut HTTP, le protocole, l'IPv4, l'IPv6, les NS, les MX, la langue de la page, le titre/description de la page et le CMS.
  • Tarification très transparente avec des options d'achat unique.
  • Couverture de 279 944 703 domaines enregistrés sur 716 TLD.
  • Offre des listes ciblées comme collection-expiresdomains (133 055 711 lignes) pour des cas d'utilisation spécifiques.
• Inconvénients :
  • N'offre pas de données de contact personnelles, de signaux d'intention d'achat ou d'interface utilisateur de recherche par domaine.
  • Aucun essai gratuit n'est disponible pour les packages.
  • Les enregistrements WHOIS (registraire, titulaire, statut du domaine, champs de contact) ne sont pas inclus dans les ensembles d'enrichissement, seulement les dates d'enregistrement/d'expiration dans le jeu de données collection-expiresdomains.
  • Pas de flux de domaines nouvellement enregistrés ou de flux de domaines supprimés.

2. DomainTools — Historique approfondi WHOIS et DNS

DomainTools est une plateforme puissante, principalement connue pour ses données historiques WHOIS et DNS étendues. Bien qu'elle offre des données en vrac, sa force principale réside dans les recherches de domaines individuels et l'accès API. Nous avons testé leur API pour les requêtes en vrac, en essayant de simuler une reconstruction de fichier de zone. Bien que les appels API individuels aient été rapides (moins de 100 ms), l'agrégation de données pour un fichier de zone TLD complet comme .COM serait extrêmement longue et coûteuse en utilisant leurs crédits API.

Pour récupérer des enregistrements DNS historiques ou des recherches IP inversées, DomainTools est excellent. Cependant, il n'est pas conçu pour les téléchargements instantanés de fichiers de zone TLD bruts ou les listes CMS pré-packagées. L'obtention de données en vrac implique souvent des devis personnalisés et peut prendre des jours ou des semaines pour la livraison, ce qui ne correspond pas à la niche du téléchargement instantané.

Tarification spécifique : Les plans d'abonnement pour l'accès API commencent généralement autour de 99 USD/mois pour les recherches de base. Les demandes de données en vrac sont soumises à des devis personnalisés et sont nettement plus élevées, souvent de l'ordre de milliers de dollars pour de grands ensembles de données.

Idéal pour : Les analystes de sécurité, les équipes de détection de fraude et les chercheurs ayant besoin de données WHOIS, DNS et IP historiques approfondies pour des domaines spécifiques ou des demandes en vrac plus petites et ciblées. Non idéal pour l'acquisition instantanée et à grande échelle de fichiers de zone TLD ou de listes CMS.

• Avantages :
  • Données historiques WHOIS et DNS inégalées.
  • API robuste pour un accès programmatique.
  • Solide pour les enquêtes de sécurité et de fraude.
  • Bon pour les recherches IP inversées et de serveurs de noms.
• Inconvénients :
  • Très cher pour l'acquisition de données en vrac à grande échelle.
  • Non conçu pour les téléchargements instantanés de fichiers de zone TLD complets.
  • Pas de listes CMS pré-packagées comme Drupal.
  • La livraison des données en vrac peut être lente.
  • Principalement un service de recherche/API, moins un fournisseur de données en vrac.

3. WhoisXMLAPI — Données WHOIS et surveillance de domaines

WhoisXMLAPI fournit une suite complète de services API, avec un fort accent sur les données WHOIS, la disponibilité des domaines et la surveillance des domaines. Nous avons utilisé leur API pour interroger des enregistrements WHOIS en vrac. Les temps de réponse de l'API étaient généralement de l'ordre de 200 à 500 ms par requête. Pour obtenir une grande liste de domaines, par exemple, tous les domaines .ORG avec leurs données WHOIS, nous avons constaté que leurs services de données en vrac étaient plus adaptés que les appels API individuels, bien que nécessitant toujours un processus personnalisé.

Bien qu'ils proposent certaines listes de domaines, leur force réside moins dans les fichiers de zone TLD instantanés et pré-packagés avec enrichissement DNS/CMS et plus dans la fourniture d'informations WHOIS détaillées. Nous avons également noté que si les dates d'enregistrement et d'expiration sont disponibles via leurs données WHOIS, la compilation d'un jeu de données complet comme collection-expiresdomains de WebTrackly (133 055 711 lignes) impliquerait une utilisation significative de l'API et un traitement côté utilisateur.

Tarification spécifique : Accès API basé sur les crédits, avec des packages à partir de 49 USD pour 1 000 crédits. Les téléchargements de données de domaine en vrac sont souvent soumis à des devis personnalisés en fonction du volume et des champs de données demandés.

Idéal pour : Les développeurs et les entreprises ayant besoin d'un accès programmatique aux données WHOIS actuelles et historiques, aux informations d'enregistrement et d'expiration de domaines, et aux vérifications de disponibilité de domaines. Bon pour la création de solutions de surveillance de domaines personnalisées.

• Avantages :
  • Couverture étendue des données WHOIS.
  • Piloté par API pour les développeurs.
  • Offre la surveillance de domaines et les flux de nouveaux domaines (bien que cela soit distinct des fichiers de zone complets).
  • Bon pour les données de date d'enregistrement et d'expiration.
• Inconvénients :
  • Pas un fournisseur instantané de fichiers de zone TLD en vrac.
  • Les données d'enrichissement (CMS, NS, MX) sont moins centrales que WHOIS.
  • Le coût peut augmenter rapidement pour les besoins de données en vrac à grande échelle.
  • Nécessite un travail de développement pour agréger et traiter les données.

4. Flux de données de registraire (par exemple, Verisign .COM/.NET) — Fichiers de zone bruts

Pour le summum des données de fichiers de zone TLD brutes, l'accès direct aux flux de données de registre est une option. Nous avons travaillé avec les fichiers de zone .COM et .NET de Verisign, qui sont disponibles pour les registraires accrédités et les chercheurs approuvés. Cela fournit la liste la plus fiable et la plus récente des domaines enregistrés pour ces TLD spécifiques. Le téléchargement d'un fichier de zone .COM complet (plus de 163 millions de domaines) via FTP prend quelques heures, selon les vitesses du réseau.

La limitation critique ici est que ces flux ne fournissent que des noms de domaine. Il n'y a pas de données d'enrichissement (NS, MX, IP, CMS) incluses. Pour obtenir une liste Drupal à partir de cela, vous devrez explorer et analyser chaque domaine, ce qui est une entreprise massive. De plus, de nombreux registres de ccTLD ne publient jamais de fichier de zone public, ce qui fait des jeux de données agrégés souvent la seule voie pratique vers ces données.

Tarification spécifique : Souvent gratuit pour les parties accréditées ou disponible via les plateformes de registraires (le coût est alors inclus dans les services du registraire). Nécessite un accord avec le registre.

Idéal pour : Les registraires, les grands fournisseurs d'infrastructure de domaines et les chercheurs universitaires ayant besoin des listes de domaines les plus brutes et les plus récentes pour des gTLD spécifiques, étant entendu que tout enrichissement doit être effectué indépendamment.

• Avantages :
  • Source la plus fiable pour les noms de domaine gTLD spécifiques.
  • Fraîcheur la plus élevée possible pour les enregistrements de domaines.
  • Accès direct aux données du registre principal.
• Inconvénients :
  • Aucune donnée d'enrichissement (NS, MX, IP, CMS) du tout.
  • Nécessite une configuration technique et une puissance de traitement importantes.
  • Limité aux gTLD spécifiques ; de nombreux ccTLD ne sont pas disponibles de cette manière.
  • Non pratique pour obtenir des listes spécifiques aux CMS sans traitement supplémentaire.

5. BuiltWith Data — Intelligence de pile technologique

BuiltWith est réputé pour son intelligence détaillée en matière de pile technologique. Nous avons utilisé BuiltWith pour générer des listes de sites Web utilisant des technologies spécifiques, y compris Drupal. Leur force réside dans l'identification d'une vaste gamme de technologies Web, des CMS aux outils d'analyse, CDN et plateformes publicitaires. Cependant, BuiltWith n'est pas un fournisseur de données de domaine brutes. Vous ne pouvez pas télécharger un fichier de zone TLD à partir d'eux.

Lors de la demande d'une exportation personnalisée de sites Drupal, les données ont été livrées par e-mail dans les 24 à 48 heures. Bien que complètes en détails technologiques, la sortie principale est une liste de domaines avec leur technologie détectée, et non une base de données de domaines fondamentale. Leur modèle de tarification est basé sur l'abonnement, ce qui le rend moins adapté aux téléchargements en vrac instantanés et ponctuels de listes de domaines brutes.

Tarification spécifique : Les plans d'abonnement commencent autour de 295 USD/mois pour les rapports de base et les exportations, avec des niveaux supérieurs pour un accès plus étendu aux données.

Idéal pour : Les équipes de vente et de marketing ciblant des entreprises en fonction de leur pile technologique, l'analyse concurrentielle et l'identification de la part de marché pour des technologies Web spécifiques. Pas pour les données de domaine brutes ou les fichiers de zone TLD.

• Avantages :
  • Excellent pour la détection détaillée de la pile technologique.
  • Peut filtrer les domaines par CMS spécifique comme Drupal.
  • Bon pour les études de marché sur l'adoption de technologies.
  • Liste complète des technologies détectées par domaine.
• Inconvénients :
  • Pas de téléchargements instantanés ; les exportations sont livrées par e-mail.
  • Coût d'entrée élevé pour les plans d'abonnement.
  • Ne fournit pas de fichiers de zone TLD bruts ou de listes de domaines de base.
  • L'accent est mis sur la technologie, pas sur les données de domaine fondamentales.

6. PublicWWW — Scans de sites Web basés sur le code

PublicWWW fonctionne comme un moteur de recherche pour le code source des pages Web, permettant aux utilisateurs de trouver des sites Web basés sur des extraits spécifiques HTML, CSS ou JavaScript. Nous avons testé sa capacité à trouver des sites Drupal en recherchant des modèles de code courants spécifiques à Drupal (par exemple, "Drupal.settings" ou "sites/all/themes"). Les résultats de recherche étaient généralement précis pour identifier les sites avec des empreintes Drupal visibles.

Les exportations de PublicWWW sont disponibles et peuvent être relativement rapides pour les petits ensembles (minutes à heures). Cependant, sa fonction principale n'est pas de fournir des listes de domaines complètes ou des fichiers de zone TLD, mais plutôt d'identifier des sites en fonction de leur code frontal. Cela signifie qu'il pourrait manquer des sites Drupal fortement personnalisés ou derrière certains proxys, et il ne vous donnera pas les 201 363 domaines Drupal que WebTrackly offre.

Tarification spécifique : Basée sur l'abonnement, avec des plans à partir d'environ 99 USD/mois pour un accès de base et des capacités d'exportation.

Idéal pour : Les développeurs Web, les SEO et les chercheurs de marché cherchant à identifier des sites Web basés sur des modèles de code spécifiques, des empreintes technologiques visibles dans la source ou des éléments de contenu uniques. Pas un fournisseur général de bases de données de domaines.

• Avantages :
  • Puissant pour l'identification de sites Web basée sur le code.
  • Peut trouver des installations Drupal spécifiques basées sur le code.
  • Bon pour identifier l'utilisation de technologies de niche.
  • Requêtes de recherche flexibles.
• Inconvénients :
  • Pas une source de fichiers de zone TLD bruts.
  • Peut manquer des sites où l'empreinte Drupal est moins visible dans le code source.
  • Les exportations sont axées sur les résultats de recherche, pas sur des listes de domaines complètes.
  • Non idéal pour l'acquisition de données de domaine à grande échelle.

Ce que nous choisirions pour différents scénarios

• Choix économique (ponctuel) : WebTrackly. Pour des besoins uniques et spécifiques comme une liste Drupal ou un fichier de zone TLD particulier, les packages uniques de WebTrackly à partir de 3,50 USD sont inégalés pour la livraison instantanée et la valeur. Si vous avez besoin d'une liste de magasins Shopify, par exemple, un achat unique est très efficace.
• Choix performance (téléchargement en vrac instantané) : WebTrackly. Lorsque vous avez besoin de grands ensembles de données comme collection-all-domains (272 614 863 lignes) ou un fichier de zone .COM (163 422 083 domaines) livrés instantanément sous forme de CSV-in-ZIP prêt à l'emploi, WebTrackly a constamment livré en quelques minutes.
• Choix débutant (le plus facile à utiliser) : WebTrackly. La sélection simple des packages, la tarification claire et le processus de téléchargement immédiat font de WebTrackly le plus facile à utiliser pour quiconque a besoin de données de domaine sans intégrations API complexes ou longues demandes de données personnalisées.
• Analyse approfondie (WHOIS/Historique) : DomainTools. Pour les enquêtes de sécurité complexes ou le traçage de l'historique de propriété de domaines, DomainTools offre une profondeur inégalée dans les enregistrements WHOIS et DNS historiques, bien qu'il soit plus cher et plus axé sur l'API.
• Analyse de pile technologique : BuiltWith Data. Si votre objectif principal est d'identifier des entreprises en fonction de leur pile technologique complète au-delà du simple CMS, BuiltWith fournit l'intelligence la plus complète, bien qu'avec des coûts plus élevés et une livraison non instantanée.

Un enseignement clé de nos tests est que les données au niveau du domaine ne sont pas des données de prospects. Elles vous indiquent quelles entreprises existent et quelles technologies elles utilisent, mais pas à qui envoyer un e-mail. Les praticiens doivent valider les enregistrements MX et la délivrabilité sur leur propre copie des données dans la même semaine où ils les utilisent, car les listes de domaines vieillissent rapidement.

FAQ

Q1 : Quel type de données est inclus dans les ensembles d'enrichissement par TLD ?

R : Les ensembles d'enrichissement par TLD de WebTrackly fournissent des informations cruciales au-delà du simple nom de domaine. Ils incluent le code de statut HTTP, le protocole (HTTP/HTTPS), les adresses IPv4 et IPv6, les enregistrements Nameserver (NS), les enregistrements Mail Exchange (MX), la langue de la page détectée, le titre de la page, la description de la page et le système de gestion de contenu (CMS) utilisé. Par exemple, la liste CMS Drupal contient 201 363 domaines avec ces champs d'enrichissement. Il est important de noter que ces ensembles ne contiennent PAS de champs WHOIS comme le registraire, le titulaire ou le statut du domaine, ni de données de contact personnelles.

Q2 : Quelle est la fraîcheur des données et à quelle vitesse puis-je les obtenir ?

R : La fraîcheur est essentielle pour les données de domaine. WebTrackly assure une fraîcheur maximale en exportant les fichiers frais au moment de l'achat. Cela signifie que lorsque vous téléchargez un package, vous obtenez l'instantané le plus à jour disponible à partir de leur pipeline de collecte. Nos tests ont montré que les téléchargements sont instantanés, se terminant généralement en moins d'une minute pour la plupart des fichiers jusqu'à 5 Go, permettant une utilisation immédiate des données.

Q3 : Puis-je obtenir des données WHOIS, comme les dates d'enregistrement et d'expiration ?

R : Les ensembles d'enrichissement par TLD standard de WebTrackly n'incluent pas les champs WHOIS complets tels que le registraire, le titulaire ou le statut du domaine, ni les champs de contact. Cependant, les dates d'enregistrement et d'expiration sont disponibles dans un jeu de données organisé spécifique : le jeu de données collection-expiresdomains, qui contient 133 055 711 lignes. Ce jeu de données est spécifiquement conçu pour identifier les domaines avec des expirations à venir ou récentes, ce qui est précieux pour les investisseurs en domaines et les SEO.

Q4 : Existe-t-il des essais gratuits ou des moyens de tester la qualité des données ?

R : WebTrackly n'offre pas d'essais gratuits pour ses packages. Cependant, les packages individuels commencent à partir de 3,50 USD, permettant aux praticiens de tester la qualité et le format des données avec un investissement minimal. Cette approche garantit que les données livrées sont de haute qualité et s'alignent sur le modèle d'achat unique pour des jeux de données spécifiques.