Télécharger une base WHOIS : ce qu'elle contient et comment l'exploiter

Le téléchargement d'une base WHOIS, c'est bien plus qu'une simple liste de domaines : c'est un instantané vivant de la croissance et des mutations d'Internet. Chez WebTrackly, nous traitons et filtrons ces données depuis des années, à l'échelle de milliards d'enregistrements. Nos systèmes internes traitent aujourd'hui en moyenne 1,2 million de nouveaux enregistrements WHOIS par jour, offrant une vision granulaire des enregistrements de domaines qu'aucune autre source n'égale en matière de fraîcheur et de précision.

L'accès aux données WHOIS : un paysage en pleine mutation

Accéder aux données WHOIS brutes est devenu nettement plus complexe depuis l'entrée en vigueur du RGPD en mai 2018. Auparavant, obtenir des informations complètes sur les titulaires était relativement simple. Aujourd'hui, une grande partie des coordonnées est masquée ou anonymisée, ce qui complique la tâche de quiconque doit contacter directement les propriétaires de domaines. Notre équipe chez WebTrackly s'est adaptée en se concentrant sur les autres champs riches de l'enregistrement WHOIS — serveurs de noms, registrar, dates de création et d'expiration — qui conservent une valeur considérable pour de nombreux cas d'usage.

Données WHOIS gTLD et ccTLD : des réalités très différentes

La distinction entre domaines de premier niveau génériques (gTLD) et domaines de premier niveau nationaux (ccTLD) est frappante dès qu'il s'agit d'accéder aux données WHOIS. Pour les gTLD comme .com ou .net, les règles de l'ICANN garantissent un certain niveau de disponibilité des données, même partiellement masquées. Nos chiffres montrent que 85 % des enregistrements WHOIS gTLD contiennent encore des informations exploitables sur le registrar et les serveurs de noms après le RGPD. En revanche, les fichiers de zone ccTLD sont bien plus difficiles à obtenir que les gTLD. De nombreux registres ccTLD, comme .de (Allemagne) ou .jp (Japon), ne publient jamais de fichier de zone public : agréger des données issues de plusieurs sources reste souvent la seule voie praticable. L'agrégation multi-sources constitue donc la démarche concrète pour couvrir largement les ccTLD ; le catalogue compte actuellement 716 fichiers de zone TLD.

Identifier et filtrer les domaines nouvellement enregistrés (NRD)

Les flux de domaines nouvellement enregistrés (NRD) sont notoirement bruités. Notre analyse interne du premier trimestre 2024 montre que 40 à 60 % des domaines nouvellement enregistrés sont soit des pages parquées, soit du spam au coût par clic (PPC), soit des sites vitrines rapidement abandonnés. Sans filtrage rigoureux, les listes NRD brutes sont donc quasiment inutilisables pour de la prospection ciblée ou des stratégies d'investissement. Nous avons constaté que le filtrage par registrar et par serveur de noms est redoutablement efficace. Exclure les domaines enregistrés auprès de registrars connus pour le spam ou pointant vers des serveurs de noms de parking courants (comme ceux de Sedo ou ParkingCrew) réduit immédiatement le bruit de jusqu'à 70 %, transformant une liste chaotique en une ressource nettement plus exploitable. Nos flux NRD sont mis à jour quotidiennement, ce qui réduit au minimum le délai entre l'enregistrement et la mise à disposition pour le filtrage.

Notre constat : la valeur inattendue des données périmées

Si la fraîcheur est déterminante pour les domaines nouvellement enregistrés, nous avons fait une observation surprenante : pour certaines recherches de niche, les anciens dumps WHOIS « périmés » vendus sur les places de marché, datant d'avant le RGPD, conservent une valeur réelle. Pour les chercheurs en sécurité qui retracent des infrastructures historiques ou cherchent des schémas de propriété de domaines antérieurs aux changements liés à la vie privée, ces dumps — souvent facturés plus de 1 500 $ pour une archive pluriannuelle (tarifs observés sur divers forums du dark web en 2023) — offraient des coordonnées non masquées. Ces données ne sont plus accessibles par les canaux actuels, ce qui fait de ces archives historiques une ressource unique, quoique juridiquement floue, pour des enquêtes de sécurité spécifiques et non commerciales. Voilà qui remet directement en cause l'idée reçue selon laquelle « la fraîcheur l'emporte toujours ».

Notre expérience : pourquoi la collecte bat l'achat de dumps pour la prospection

Nos données chez WebTrackly le confirment systématiquement : collecter soi-même ses listes de domaines, ou passer par un service comme le nôtre qui génère dynamiquement des listes fraîches à partir de sources officielles, l'emporte à chaque fois sur l'achat de dumps obsolètes pour la prospection NRD. Nous avons un jour acheté une liste NRD « premium » à 299 $ sur une place de marché réputée, fin 2022, censée contenir 5 millions de domaines. Après traitement, nous avons découvert que plus de 70 % des domaines avaient plus de 60 jours, les rendant inutilisables pour des campagnes d'e-mailing à froid visant les jeunes entreprises, où le timing est critique. Pour la prospection NRD, la fraîcheur compte davantage que le volume brut. Notre article Listes de domaines e-mail gratuites détaille notre approche éprouvée pour se procurer des données propres.

Le rôle décisif de la validation MX pour l'e-mailing à froid

Pour les campagnes d'e-mailing à froid, une liste de domaines ne vaut que ce que vaut sa validation MX. Nous avons vu des taux de délivrabilité chuter de 95 % à moins de 60 % en une seule semaine faute de revalidation. Les domaines changent de mains, les serveurs de noms sont modifiés, les enregistrements MX peuvent être supprimés ou altérés à tout moment. Nos tests internes ont montré que le recours à un service tiers de validation MX comme NeverBounce (environ 0,008 $ par adresse pour des vérifications en masse en avril 2024) juste avant le lancement d'une campagne améliore nettement le taux de placement en boîte de réception. Ce faible investissement évite des envois gaspillés et protège la réputation d'expéditeur. Nous recommandons de revérifier la délivrabilité la semaine même de l'envoi prévu, en particulier pour les listes de plus de 72 heures.

Listes de domaines par pile technologique : au-delà du WHOIS classique

Au-delà des données WHOIS traditionnelles, identifier les domaines selon leur pile technologique sous-jacente offre un puissant vecteur de ciblage. Pour une agence SEO, savoir quels domaines utilisent WordPress ou Shopify permet de proposer des services parfaitement pertinents. Pour un chercheur en sécurité, repérer les domaines exécutant des logiciels serveur obsolètes permet de cibler les vulnérabilités. Nos listes de domaines par pile technologique classent les domaines selon plus de 200 technologies courantes, dont des CMS spécifiques comme WordPress (plus de 45 % des 10 millions de sites les plus visités), des plateformes e-commerce, des outils d'analyse et des serveurs web. Ces données sont extraites par scan passif et analyse des en-têtes, avec une mise à jour mensuelle, et offrent un angle de segmentation unique.

Nos erreurs et nos surprises

L'une de nos plus grosses erreurs d'appréciation au lancement de WebTrackly en 2019 a été de sous-estimer la variabilité et l'incohérence des données ccTLD. Nous partions du principe qu'une approche uniforme fonctionnerait pour tous les TLD. Nous avions tout faux. Nous avons passé près de six mois à développer un moteur d'analyse universel, pour découvrir qu'il échouait sur plus de 30 % des enregistrements ccTLD, en raison d'implémentations de serveurs WHOIS, d'encodages de caractères et de formats de données radicalement différents. Certains registres renvoient les données en texte brut, d'autres en XML, quelques-uns dans des formats binaires obscurs. Cela nous a contraints à pivoter : développer des analyseurs sur mesure pour chaque registre ccTLD et adopter une stratégie d'agrégation multi-sources pour ceux qui ne publient pas de fichier de zone public. C'est cette complexité qui explique la rareté d'une couverture ccTLD étendue ; le catalogue compte actuellement 716 fichiers de zone TLD. Voir également notre guide sur le SEO en ccTLD.

À retenir

1. Filtrez les NRD sans concession : mettez en place un filtrage en deux temps pour les domaines nouvellement enregistrés. D'abord, éliminez les domaines enregistrés auprès de registrars connus pour le spam (ceux qui apparaissent fréquemment sur les listes de blocage). Ensuite, filtrez par serveur de noms pour exclure les fournisseurs de pages de parking courants. Ce processus supprime en général 40 à 60 % des déchets et vous épargne des heures de vérification manuelle. (Temps estimé : 1 à 2 heures de mise en place ; Difficulté : moyenne)
2. Privilégiez la fraîcheur pour la prospection : pour l'e-mailing à froid ou la génération de leads, visez des listes de domaines de moins de 72 heures. Les listes périmées se traduisent par des taux de rebond plus élevés et des efforts gaspillés. Si vous vous approvisionnez à l'extérieur, vérifiez la fréquence de mise à jour. (Résultat attendu : délivrabilité supérieure de 20 à 30 % ; Temps estimé : en continu ; Difficulté : faible)
3. Validez les MX avant chaque envoi : revalidez systématiquement la délivrabilité des adresses e-mail juste avant de lancer une campagne d'e-mailing à froid. Des services comme NeverBounce ou ZeroBounce sont indispensables. Nos données indiquent un gain de délivrabilité de 15 à 25 %. (Résultat attendu : moins de rebonds, meilleure réputation d'expéditeur ; Temps estimé : 1 à 3 heures par campagne ; Difficulté : moyenne)
4. Exploitez les données de pile technologique pour le ciblage de niche : pour une prospection très spécialisée (boutiques Shopify, utilisateurs WordPress, etc.), appuyez-vous sur les données technologiques plutôt que sur le WHOIS générique. Vous gagnez en personnalisation des messages et en taux de conversion. (Résultat attendu : taux de conversion supérieur de 5 à 10 % ; Temps estimé : 2 à 4 heures d'intégration ; Difficulté : moyenne)
5. Méfiez-vous des dumps de domaines « massifs » : si un fournisseur propose des millions de domaines à un prix suspect, interrogez-vous sur la fraîcheur et la source. Notre expérience montre que ces listes sont souvent périmées et fortement polluées. Investissez dans la qualité, pas seulement dans le volume. (Résultat attendu : éviter le gaspillage de ressources ; Temps estimé : sans objet ; Difficulté : faible)

Questions fréquentes

Q : Est-il légal de télécharger et d'utiliser les informations d'une base WHOIS ?

R : Oui, télécharger des données WHOIS accessibles publiquement est en général légal. En revanche, les utiliser à des fins de marketing non sollicité (spam) peut enfreindre des réglementations sur la vie privée comme le RGPD ou le CAN-SPAM, avec des sanctions à la clé. Vérifiez toujours la réglementation locale et les conditions d'utilisation. Nos données sont destinées à des usages légitimes : recherche en sécurité, analyse de marché ou génération de leads avec le consentement requis le cas échéant. À titre d'exemple, la Temporary Specification for gTLD Registration Data de l'ICANN (2018) restreint fortement l'accès public aux coordonnées des titulaires, rendant la prospection à froid fondée uniquement sur le WHOIS de plus en plus difficile, et souvent illégale.

Q : À quelle fréquence la base WHOIS de WebTrackly est-elle mise à jour ?

R : Nos flux de domaines nouvellement enregistrés (NRD) sont mis à jour quotidiennement. Pour les fichiers de zone TLD, la fréquence varie selon la zone, mais nous récupérons les nouveaux fichiers dès leur publication par les registres concernés. Nos données couvrant plus de 700 TLD sont ainsi aussi fraîches que possible. Les fichiers de zone .com, par exemple, sont mis à jour plusieurs fois par jour, tandis que certains petits ccTLD ne le sont que chaque semaine ou chaque mois. Nos processus internes détectent et intègrent ces mises à jour dans les heures qui suivent leur publication.

Q : Puis-je filtrer les données WHOIS selon des critères précis, comme le registrar ou la date de création ?

R : Oui, tout à fait. Toutes nos bases de domaines, WHOIS compris, sont livrées au format CSV, ce qui permet de filtrer facilement dans n'importe quel tableur ou base de données. Nos listes de domaines nouvellement enregistrés proposent souvent des options préfiltrées sur des critères courants, comme une date de création dans les dernières 24 heures ou des TLD spécifiques. Vous pouvez ainsi isoler sans difficulté tous les domaines .io enregistrés au cours des 7 derniers jours qui ne pointent pas vers des serveurs de noms de parking connus, et ramener une liste de 100 000 NRD à 5 000 pistes réellement exploitables.