Domain Listening: Domaindaten im großen Stil überwachen

Die meisten Fragen zum Web sind in Wirklichkeit Fragen nach Veränderung. Welche TLDs wachsen. Ob ein CMS an Boden gewinnt oder verliert. Wie viele Domains in diesem Quartal hinter ein bestimmtes CDN gewandert sind. Keine dieser Fragen lässt sich mit einer einzelnen Abfrage beantworten – und ebenso wenig mit einer einzelnen Datei. Sie alle verlangen dieselbe Grundgesamtheit, zweimal gemessen. Genau diese Praxis – in festen Abständen Snapshots von Domaindaten anzulegen und sie zu vergleichen – nennt dieser Leitfaden Domain Listening. Sie ist unspektakulär, vollständig mechanisch und der einzige verlässliche Weg, das Web in Bewegung zu sehen.

TL;DR / DIE WICHTIGSTEN PUNKTE

• Domain Listening bedeutet, eine Grundgesamtheit von Domains über die Zeit zu beobachten, indem Snapshots verglichen werden – statt einzelne Namen abzufragen.
• Die Arbeitseinheit ist eine Datei, keine Abfrage. Das Downloadformat hängt vom Paket ab und wird auf der Produktseite angegeben.
• Auf die Größenordnung kommt es an: Das .com-Zonenpaket enthält 163.422.083 Domains, die WordPress-Liste 21.639.326 und der Datensatz aller registrierten Domains 272.614.863 Zeilen.
• Die Dateien werden beim Kauf erzeugt, jeder Download ist also ein frischer Auszug und kein zwischengespeicherter Snapshot. Genau das macht den Vergleich von Zeitraum zu Zeitraum aussagekräftig.
• Die Auswertung findet auf Ihrer Seite statt. Es gibt keinen Query-Builder, keine Einzelabfrage pro Domain und keine Filteroberfläche. Sie kaufen eine Datei und verarbeiten sie mit Ihren eigenen Werkzeugen.
• Ausschließlich Domaindaten: Namen, Registrierungsdaten soweit veröffentlicht, Nameserver, MX, IP und erkannte Technologie. Keine persönlichen Kontaktdaten, keine Telefonnummern, keine Intent-Signale.
• Der Einstieg ist günstig: Einzelpakete ab $3.50, Pro für $29/Monat, Enterprise für $99/Monat.

Inhaltsverzeichnis

• Was Domain Listening tatsächlich ist
• Was sich mit Snapshots messen lässt
• Was in den Dateien steckt
• Ein Paket kaufen und verarbeiten
• Einen Diff-Workflow aufbauen
• Automatisierung über die Katalog-API
• Häufige Fehler beim Domain Listening – und wie Sie sie vermeiden
• Häufige Fragen
• Weiterführende Ressourcen

Was Domain Listening tatsächlich ist

Domain Listening bezeichnet die Praxis, eine definierte Grundgesamtheit von Domains in wiederkehrenden Intervallen zu beobachten und festzuhalten, was sich dazwischen verändert hat. Diese Grundgesamtheit kann eine komplette TLD sein, jede Domain, auf der ein bestimmtes CMS erkannt wurde, oder jede Domain, die auf einen bestimmten Satz von Nameservern zeigt. Das Intervall kann wöchentlich, monatlich oder quartalsweise sein – je nachdem, wie schnell sich das Signal bewegt, das Sie interessiert.

Die Mechanik bleibt dieselbe, unabhängig vom Gegenstand. Sie nehmen einen Snapshot, speichern ihn, nehmen später einen weiteren und bilden drei Mengen: Zeilen, die in beiden vorkommen, Zeilen, die neu hinzugekommen sind, und Zeilen, die verschwunden sind. Alles Interessante ergibt sich aus diesen drei Mengen. Wachstum ist die Menge der neuen Zeilen. Abwanderung ist die Menge der verschwundenen Zeilen. Eine Migration ist eine Zeile, die in beiden vorkommt, aber ein verändertes Feld trägt.

Das ist eine andere Disziplin als die Einzelabfrage pro Domain. WHOIS und RDAP beantworten die Frage „Was sagt die Registry gerade jetzt über diesen Namen?“ – und sie sind genau deshalb ratenbegrenzt, damit niemand über sie eine ganze Grundgesamtheit aufzählt. Eine Zonendatei oder eine Technologieliste ist die Grundgesamtheit, ausgeliefert als Datei. Der Preis dafür ist die Unmittelbarkeit: Sie können einer Datei keine Frage stellen, bevor Sie sie geladen haben – aber einmal geladen, beantwortet sie Fragen, die kein Abfrageprotokoll je beantworten wird.

Daraus folgen zwei praktische Konsequenzen. Erstens zählt Disziplin bei der Aufbewahrung mehr als raffinierte Abfragen – wer die Datei des letzten Quartals wegwirft, kann den Zustand des letzten Quartals nicht wiederherstellen. Zweitens ist der Vergleich nur dann gültig, wenn beide Snapshots auf dieselbe Weise entstanden sind. Wer einen frischen Auszug gegen die veraltete Cache-Kopie eines Anbieters hält, misst dessen Caching-Politik und nicht das Web.

Was sich mit Snapshots messen lässt

Die folgenden Fragen lassen sich alle aus zwei oder mehr Snapshots desselben Pakets beantworten. Keine davon erfordert Kontaktdaten, und keine erfordert eine Abfrageoberfläche.

Wachstum und Abwanderung je TLD

Vergleichen Sie eine Zonendatei mit einer früheren Kopie ihrer selbst. Neue Zeilen sind Registrierungen, die in der Zone aufgetaucht sind; fehlende Zeilen sind Namen, die herausgefallen sind. Nach Monaten aggregiert ergibt das einen Registrierungstrend für diese TLD, der von keiner veröffentlichten Statistik abhängt.

Plattform-Marktanteile im Zeitverlauf

Die Technologiepakete gruppieren Domains nach der auf ihnen erkannten Plattform. Zählt man die Zeilen im WordPress-Paket zu zwei Zeitpunkten, erhält man eine absolute Veränderungszahl. Macht man dasselbe für mehrere Plattformen und normalisiert gegen die Zonendatei einer TLD, ergibt sich der Anteil innerhalb dieser TLD. Das ist eine der wenigen Möglichkeiten, die Verbreitung einer Plattform zu beziffern, ohne sich auf deren eigene Marketingzahlen zu verlassen.

Infrastruktur-Migrationen

Enthält ein Datensatz Felder für Nameserver, MX oder IP, ist jede Zeile, die in beiden Snapshots vorkommt und einen geänderten Wert trägt, ein Migrationsereignis. Aggregiert zeigt das, welche DNS-Anbieter, Mail-Anbieter und Hosting-Netze Domains gewinnen und welche sie verlieren.

Marktgröße abschätzen, bevor Sie bauen

Bevor Sie Entwicklungsaufwand in eine Integration oder ein Nischenprodukt stecken: Die Zeilenzahl eines Technologiepakets ist eine direkte Obergrenze für die adressierbare Menge an Websites. Diese Zahl ist ein Fakt über die Datei, keine Hochrechnung.

Forschung und Analyse der Angriffsfläche

Sicherheitsforschung beginnt häufig mit der Frage „Welche Domains lösen in diesen Netzblock auf?“ oder „Welche Domains laufen auf dieser Plattform?“. Bulk-Dateien beantworten beides als Filter über eine Spalte. Was sie nicht verraten, sind Softwareversion oder Patch-Stand – dafür müssen Sie die Hosts selbst prüfen, und die Dateien sind dabei die Zielliste für diese Arbeit, kein Ersatz dafür.

Fangen Sie an zuzuhören.
1.538 Pakete – 716 TLD-Zonendateien, 79 Technologielisten, 27 Datensätze. Das Downloadformat hängt vom Paket ab und wird auf der Produktseite angegeben.
Katalog durchsuchen → | Preise ansehen →

Was in den Dateien steckt

Der Katalog besteht aus drei Gruppen:

• Zonendateien nach TLD – 716 Pakete. Allein .com enthält 163.422.083 Domains.
• Technologie- und CMS-Listen – 79 Pakete mit Domains, gruppiert nach erkannter Plattform. WordPress enthält 21.639.326 Domains.
• Kuratierte Datensätze – 27 Pakete, darunter alle registrierten Domains mit 272.614.863 Zeilen.

Welche Spalten enthalten sind, hängt vom Paket ab. Eine Zonendatei ist schmal; ein aufgelöster Datensatz führt die DNS- und IP-Felder mit. Die folgende Tabelle beschreibt die Form der Daten, garantiert aber nicht jede Spalte in jedem Paket – jeder Katalogeintrag weist seine eigene Zeilenzahl und seinen Inhalt schon vor dem Kauf aus.

Was die Dateien nicht enthalten: Personennamen, E-Mail-Adressen, Telefonnummern, Firmendaten oder verhaltensbasierte Intent-Signale. WebTrackly veröffentlicht Domaindaten. Personenbezogene Daten von Domaininhabern werden bei den meisten Domains aufgrund der DSGVO bereits auf Registry-Ebene geschwärzt und sind nicht Teil des Produkts.

Ein Paket kaufen und verarbeiten

1. Wählen Sie das Paket. Stöbern Sie im Katalog oder gehen Sie direkt zu /zones/, /domaindata/ oder /datasets/. Jeder Katalogeintrag nennt seine Zeilenzahl.
2. Kaufen Sie es. Einmalkäufe beginnen bei $3.50. Pro kostet $29/Monat (50 Pakete, 10 Datensätze, 30.000 API-Aufrufe), Enterprise $99/Monat (200 Pakete, 50 Datensätze, 300.000 API-Aufrufe). Siehe Preise.
3. Herunterladen. Das ZIP wird auf Anforderung erzeugt und steht unmittelbar nach der Zahlung bereit.
4. Lokal verarbeiten. Entpacken Sie das Archiv und arbeiten Sie mit der CSV in Ihrer eigenen Umgebung.

Bei diesen Zeilenzahlen sind streamende Werkzeuge speicherbasierten deutlich überlegen:

unzip wordpress-domains.zip
wc -l wordpress-domains.csv

# top name servers, straight from the CSV
duckdb -c "SELECT ns, count(*) AS n FROM 'wordpress-domains.csv'
           GROUP BY ns ORDER BY n DESC LIMIT 20"

Alles, was Sie wiederholt abfragen wollen, laden Sie einmal in PostgreSQL oder ClickHouse und indexieren die Spalten, nach denen Sie filtern. Zwei Pakete zusammenzuführen – etwa eine Technologieliste mit einer Zonendatei – ist ein Join über die Spalte domain.

Einen Diff-Workflow aufbauen

Ein Monitoring-Setup besteht aus drei Dingen: einer Namenskonvention, einem Ort für die Snapshots und einem Diff-Schritt.

Benennen Sie nach Paket und Datum. com-zone-2026-07.csv, wordpress-2026-07.csv. Das Datum ist das Datum des Downloads, nicht das der Auswertung.

Bewahren Sie die Rohdateien auf. Komprimierte CSV kostet fast nichts, und ein gelöschter Snapshot lässt sich nicht rückwirkend neu erzeugen – die Datei bildet den Zustand zum Zeitpunkt ihrer Erstellung ab.

Vergleichen Sie über die Schlüsselspalte. Für eine Analyse von Zu- und Abgängen genügt ein sortierter Vergleich:

cut -d, -f1 wordpress-2026-06.csv | sort -u > old.txt
cut -d, -f1 wordpress-2026-07.csv | sort -u > new.txt

comm -13 old.txt new.txt > appeared.txt   # in new, not in old
comm -23 old.txt new.txt > disappeared.txt # in old, not in new
wc -l appeared.txt disappeared.txt

Für die Änderungserkennung auf Feldebene – eine Domain, die geblieben ist, aber die Nameserver gewechselt hat – nehmen Sie SQL:

SELECT n.domain, o.ns AS old_ns, n.ns AS new_ns
FROM new_snapshot n
JOIN old_snapshot o USING (domain)
WHERE n.ns IS DISTINCT FROM o.ns;

Zwei Warnungen. Normalisieren Sie vor dem Vergleich: Domains in Kleinschreibung überführen, abschließende Punkte entfernen und eine einheitliche Kodierung für internationalisierte Namen festlegen – sonst erzeugen Sie Abwanderung, die es gar nicht gibt. Und behandeln Sie ein einzelnes Intervall als Rauschen: Das brauchbare Signal ist der Trend über mehrere Intervalle, nicht die Differenz zwischen zwei beliebigen Dateien.

Automatisierung über die Katalog-API

Abonnements enthalten API-Zugang, um programmatisch mit dem Katalog zu arbeiten – Pakete und Datensätze auflisten und deren Metadaten auslesen. Pro umfasst 30.000 Aufrufe pro Monat, Enterprise 300.000. Die API ist eine Katalogschnittstelle; Einzelabfragen pro Domain führt sie nicht durch.

curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://webtrackly.com/api/v1/packages/?type=zone"

curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://webtrackly.com/api/v1/packages/?type=technology&q=wordpress"

curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://webtrackly.com/api/v1/datasets/"

Die Endpunkt-Referenz finden Sie auf der Seite mit der API-Dokumentation. Ein monatlicher Cronjob, der den Katalog ausliest, die von Ihnen verfolgten Pakete abholt und sie in datierte Dateien ablegt, genügt, um eine Listening-Pipeline unbeaufsichtigt am Laufen zu halten.

Häufige Fehler beim Domain Listening – und wie Sie sie vermeiden

1. Einen einzigen Snapshot nehmen und es Monitoring nennen

   • Was schiefgeht: Es wird eine einzelne Datei heruntergeladen und einmalig ausgewertet.
   • Warum: Ein einzelner Snapshot beschreibt einen Zustand. Jede Frage nach Wachstum, Abwanderung oder Migration braucht mindestens zwei.
   • Die Lösung: Legen Sie das Intervall vor dem ersten Download fest und bewahren Sie jede Datei auf, die Sie ziehen.

2. Snapshots vergleichen, die nicht auf dieselbe Weise entstanden sind

   • Was schiefgeht: Ein frischer Auszug wird gegen eine ältere Datei aus einer anderen Quelle oder einem anderen Paket gestellt.
   • Warum: Die Differenz spiegelt dann methodische Unterschiede wider statt echter Veränderung.
   • Die Lösung: Vergleichen Sie dasselbe Paket mit sich selbst und halten Sie zu jeder Datei das Download-Datum fest.

3. Die Normalisierung vor dem Diff überspringen

   • Was schiefgeht: Unterschiede in der Groß- und Kleinschreibung, abschließende Punkte oder uneinheitliche IDN-Kodierung erzeugen große Phantom-Mengen an Zu- und Abgängen.
   • Warum: Der Zeichenkettenvergleich ist exakt; dieselbe Domain in zwei Schreibweisen sind zwei Zeilen.
   • Die Lösung: Beim Laden alles in Kleinbuchstaben umwandeln, abschließende Punkte entfernen und eine einzige IDN-Darstellung festlegen.

4. Hunderte Millionen Zeilen in das falsche Werkzeug laden

   • Was schiefgeht: Eine mehrere Gigabyte große CSV wird in einer Tabellenkalkulation geöffnet oder in einer Skriptsprache Zeile für Zeile durchlaufen.
   • Warum: Die Zeilenzahlen gehen hier in die Hunderte Millionen. Alles, was die Datei im Arbeitsspeicher hält, kommt nicht zum Ende.
   • Die Lösung: Streamen Sie sie – Kommandozeilenfilter, DuckDB direkt auf der CSV oder ein Bulk-Load in einen spaltenorientierten Speicher.

5. Eine Technologieerkennung als Versionsaussage lesen

   • Was schiefgeht: Eine Technologieliste wird als Liste von Hosts behandelt, auf denen eine bestimmte verwundbare Version läuft.
   • Warum: Die Pakete gruppieren Domains nach erkannter Plattform, nicht nach Patch-Stand.
   • Die Lösung: Nutzen Sie die Liste als Zielmenge und ermitteln Sie Version oder Exposition selbst – im Rahmen der Autorisierung, die Ihre Arbeit erfordert.

6. Erwarten, dass irgendwo in der Datei Kontaktdaten stehen

   • Was schiefgeht: Ein Workflow wird um E-Mail-Adressen oder Telefonnummern zu Domains herum entworfen.
   • Warum: Diese Daten stecken nicht in den Paketen, und Inhaberangaben werden bei den meisten Domains aufgrund der DSGVO auf Registry-Ebene geschwärzt.
   • Die Lösung: Nutzen Sie Domaindaten für das, was sie sind – eine Karte aus Namen, Infrastruktur und Plattformen – und beschaffen Sie Kontaktdaten über Kanäle mit dokumentierter Einwilligung und nachvollziehbarer Herkunft.

Häufige Fragen

F: Was genau verkauft WebTrackly?
A: Herunterladbare Domaindaten in großen Mengen. Insgesamt 1.538 Pakete: 716 TLD-Zonendateien, 79 Technologie- und CMS-Listen sowie 27 kuratierte Datensätze. Das Downloadformat hängt vom Paket ab und wird auf der Produktseite angegeben.

F: Wie aktuell ist ein Download?
A: Die Datei wird im Moment des Kaufs erzeugt und nicht aus einem vorgefertigten Snapshot ausgeliefert – sie bildet also den Stand der Quelldaten am Tag Ihres Kaufs ab.

F: Gibt es ein Suchfeld, in dem ich eine einzelne Domain nachschlagen kann?
A: Nein. Es gibt keine Einzelabfrage pro Domain und keine Filteroberfläche. Sie wählen ein Paket aus dem Katalog, kaufen es, laden die CSV herunter und filtern sie mit Ihren eigenen Werkzeugen.

F: Wie groß sind die Dateien?
A: Das hängt vom Paket ab. Das .com-Zonenpaket enthält 163.422.083 Domains, die WordPress-Technologieliste 21.639.326 und der Datensatz aller registrierten Domains 272.614.863 Zeilen. Jeder Katalogeintrag weist seine Zeilenzahl vor dem Kauf aus.

F: Was kostet das?
A: Einmalige Paketkäufe beginnen bei $3.50. Pro kostet $29/Monat und enthält 50 Pakete, 10 Datensätze und 30.000 API-Aufrufe. Enterprise kostet $99/Monat mit 200 Paketen, 50 Datensätzen und 300.000 API-Aufrufen. Aktuelle Konditionen finden Sie auf der Preisseite.

F: Enthalten die Dateien Kontaktdaten?
A: Nein. Keine Namen, E-Mail-Adressen, Telefonnummern oder personenbezogenen Inhaberdaten. Nach der DSGVO sind diese Daten in den öffentlichen Registrierungsdaten der meisten Domains geschwärzt, und sie liegen außerhalb dessen, was WebTrackly veröffentlicht.

F: Gibt es eine API?
A: Ja, für den Katalog. Sie listet Pakete und Datensätze auf und liefert deren Metadaten zurück, authentifiziert per Bearer-Token – siehe die API-Dokumentation. Domainabfragen führt sie nicht durch.

F: Wie erkenne ich, was sich zwischen zwei Downloads verändert hat?
A: Normalisieren Sie die Spalte domain und vergleichen Sie die beiden Snapshots darüber. Zeilen, die nur in der neueren Datei stehen, sind hinzugekommen; Zeilen, die nur in der älteren stehen, sind verschwunden; Zeilen in beiden mit einem geänderten Feld sind Migrationen. Den Mengenvergleich übernimmt comm auf der Kommandozeile, die Änderungserkennung auf Feldebene ein SQL-Join.

Fazit

Domain Listening ist kein Produktmerkmal, sondern eine Gewohnheit: dasselbe Paket nach Zeitplan herunterladen, jede Kopie aufbewahren und die Kopien vergleichen. Das Downloadformat hängt vom Paket ab und wird auf der Produktseite angegeben. Was Sie dafür bekommen, ist eine Messung des Webs, die weder von veröffentlichten Statistiken Dritter noch von einem ratenbegrenzten Abfrageprotokoll abhängt.

Wählen Sie die Grundgesamtheit, die Sie interessiert, nehmen Sie den ersten Snapshot und starten Sie die Uhr.

Nehmen Sie den ersten Snapshot.
Das Downloadformat hängt vom Paket ab und wird auf der Produktseite angegeben.
Pakete durchsuchen → | Preise ansehen →

Weiterführende Ressourcen

• Paketkatalog – 1.538 herunterladbare Domain-Datenbanken
• Zonendateien nach TLD – .com, .net, .de und über 700 weitere
• Domaindaten – Domainlisten nach CMS und Technologie
• Kuratierte Datensätze – alle registrierten Domains, MX-Server, E-Commerce
• Preise – Einmalkäufe ab $3.50