Agent Analytics (Tracking von KI-Crawlern)

Bevor ein KI-Modell Ihre Website zitieren kann, müssen seine Crawler sie besuchen. Agent Analytics ist ein serverseitiges Monitoring des Traffics von KI-Bots: Die Funktion zeigt, welche KI-Crawler (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended und viele weitere) Ihre Website aufrufen und wie sich das im Zeitverlauf entwickelt.

Mit Agent Analytics können Sie:

• Sehen, welche KI-Bots (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended) Ihre Website crawlen und wie oft
• Bestätigen, dass KI-Modelle neue oder aktualisierte Seiten tatsächlich entdecken, bevor Sie diese in KI-Antworten erwarten
• Das Crawling-Volumen nach Unternehmen vergleichen (OpenAI, Anthropic, Google, Perplexity und weitere), um zu sehen, wer in Ihre Inhalte investiert
• Einen Rückgang der Aktivität von KI-Crawlern erkennen, der sinkende Zitierungen erklären könnte

Sie finden die Funktion in der Seitenleiste unter Bots & Traffic > Agent Analytics. Verfügbar ab Tarif Scale.

In Einbettungsportalen und Portalen mit vollständigem White Label verbindet und verwaltet der Kunde seine eigenen Datenquellen: Cloudflare, Bunny CDN, einen Log-Bucket in Amazon S3 oder CloudFront sowie Uploads von CSV- oder Logdateien. Log-Weiterleitungen sind ebenfalls verfügbar, wenn das Portal unter der eigenen Domain des Kunden läuft, denn eine Log-Weiterleitung gibt eine Endpunkt-URL für den Datenempfang aus, und diese URL muss auf einem Host liegen, den der Kunde wiedererkennt. Wo keine Log-Weiterleitungen angeboten werden, kann in einem Portal eine bestehende Log-Weiterleitung weder getrennt noch durch eine Verbindung mit Cloudflare, Bunny CDN oder einem Log-Bucket in Amazon S3 oder CloudFront ersetzt werden, denn dabei würden die bisherigen Daten der Log-Weiterleitung gelöscht. Anfragen, einen Anbieter zu unterstützen, den wir nicht abdecken, sind nur im Hauptkonto möglich. Berechtigungen für Teammitglieder gelten wie überall sonst: Wer in einem Portal keine Verbindungen anlegen darf, sieht trotzdem den Bericht und erhält den Hinweis, sich an die eigene Ansprechperson zu wenden.

Um zu ändern, was eine gespeicherte Datenquelle liest (eine andere Cloudflare-Zone, eine andere Pull Zone in Bunny CDN oder eine andere Region, ein anderes Präfix oder einen anderen Endpunkt in Amazon S3), muss im Portal das eigene Token, der eigene Schlüssel oder das eigene S3-Schlüsselpaar erneut eingegeben werden. Auswählen lässt sich dann nur eine Zone, auf die dieses Token oder dieser Schlüssel Zugriff hat. Zum Speichern einer S3-Datenquelle ohne Änderungen, etwa um sie nach einer Pause fortzusetzen, sind die Schlüssel nicht nötig.

Funktionsumfang

• Erfasst über 40 KI-Bots, gruppiert nach Unternehmen (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Microsoft, Amazon und weitere)
• Tägliche Traffic-Diagramme pro Bot und pro Unternehmen, damit Sie sehen, ob KI-Crawler Ihre Inhalte entdecken
• Mehrere Wege, Ihre Daten einzuspielen:
  • Integration mit Cloudflare: Fügen Sie ein API-Token mit eingeschränkten Berechtigungen ein (Zone Analytics: Read), wählen Sie eine Zone aus, und die Daten werden täglich synchronisiert. Funktioniert mit allen Cloudflare-Tarifen, auch mit dem Tarif Free.
  • Integration mit Bunny CDN: Fügen Sie den API-Schlüssel Ihres Kontos bei Bunny CDN ein und wählen Sie eine Pull Zone aus; die Daten werden täglich synchronisiert.
  • Log-Weiterleitungen (in Echtzeit): Vercel, Akamai DataStream 2, Fastly, Netlify und GCP Load Balancer. Generieren Sie in der App eine eindeutige Endpunkt-URL für den Datenempfang und fügen Sie diese in die Einstellungen der Log-Weiterleitung bei Ihrem Anbieter ein.
  • AWS CloudFront / Bucket in Amazon S3: Verbinden Sie den S3-Bucket, in den CloudFront oder Ihr Server Access-Logs schreibt, und wir rufen einmal täglich neue Dateien ab (zusätzlich manuell über „Jetzt synchronisieren“). Die Access-Logs der Standardprotokollierung von CloudFront im W3C-Format funktionieren direkt. S3-kompatible Speicher wie Cloudflare R2 und MinIO funktionieren ebenfalls.
  • Upload von CSV- oder Logdateien: Laden Sie einen CSV-Export aus Cloudflare, ein Access-Log von AWS CloudFront, ein Apache- oder nginx-Log oder eine beliebige CSV-Datei mit Zeitstempeln und User-Agents hoch. Auch mit gzip komprimierte Dateien funktionieren.
• Ein Tab Je URL, der genau zeigt, welche Seiten jeder KI-Bot gecrawlt hat, mit Zugriffen, Statuscodes und den Datumsangaben „Zuerst gesehen“ und „Zuletzt gesehen“, dazu ein CSV-Export

So gehen Sie vor

1. Öffnen Sie Bots & Traffic > Agent Analytics
2. Verbinden Sie eine Datenquelle (Cloudflare geht am schnellsten, wenn Ihre Website dahinter liegt)
3. Geben Sie der ersten Synchronisierung etwas Zeit und prüfen Sie dann, welche KI-Bots Ihre Website besuchen und wie oft
4. Verfolgen Sie den Trend nach der Veröffentlichung neuer Inhalte: Steigender Traffic von KI-Crawlern auf Ihrer Website ist ein frühes Signal, dass Modelle die Inhalte aufgreifen

Analyse je URL

Der Tab Je URL listet die Seiten auf, die jeder KI-Bot angefragt hat. So sehen Sie, welche Inhalte GPTBot, ClaudeBot oder PerplexityBot tatsächlich lesen. Der Tab funktioniert mit jeder Datenquelle: Cloudflare, Bunny CDN, Log-Weiterleitungen, Buckets in Amazon S3 oder CloudFront und Log-Uploads. Query-Strings werden ignoriert, und statische Dateien wie Skripte, Stylesheets, Bilder und Schriftarten werden ausgelassen, sodass die Tabelle Ihre Seiten zeigt. Bei der ersten Synchronisierung der Analyse je URL (wenn Sie Cloudflare verbinden oder nach dem Wechsel auf Tarif Scale oder einen höheren Tarif) holt Cloudflare rückwirkend die Daten von bis zu 30 Tagen ab und ergänzt später alle Tage, die eine fehlgeschlagene Synchronisierung ausgelassen hat. Bunny CDN hält dagegen nur die letzten 3 Tage vor. Log-Weiterleitungen beginnen mit der nächsten Lieferung, die erste Synchronisierung nach dem Verbinden eines Buckets in Amazon S3 oder CloudFront liest die Logdateien, die bereits darin liegen (Einträge bis zu 90 Tage alt), und Uploads decken die Tage in der Datei ab.

Bei Uploads werden Zeilen ausgelassen, deren Datum nach dem morgigen Tag liegt oder mehr als 395 Tage zurückliegt. Die Analyse je URL übernimmt aus jeder Datei bis zu 500.000 Zeilen (eine Zeile entspricht einer URL, einem Bot und einem Tag).

Die Analyse je URL verbraucht monatliche Credits, die sich alle Projekte in Ihrem Konto teilen:

• Ein Credit entspricht einer URL, einem Bot und einem Tag. Weitere Zugriffe desselben Bots auf dieselbe URL am selben Tag kosten nichts zusätzlich.
• Im Tarif Scale sind 100.000 Credits pro Monat enthalten, im Tarif Scale+ 200.000 und im Tarif Scale++ 400.000. Höhere Tarife enthalten mehr.
• Credits werden am 1. jedes Monats erneuert und nicht in den Folgemonat übertragen. Der Tab zeigt, wie viele Sie verbraucht haben, wie viele dieses Projekt verbraucht hat und wann sie erneuert werden.
• Wenn die Credits aufgebraucht sind, werden bereits erfasste URLs, Bots und Tage weiter aktualisiert, und neue warten bis zum 1. des Monats. Die Übersicht zählt weiterhin jeden Bot-Zugriff. Sie erhalten bei 80 % und bei 100 % eine E-Mail, und es wird nie automatisch etwas berechnet.
• Sie benötigen mehr? Fügen Sie unter Tarife & Abrechnung ein wiederkehrendes Credit-Paket hinzu (+100.000, +500.000 oder +1.000.000 pro Monat).

Unter Je URL analysierte Bots wählen Sie aus, welche Bots jedes Projekt je URL analysiert. Alle Bots sind standardmäßig aktiviert, und bei jedem wird angezeigt, wie viele Credits er in diesem Monat verbraucht hat. Ein Bot, den Sie deaktivieren, verbraucht ab der nächsten Synchronisierung keine Credits mehr. Sein Verlauf bleibt erhalten, die Übersicht zählt ihn weiterhin, und er wird auf Ihrer Website nicht blockiert.

Details je URL werden 90 Tage lang aufbewahrt.

Vercel einrichten

Öffnen Sie in Vercel Team Settings > Drains > Add Drain und wählen Sie Logs als Datentyp. Wählen Sie die Projekte aus, die Sie beobachten möchten, und schließen Sie Production ein. Aktivieren Sie die Log-Quellen Static, Lambda, Edge, External, Firewall und Redirect. Lassen Sie Build deaktiviert, da diese Log-Quelle Ausgaben von Deployments enthält und keinen Website-Traffic. Fügen Sie keine Sampling-Regeln hinzu, damit Vercel 100 % der Anfragen weiterleitet.

Verwenden Sie Custom Endpoint mit NDJSON und fügen Sie die Endpunkt-URL von LLM Pulse ein. Web Analytics, Speed Insights und Traces werden nicht unterstützt, weil sie nicht den User-Agent der Anfrage enthalten, der zur Erkennung von KI-Bots nötig ist. Das „Signature Verification Secret“ ist in LLM Pulse optional. Kopieren Sie den von Vercel generierten Wert nur dann in das Feld Signaturschlüssel, wenn Sie signierte Anfragen prüfen möchten. Geben Sie in LLM Pulse nur dann einen Verifizierungscode ein, wenn Vercel einen anzeigt.

AWS CloudFront oder einen anderen Log-Bucket in Amazon S3 verbinden

Wenn CloudFront, Ihr Server oder ein anderes CDN bereits Access-Logs an einen S3-Bucket sendet, können Sie LLM Pulse die Logs direkt lesen lassen, statt Dateien von Hand hochzuladen.

Worum es geht: eine Verbindung mit reinem Lesezugriff zu einem Bucket mit Logdateien. Einmal täglich (zusätzlich manuell über „Jetzt synchronisieren“) listen wir den Inhalt des Buckets auf, übernehmen nur die Logdateien, die seit der letzten Synchronisierung hinzugekommen sind, werten sie aus und gleichen jede Anfrage mit dem Katalog der KI-Bots ab. Über eine optionale benutzerdefinierte Endpunkt-URL funktioniert das auch mit S3-kompatiblen Speichern wie Cloudflare R2 und MinIO.

CloudFront-Format: Die Logs der Standardprotokollierung (Legacy) von CloudFront, die an S3 gesendet werden, liegen bereits im unterstützten Format vor: W3C, tabulatorgetrennt und mit gzip komprimiert. Wählen Sie für die Standardprotokollierung (v2) Amazon S3 als Ziel, W3C als Ausgabeformat und Tabulator als Feldtrennzeichen. Behalten Sie date, time, cs(User-Agent), cs-uri-stem und sc-status bei. Für Berichte zur Bandbreite empfehlen wir außerdem sc-bytes. Die Ausgabeformate JSON, Plain, Raw und Parquet werden nicht unterstützt.

Bevor Sie beginnen: Legen Sie einen IAM-Benutzer mit einer Richtlinie mit reinem Lesezugriff an, die s3:GetObject und s3:ListBucket für den Bucket erlaubt (und für das Präfix, falls Sie eines verwenden), und generieren Sie dann eine Zugriffsschlüssel-ID und einen geheimen Zugriffsschlüssel dafür. Eine minimale Richtlinie sieht so aus:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::your-log-bucket",
        "arn:aws:s3:::your-log-bucket/*"
      ]
    }
  ]
}

So richten Sie die Verbindung ein:

1. Öffnen Sie Bots & Traffic > Agent Analytics
2. Klicken Sie auf der Karte AWS CloudFront auf Über Amazon S3 verbinden. Verwenden Sie für eine andere Datenquelle mit Logs in S3 die Karte Amazon S3. Geben Sie den Namen Ihres Buckets, die AWS-Region und (optional) ein Schlüsselpräfix ein, damit wir nur den Ordner lesen, in dem Ihre Logs liegen
3. Fügen Sie die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel ein, die nur Lesezugriff gewähren. Fügen Sie für Cloudflare R2, MinIO oder einen anderen S3-kompatiblen Speicher zusätzlich die benutzerdefinierte Endpunkt-URL hinzu
4. Klicken Sie auf Amazon S3 verbinden. Ihre Zugangsdaten werden verschlüsselt gespeichert, und die erste Synchronisierung startet automatisch. Mit Jetzt synchronisieren rufen Sie jederzeit die neuesten Dateien ab, ohne auf den täglichen Durchlauf zu warten

Synchronisierungsrhythmus und Limits: Wir synchronisieren einmal täglich und bei Bedarf über „Jetzt synchronisieren“ und lesen nur Dateien, die seit der letzten Synchronisierung neu sind. Wir übernehmen Log-Einträge, die bis zu 90 Tage alt sind, aus Dateien mit jeweils bis zu 256 MB. Wir verarbeiten die Dateien in Stapeln von bis zu 500 und starten automatisch einen weiteren Stapel, bis alle Dateien im Bucket verarbeitet sind. Wir durchsuchen bis zu 50.000 Objekte im konfigurierten Bucket oder Präfix; verwenden Sie ein engeres Präfix, wenn dort mehr liegen.

Unterstützte Log-Formate: Apache- und nginx-Logs im Format Combined (CLF), Access-Logs der Standardprotokollierung von AWS CloudFront (W3C) und Log-Exporte als CSV. Mit gzip komprimierte Dateien (.gz) werden direkt gelesen.

Tipps & Hinweise

• Agent Analytics ist das Gegenstück zu KI-Traffic: KI-Traffic misst Menschen, die über KI-Tools auf Ihre Website kommen, Agent Analytics misst die KI-Crawler selbst, die Ihre Website besuchen
• Die Erkennung verifizierter Bots kombiniert die Bot-Klassifizierung des Anbieters mit unserem eigenen Klassifikator für User-Agents, damit gefälschte User-Agents nicht zu überhöhten Zahlen führen
• Wenn Ihr CDN oder Hosting-Anbieter nicht aufgeführt ist, akzeptiert der Upload von CSV- und Logdateien die meisten Standard-Log-Formate
• Daten je URL sind ab Tarif Scale mit jeder verbundenen Datenquelle verfügbar, im Rahmen Ihrer monatlichen Credits