Agent Analytics (suivi des crawlers IA)
Avant qu’un modèle d’IA puisse citer votre site, ses crawlers doivent le visiter. Agent Analytics assure le suivi côté serveur du trafic des bots IA : il montre quels crawlers IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended et bien d’autres) visitent votre site et comment cette activité évolue dans le temps.
Avec Agent Analytics, vous pouvez :
- Voir quels bots IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended) explorent votre site et à quelle fréquence
- Vérifier que les modèles d’IA découvrent bien vos pages nouvelles ou mises à jour avant d’espérer les voir dans les réponses de l’IA
- Comparer le volume de crawl par entreprise (OpenAI, Anthropic, Google, Perplexity, etc.) pour voir qui investit dans votre contenu
- Repérer une baisse de l’activité des crawlers IA qui pourrait expliquer une chute des citations
Accédez-y depuis Bots et trafic > Agent Analytics dans le menu latéral. Disponible à partir du forfait Scale.
Dans les portails intégrés et en marque blanche complète, le client connecte et gère ses propres sources : Cloudflare, Bunny CDN, un bucket de logs Amazon S3 ou CloudFront, et les imports CSV ou de logs. Les log drains sont aussi disponibles lorsque le portail est servi sur le propre domaine du client, car un drain fournit une URL d’ingestion qui doit se trouver sur un hôte que le client reconnaît. Là où les drains ne sont pas proposés, un portail ne peut pas déconnecter un log drain existant ni connecter Cloudflare, Bunny CDN ou un bucket de logs Amazon S3 ou CloudFront à sa place, car cela supprimerait l’historique du drain. Demander la prise en charge d’un fournisseur que nous ne couvrons pas reste réservé à l’espace de travail principal. Les autorisations des membres de l’équipe s’appliquent comme partout ailleurs : une personne du portail qui ne peut pas créer de connexions voit tout de même le rapport et est invitée à contacter son responsable de compte.
Pour changer ce que lit une source enregistrée (une autre zone Cloudflare, une autre pull zone Bunny, ou une région, un préfixe ou un endpoint Amazon S3 différent), le portail saisit de nouveau son propre jeton, sa clé ou sa paire de clés S3, et ne peut choisir qu’une zone accessible avec ce jeton ou cette clé. Enregistrer une source S3 sans modification, par exemple pour la reprendre après une pause, ne nécessite pas les clés.
Ce que fait Agent Analytics
- Suit plus de 40 bots IA regroupés par entreprise (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Microsoft, Amazon et d’autres)
- Graphiques de trafic quotidien par bot et par entreprise, pour voir si les crawlers IA découvrent votre contenu
- Plusieurs façons d’importer vos données :
- Intégration Cloudflare : collez un jeton API à portée limitée (Zone Analytics: Read), choisissez une zone, et les données se synchronisent chaque jour. Fonctionne avec tous les forfaits Cloudflare, y compris Free.
- Intégration Bunny CDN : collez la clé API de votre compte et choisissez une pull zone. Les données se synchronisent chaque jour.
- Log drains (temps réel) : Vercel, Akamai DataStream 2, Fastly, Netlify et GCP Load Balancer. Générez une URL d’ingestion unique dans l’application et collez-la dans les paramètres de log drain de votre fournisseur.
- Bucket AWS CloudFront / Amazon S3 : connectez le bucket S3 dans lequel CloudFront ou votre serveur écrit ses logs d’accès, et nous récupérons les nouveaux fichiers une fois par jour (plus une synchronisation manuelle avec « Synchroniser »). Les logs standard W3C de CloudFront fonctionnent directement. Les stockages compatibles S3 comme Cloudflare R2 et MinIO fonctionnent aussi.
- Import CSV / de logs : déposez un export CSV Cloudflare, un log d’accès AWS CloudFront, un log Apache ou nginx, ou tout CSV contenant des horodatages et des user-agents. Les fichiers compressés en gzip fonctionnent aussi.
- Un onglet Par URL qui montre précisément quelles pages chaque bot IA a explorées, avec le nombre de requêtes, les codes de statut et les dates de première et de dernière visite, ainsi qu’un export CSV
Comment l’utiliser
- Ouvrez Bots et trafic > Agent Analytics
- Connectez une source de données (Cloudflare est la plus rapide si votre site passe par Cloudflare)
- Laissez un peu de temps à la première synchronisation, puis regardez quels bots IA vous rendent visite et à quelle fréquence
- Suivez la tendance après la publication de nouveaux contenus : une hausse du trafic des crawlers IA sur votre site est un signal précoce que les modèles les prennent en compte
Analyse par URL
L’onglet Par URL liste les pages demandées par chaque bot IA, pour voir quels contenus GPTBot, ClaudeBot ou PerplexityBot lisent réellement. Il fonctionne avec toutes les sources : Cloudflare, Bunny CDN, log drains, buckets Amazon S3 ou CloudFront, et imports de logs. Les chaînes de requête sont ignorées et les fichiers statiques comme les scripts, les feuilles de style, les images et les polices sont exclus, pour que le tableau affiche vos pages. Cloudflare récupère jusqu’aux 30 derniers jours lors de la première synchronisation Par URL (quand vous le connectez, ou après votre passage à Scale ou à un forfait supérieur), puis complète les jours manqués par une synchronisation en échec, tandis que Bunny CDN ne conserve que les 3 derniers jours. Les log drains démarrent avec la livraison suivante, la première synchronisation après la connexion d’un bucket Amazon S3 ou CloudFront lit les fichiers de logs qui s’y trouvent déjà (entrées de 90 jours maximum), et les imports couvrent les jours présents dans le fichier.
Les imports ignorent les lignes dont la date est postérieure à demain ou remonte à plus de 395 jours. L’analyse Par URL retient jusqu’à 500 000 lignes par fichier (une ligne correspond à une URL, un bot et un jour).
L’analyse par URL utilise des crédits mensuels, partagés entre tous les projets de votre compte :
- Un crédit correspond à une URL, un bot et un jour. Les visites supplémentaires du même bot sur la même URL le même jour ne coûtent rien de plus.
- Scale inclut 100 000 crédits par mois, Scale+ 200 000 et Scale++ 400 000. Les forfaits supérieurs en incluent davantage.
- Les crédits se renouvellent le 1er de chaque mois et ne sont pas reportés. L’onglet indique combien vous en avez utilisé, combien ce projet en a utilisé et quand ils se renouvellent.
- Lorsque les crédits sont épuisés, les URL, bots et jours déjà suivis continuent d’être mis à jour, et les nouveaux attendent le 1er du mois. L’onglet Vue d’ensemble continue de compter chaque visite de bot. Vous recevez un e-mail à 80 % et à 100 %, et rien n’est jamais facturé automatiquement.
- Besoin de plus ? Ajoutez un pack de crédits récurrent (+100 000, +500 000 ou +1 000 000 par mois) depuis Forfaits et facturation.
Sous Bots analysés par URL, vous choisissez les bots que chaque projet analyse par URL. Tous les bots sont activés par défaut, et chacun affiche les crédits utilisés ce mois-ci. Un bot que vous désactivez cesse de consommer des crédits dès la synchronisation suivante. Son historique est conservé, l’onglet Vue d’ensemble continue de le compter, et il n’est pas bloqué sur votre site.
Le détail par URL est conservé 90 jours.
Configurer Vercel
Dans Vercel, allez dans Team Settings > Drains > Add Drain et choisissez Logs comme type de données. Sélectionnez les projets à suivre et incluez Production. Activez les sources de logs Static, Lambda, Edge, External, Firewall et Redirect. Laissez Build désactivé, car cette source contient la sortie des déploiements, et non le trafic des visiteurs. N’ajoutez pas de règles d’échantillonnage, afin que Vercel transmette 100 % des requêtes.
Utilisez Custom Endpoint avec NDJSON et collez l’URL de l’endpoint LLM Pulse. Web Analytics, Speed Insights et Traces ne sont pas pris en charge, car ils n’incluent pas le user-agent de la requête, nécessaire pour identifier les bots IA. Le Signature Verification Secret est facultatif dans LLM Pulse. Copiez la valeur générée par Vercel dans Secret de signature uniquement si vous souhaitez vérifier les requêtes signées. Ne saisissez un code de vérification dans LLM Pulse que si Vercel en affiche un.
Connecter AWS CloudFront ou un autre bucket de logs Amazon S3
Si CloudFront, votre serveur ou un autre CDN envoie déjà des logs d’accès vers un bucket S3, vous pouvez laisser LLM Pulse les lire directement au lieu d’importer les fichiers à la main.
Principe : une connexion en lecture seule à un bucket de fichiers de logs. Une fois par jour (plus une synchronisation manuelle avec « Synchroniser »), nous listons le bucket, récupérons uniquement les fichiers de logs ajoutés depuis la dernière synchronisation, les analysons et comparons chaque requête au catalogue de bots IA. Cela fonctionne aussi avec les stockages compatibles S3 comme Cloudflare R2 et MinIO, grâce à une URL d’endpoint personnalisée facultative.
Format CloudFront : les anciens logs standard CloudFront envoyés vers S3 utilisent déjà le format pris en charge (W3C, séparé par des tabulations, compressé en gzip). Pour la journalisation standard v2, choisissez Amazon S3 comme destination, W3C comme format de sortie et Tab comme délimiteur de champ. Conservez date, time, cs(User-Agent), cs-uri-stem et sc-status. Nous recommandons aussi sc-bytes pour le suivi de la bande passante. Les sorties JSON, Plain, Raw et Parquet ne sont pas prises en charge.
Avant de commencer : créez un utilisateur IAM avec une politique en lecture seule qui autorise s3:GetObject et s3:ListBucket sur le bucket (et sur le préfixe, si vous en utilisez un), puis générez pour lui un ID de clé d’accès et une clé d’accès secrète. Une politique minimale ressemble à ceci :
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:ListBucket"],
"Resource": [
"arn:aws:s3:::your-log-bucket",
"arn:aws:s3:::your-log-bucket/*"
]
}
]
}
Configuration :
- Ouvrez Bots et trafic > Agent Analytics
- Sur la carte AWS CloudFront, cliquez sur Connecter via Amazon S3. Pour une autre source de logs S3, utilisez la carte Amazon S3. Saisissez le nom de votre bucket, la région AWS et, si besoin, un préfixe de clé, pour que nous ne lisions que le dossier qui contient vos logs
- Collez l’ID de clé d’accès et la clé d’accès secrète en lecture seule. Pour Cloudflare R2, MinIO ou un autre stockage compatible S3, ajoutez aussi l’URL de l’endpoint personnalisé
- Cliquez sur Connecter Amazon S3. Vos identifiants sont stockés chiffrés, et la première synchronisation démarre automatiquement. Utilisez Synchroniser à tout moment pour récupérer les derniers fichiers sans attendre l’exécution quotidienne
Fréquence de synchronisation et limites : nous synchronisons une fois par jour et à la demande avec « Synchroniser », en ne lisant que les fichiers nouveaux depuis la dernière synchronisation. Nous ingérons les entrées de logs de 90 jours maximum, issues de fichiers de 256 Mo maximum chacun. Nous traitons les fichiers par lots de 500 au maximum et lançons automatiquement un nouveau lot jusqu’à ce que tout le retard du bucket soit traité. Nous parcourons jusqu’à 50 000 objets dans le bucket ou le préfixe configuré ; utilisez un préfixe plus précis s’il en contient davantage.
Formats de logs pris en charge : logs Apache et nginx au format combined (CLF), logs standard AWS CloudFront (W3C) et exports de logs CSV. Les fichiers compressés en gzip (.gz) sont lus directement.
Conseils et remarques
- Agent Analytics est l’inverse de Trafic IA : Trafic IA mesure les humains qui arrivent depuis des outils d’IA, Agent Analytics mesure les crawlers IA eux-mêmes qui visitent votre site
- La détection des bots vérifiés combine la classification des bots du fournisseur et notre propre classificateur de user-agents, pour que les user-agents usurpés ne soient pas comptés en trop
- Si votre CDN ou votre hébergeur ne figure pas dans la liste, l’import CSV / de logs accepte la plupart des formats de logs standard
- Les données par URL sont disponibles à partir de Scale avec n’importe quelle source connectée, dans la limite de vos crédits mensuels