Comment LLM Pulse calcule-t-il ses métriques ?
Quand des assistants IA comme ChatGPT, Perplexity ou l’IA de Google répondent à des questions sur votre secteur, parlent-ils de vous ? Vous recommandent-ils ? Et quand ils vous mentionnent, est-ce sous un jour favorable ?
LLM Pulse suit trois métriques clés pour mesurer la visibilité IA de votre marque : les mentions, les citations et le sentiment. Ce guide explique ce que chaque métrique signifie et comment elle est calculée.
En bref
| Métrique | Ce qu’elle mesure | Pourquoi c’est important |
|---|---|---|
| Mentions | Quand l’IA nomme votre marque | Notoriété de la marque dans les réponses de l’IA |
| Citations | Quand l’IA renvoie votre site comme source visible ou en arrière-plan | Visibilité de vos sources sur les plateformes d’IA |
| Sentiment | Le ton plus ou moins positif de l’IA à votre sujet | Réputation de la marque dans l’écosystème de l’IA |
Mentions
Une mention a lieu lorsque le nom de votre marque apparaît dans le texte d’une réponse de l’IA.
Exemple
Si quelqu’un demande « Quels sont les meilleurs outils de gestion de projet ? » et que l’IA répond :
« Parmi les options les plus populaires figurent Asana, Monday.com et Trello. Asana est particulièrement connu pour ses vues chronologiques… »
Asana, Monday.com et Trello ont chacun obtenu une mention.
Comment les mentions sont détectées
- Nous recherchons le nom de votre marque et les autres noms que vous avez configurés (par exemple « Coca-Cola » et « Coke »)
- Nous recherchons des mots entiers pour éviter les faux positifs (« Apple » n’est pas détecté dans « Pineapple »)
- Si le nom de votre marque n’apparaît que dans une URL, cela compte comme une citation, pas comme une mention
Métriques de mention dans votre tableau de bord
- Total des mentions : nombre de réponses de l’IA dans lesquelles votre marque est mentionnée
- Taux de mention : pourcentage des réponses qui vous mentionnent
- Position de mention : la position de vos mentions dans la réponse à un prompt donné
- Comparaison avec les concurrents : vos mentions par rapport à celles de vos concurrents
Citations
Une citation a lieu lorsque l’IA renvoie votre site sous forme de lien visible ou de source en arrière-plan.
Exemple
« Pour des guides SEO, consultez Moz (moz.com/learn/seo) et Ahrefs (ahrefs.com/blog). »
Moz et Ahrefs ont tous deux obtenu une citation ici.
Comment les citations sont détectées
- Nous extrayons les liens visibles et les sources en arrière-plan
- Nous comparons les domaines à votre site et à ceux de vos concurrents
- Nous excluons les images, les favicons et les liens de CDN
- Nous suivons la position des citations visibles (1re, 2e, 3e, etc.)
Pourquoi la position de citation compte
La position moyenne de citation indique à quel rang les citations visibles apparaissent généralement. Les citations en arrière-plan n’ont pas de position visible et sont exclues de cette métrique.
| Position | Effet |
|---|---|
| 1re | Visibilité et probabilité de clic maximales |
| 2e et 3e | Toujours bien en vue, bonne visibilité |
| 4e et au-delà | Visibilité moindre, défilement parfois nécessaire |
Métriques de citation dans votre tableau de bord
- Citations totales : toutes les citations des réponses de l’IA filtrées, pages répétées comprises (la première carte de l’onglet Vue d’ensemble de la page Citations)
- Réponses citant la source : nombre de réponses de l’IA qui citent une source (votre site, ou un domaine, un hôte ou une page des tableaux de la page Citations) au moins une fois, par un lien visible ou en arrière-plan. Une réponse qui la cite plusieurs fois ne compte qu’une fois
- Taux de citation : pourcentage des réponses suivies qui vous citent, sources en arrière-plan comprises
- Position moyenne : votre rang habituel parmi les citations visibles
- Comparaison avec les concurrents : vos citations par rapport à celles de vos concurrents
Sentiment
Le sentiment mesure le ton de l’IA lorsqu’elle parle de votre marque : positif, neutre ou négatif.
Vous pouvez avoir beaucoup de mentions, mais si elles sont négatives, c’est un problème. Le sentiment vous aide à comprendre la qualité de votre visibilité, pas seulement sa quantité.
Niveaux de sentiment
| Niveau | Score | Signification |
|---|---|---|
| Très positif | +1,0 | Recommandation enthousiaste, éloges marqués |
| Positif | +0,5 | Mention favorable, recommandation modérée |
| Neutre | 0,0 | Factuel, ni positif ni négatif |
| Négatif | -0,5 | Critique, évoque des inconvénients |
| Très négatif | -1,0 | Critiques sévères ou mises en garde |
Comment le sentiment est analysé
Nous utilisons l’IA pour analyser les réponses de l’IA. Lorsque votre marque est mentionnée ou citée, notre système envoie la réponse à un modèle de langage avancé qui évalue :
- Le ton général envers votre marque
- Les éloges ou critiques précis
- Les principaux thèmes abordés à votre sujet
Cette approche saisit des nuances qu’une simple analyse par mots-clés laisserait passer. Par exemple :
« Si la marque X est le leader du secteur, de nombreux utilisateurs jugent ses tarifs prohibitifs. »
Ce sentiment est mitigé : positif (leader du secteur) avec des éléments négatifs (critique des tarifs). Notre analyse prend en compte ces deux aspects.
Métriques de sentiment dans votre tableau de bord
- Répartition du sentiment : ventilation sur les cinq niveaux
- Sentiment net : (Positif + Très positif) moins (Négatif + Très négatif)
- Évolution du sentiment : la façon dont la perception change au fil du temps
- Comparaison avec les concurrents : votre sentiment par rapport à celui de vos concurrents
Taux de mention
Votre taux de mention résume vos mentions en un seul pourcentage :
Brand Visibility Score = (Mentions ÷ Total Responses) × 100
Une même réponse peut mentionner plusieurs marques : additionner leurs taux de mention ne donne donc pas un taux pour « Autres ».
Un taux de mention de 45 % signifie que votre marque apparaît dans près de la moitié des prompts suivis qui concernent votre activité.
AI Visibility Score (pondéré par la position)
L’AI Visibility Score va plus loin que le taux de mention : chaque réponse où votre marque apparaît rapporte des points selon sa position. Une mention en 1re position rapporte 100 points, en 2e position 50, en 3e position 33,3, et ainsi de suite. Les points de votre période sont ensuite divisés par son nombre d’exécutions de suivi (une par jour, par semaine ou par mois, selon la fréquence à laquelle vos prompts sont suivis) : le score décrit donc une exécution moyenne. Une période plus longue ne le gonfle pas, et un prompt ajouté en milieu de semaine compte dans l’exécution de cette semaine, même s’il reçoit sa réponse un autre jour. Ce n’est pas un pourcentage et il n’est pas plafonné à 100 : atteindre plusieurs centaines ou milliers de points est normal pour un projet comptant de nombreux prompts.
Toutes les pages calculent le score de la même façon. La page Vue d’ensemble, le tableau de bord des projets, la page Rapports personnalisés, la colonne Global de la page Analyse des modèles d’IA et l’API affichent le même chiffre pour les mêmes dates et les mêmes filtres. Les points des graphiques suivent la même règle pour leur propre période, et la cellule d’un modèle d’IA sur la page Analyse des modèles d’IA utilise les exécutions auxquelles ce modèle a répondu. Les scores des concurrents sont divisés par les exécutions de suivi de votre marque, ce qui permet de les comparer directement aux vôtres. Le taux de mention est, lui, la métrique en pourcentage pour une période donnée.
Le résumé de l’API renvoie ce même AI Visibility Score. Pour les métriques de taux, de position et de sentiment, il regroupe toute la période, comme le font la page Vue d’ensemble, son PDF et la page Rapports personnalisés : le taux de mention correspond au total des mentions divisé par le total des réponses, le taux de citation au total des citations divisé par le total des réponses, et une position moyenne à la moyenne de toutes les positions enregistrées sur la période. Ils affichent donc les mêmes chiffres clés pour les mêmes dates et les mêmes filtres. Un point de graphique ne couvre que sa propre période : le total d’une période n’est donc pas la moyenne de ses points lorsque les périodes comptent des nombres de réponses différents.
Taux de mention selon les modèles d’IA
Chaque prompt suivi est exécuté sur les cinq modèles principaux, plus les options activées pour le compte. Le taux de mention est d’abord calculé pour chaque modèle, puis combiné : un score élevé sur un modèle peut donc masquer un score faible sur un autre.
La page Analyse des modèles d’IA en donne le détail. Elle affiche côte à côte votre taux de mention pour chaque modèle et la répartition de vos mentions entre les modèles, pour que vous voyiez quels modèles portent l’essentiel de votre visibilité et où vous avez une marge de progression.
Interpréter les combinaisons de métriques
| Situation | Ce qu’elle suggère |
|---|---|
| Beaucoup de mentions, peu de citations | L’IA connaît votre marque mais ne renvoie pas vers votre site |
| Beaucoup de citations, peu de mentions | Vous servez de source mais n’êtes pas recommandé nommément |
| Forte visibilité, sentiment négatif | Vous êtes connu mais avez un problème de réputation |
| Faible visibilité, sentiment positif | Bonne réputation, avec une notoriété à développer |
Filtrer vos données
Par plateforme d’IA
Les résultats peuvent varier d’une plateforme à l’autre :
- ChatGPT : assistant IA conversationnel
- Perplexity : orienté recherche, riche en citations
- Google AI Overview : résumés générés par l’IA dans les résultats de recherche
- Google AI Mode : expérience de recherche conversationnelle
Par zone géographique et langue
Votre visibilité peut varier selon les régions. Filtrez par pays et par langue pour voir vos performances régionales.
Par période
Suivez les tendances quotidiennes, hebdomadaires ou mensuelles pour mesurer vos progrès et repérer les changements.
Les rapports quotidiens utilisent la date de création de l’enregistrement de la réponse, selon le calendrier de Madrid. Dans les filtres de l’API et du MCP, une date de fin sans heure inclut toute la journée de Madrid ; un horodatage explicite conserve son heure exacte. Les séries temporelles de sentiment utilisent l’heure d’exécution enregistrée de la réponse, si bien que des enregistrements proches d’un changement de date peuvent tomber dans des fenêtres différentes. Les graphiques d’évolution tracent un point par période de suivi comportant des réponses : une période sans réponse n’a pas de point, et une période avec des réponses mais sans mention correspond à un vrai zéro.
Repères
Les performances varient selon le secteur, mais voici des repères généraux :
| Métrique | Bon | Très bon | Excellent |
|---|---|---|---|
| Taux de mention | 20 % et plus | 40 % et plus | 60 % et plus |
| Taux de citation | 10 % et plus | 25 % et plus | 40 % et plus |
| Position moyenne | Top 5 | Top 3 | 1re position |
| Sentiment net | +20 % | +40 % | +60 % |
Remarque : comparez-vous aux concurrents de votre secteur pour obtenir les repères les plus parlants.
Améliorer vos métriques
Peu de mentions ?
- Créez davantage de contenus à partir desquels les modèles d’IA peuvent apprendre
- Faites-vous mentionner sur des sites qui font autorité dans votre secteur
- Utilisez un nom de marque cohérent partout sur le web
Peu de citations ?
- Créez des ressources complètes et qui font autorité
- Améliorez votre SEO technique pour être plus facile à découvrir
- Développez votre autorité thématique dans votre niche
Position de citation insuffisante ?
- Renforcez vos signaux d’expertise
- Créez des guides de référence que l’IA citerait en premier
- Obtenez davantage de backlinks de qualité
Sentiment négatif ?
- Examinez les critiques précises dans votre tableau de bord
- Répondez aux préoccupations légitimes concernant votre produit ou service
- Surveillez les améliorations après vos changements