ChatGPT · Tremor
Quelle volatilité pour ChatGPT dans la recherche IA ?
La volatilité hebdomadaire du modèle ChatGPT dans la recherche IA, mesurée par LLM Pulse. Plus la magnitude est élevée, plus ses sources, ses mentions de marque et son sentiment ont changé depuis la semaine dernière.
Prompts répétés analysés : 104 754
Ce qui a bougé cette semaine
Les trois signaux qui composent la magnitude.
Rotation des citations
Dans quelle mesure les sources citées par ce modèle ont changé d’une semaine à l’autre.
Rotation brute de la semaine : 62.4 / 100
Rotation des mentions
Dans quelle mesure les marques sont apparues, ont disparu ou ont changé de position dans les réponses.
Rotation brute de la semaine : 10.1 / 100
Variation du sentiment
Dans quelle mesure le ton envers les marques a évolué d’une semaine à l’autre.
Rotation brute de la semaine : 6.9 / 100
ChatGPT : historique hebdomadaire de la volatilité
Magnitude Tremor (de 0 à 10) par modèle d’IA, d’une semaine à l’autre. Mise à jour chaque mardi par LLM Pulse.
Ce que mesure Tremor
Mozcast et Algoroo permettaient aux experts SEO de mesurer chaque semaine l’ampleur des mouvements de l’algorithme de Google. Tremor fait de même pour la recherche IA, mais au lieu d’un seul moteur, il mesure pour chaque modèle d’IA à quel point ses réponses changent d’une semaine à l’autre.
Chaque semaine, nous retenons les prompts exécutés à la fois la semaine en cours et la semaine précédente, et nous mesurons pour chaque modèle d’IA l’évolution des sources citées, des mentions de marque et du sentiment. Comme les réponses de l’IA bougent toujours un peu, chaque signal est évalué par rapport au niveau de référence récent propre à ce modèle, puis combiné en une seule magnitude sismique, de 0 (calme inhabituel) à 10 (bouleversement majeur). Une semaine normale se situe autour de 2.
Notre méthode de mesure
-
Rotation des citations : pour les mêmes prompts, nous comparons l’ensemble des domaines cités par chaque modèle cette semaine et la semaine précédente (distance de Jaccard). C’est le signal le plus fort, l’équivalent pour la recherche IA de « les résultats ont changé ».
-
Rotation des mentions : fréquence à laquelle les marques sont apparues, ont disparu ou ont changé de position dans les réponses d’une semaine à l’autre.
-
Variation du sentiment : dans quelle mesure le ton envers les marques a évolué d’une semaine à l’autre.
-
Évaluation relative au niveau de référence : chaque signal est comparé au niveau de référence du modèle sur les huit dernières semaines (z-score robuste), si bien que la magnitude mesure les mouvements inhabituels, et non le bruit naturel des réponses de l’IA d’une semaine à l’autre. Une semaine type se situe autour de 2 ; au-delà, le modèle a dépassé sa volatilité habituelle. Les signaux sont combinés (les citations pesant le plus) dans la magnitude principale, et la mesure `all` fait la moyenne des magnitudes par modèle.
-
Mis à jour chaque mardi, en comparant la dernière semaine complète à la précédente. Fondé sur le jeu de données LLM Pulse couvrant ChatGPT, Perplexity, Gemini, Google AI Mode et AI Overviews.
Pourquoi c’est important
Un pic de Tremor signifie qu’un modèle d’IA vient de rebattre les cartes parmi les sources qu’il cite et les marques qu’il recommande : un signe avant-coureur que la visibilité de votre marque dans l’IA a peut-être changé, en bien ou en mal.
Suivre la volatilité par modèle vous indique où regarder en premier : une semaine calme sur ChatGPT mais une tempête sur Google AI Mode signifie que votre risque dans la recherche IA est concentré à un seul endroit.
Tremor : questions fréquentes
- Tremor mesure le caractère inhabituel des changements que chaque modèle d’IA apporte à ses réponses d’une semaine à l’autre. Pour un même ensemble de prompts, nous comparons les sources citées, les marques mentionnées et le sentiment exprimé, nous évaluons chaque signal par rapport au niveau de référence récent propre à ce modèle, puis nous les combinons en une magnitude unique de 0 à 10 par modèle.
- Les réponses de l’IA varient naturellement un peu chaque semaine : Tremor évalue donc chaque modèle par rapport à ses propres mouvements habituels. Une magnitude autour de 2 correspond à une semaine normale. Une magnitude élevée signifie que les réponses du modèle ont bien plus changé que d’habitude : sources différentes, marques qui apparaissent ou disparaissent, ou sentiment qui évolue. Proche de 0, elle indique des réponses inhabituellement stables.
- Il est mis à jour chaque mardi. La plupart des réponses hebdomadaires de l’IA sont actualisées le lundi : le mardi, les données de la nouvelle semaine sont disponibles et nous pouvons les comparer à celles de la semaine précédente.
- Trois signaux : la rotation des citations (l’ampleur du changement des sources citées), la rotation des mentions (marques qui apparaissent, disparaissent ou changent de position) et la variation du sentiment (l’évolution du ton envers les marques). Chaque signal est évalué par rapport au niveau de référence du modèle sur les huit dernières semaines, et les citations pèsent le plus.
- Il s’appuie sur le jeu de données LLM Pulse, qui réunit des millions de réponses réelles de l’IA dans ChatGPT, Perplexity, Gemini, Google AI Mode et AI Overviews. Les mêmes données alimentent le suivi par marque dans LLM Pulse.
Suivez votre marque
Suivez chaque semaine l’évolution de la recherche IA pour votre marque
Tremor s’appuie sur le jeu de données LLM Pulse. Suivez citations, mentions, sentiment et Share of Voice de votre marque sur tous les moteurs de recherche IA.
- Citations, mentions et sentiment pour votre marque et vos concurrents
- Tous les grands modèles d’IA, dont ChatGPT, Perplexity, Gemini, Google AI
- Suivi hebdomadaire, Share of Voice et alertes