Como são calculadas as métricas na LLM Pulse?
Quando assistentes de IA como o ChatGPT, a Perplexity ou a IA da Google respondem a perguntas sobre temas do seu setor, estão a falar de si? Estão a recomendá-lo? E, quando o mencionam, fazem-no de forma positiva?
A LLM Pulse monitoriza três métricas essenciais para medir a visibilidade da sua marca na IA: Menções, Citações e Sentimento. Este guia explica o que significa cada métrica e como é calculada.
Visão geral rápida
| Métrica | O que mede | Porque é importante |
|---|---|---|
| Menções | Quando a IA refere o nome da sua marca | Notoriedade da marca nas respostas de IA |
| Citações | Quando a IA apresenta o seu site como fonte visível ou em segundo plano | Visibilidade da fonte nas plataformas de IA |
| Sentimento | Quão positivamente a IA fala da sua marca | Reputação da marca no ecossistema de IA |
Menções
Uma menção ocorre quando o nome da sua marca aparece no texto de uma resposta de IA.
Exemplo
Se alguém perguntar «Quais são as melhores ferramentas de gestão de projetos?» e a IA responder:
«Entre as opções populares estão o Asana, o Monday.com e o Trello. O Asana é especialmente conhecido pelas suas vistas de cronograma…»
O Asana, o Monday.com e o Trello receberam cada um uma menção.
Como são detetadas as menções
- Procuramos o nome da sua marca e quaisquer nomes alternativos que tenha configurado (por exemplo, «Coca-Cola» e «Coke»)
- Utilizamos correspondência de limites de palavra para evitar falsos positivos («Apple» não corresponde dentro de «Pineapple»)
- Se o nome da sua marca aparecer apenas dentro de um URL, conta como citação e não como menção
Métricas de menções no seu painel
- Total de menções: Número de respostas de IA em que a sua marca foi mencionada
- Taxa de menções: Percentagem de respostas que mencionam a sua marca
- Posição da menção: A posição das menções numa resposta a um prompt específico
- Comparação com concorrentes: Como as suas menções se comparam com as dos concorrentes
Citações
Uma citação ocorre quando a IA apresenta o seu site como uma ligação visível ou como fonte em segundo plano.
Exemplo
«Para guias de SEO, consulte a Moz (moz.com/learn/seo) e a Ahrefs (ahrefs.com/blog).»
Tanto a Moz como a Ahrefs receberam citações aqui.
Como são detetadas as citações
- Extraímos ligações visíveis e referências a fontes em segundo plano
- Comparamos domínios com o seu site e com os concorrentes
- Filtramos imagens, favicons e ligações de CDN
- Registamos a posição das citações visíveis (1.ª, 2.ª, 3.ª, etc.)
Porque é importante a posição da citação
A Posição Média de Citação mostra onde as citações visíveis costumam surgir. As citações em segundo plano não têm posição visível e são excluídas desta métrica.
| Posição | Impacto |
|---|---|
| 1.ª | Maior visibilidade e probabilidade de clique |
| 2.ª-3.ª | Ainda em destaque, boa visibilidade |
| 4.ª+ | Menor visibilidade, pode ser necessário percorrer a resposta |
Métricas de citações no seu painel
- Total de citações: Todas as citações nas respostas de IA filtradas, incluindo páginas repetidas (o primeiro cartão do separador Visão geral, na página Citações)
- Respostas que citam: Número de respostas de IA que citam uma fonte (o seu site ou, nas tabelas de Citações, um domínio, Host ou página) pelo menos uma vez, como ligação visível ou em segundo plano. Uma resposta que a cita várias vezes conta apenas uma vez
- Taxa de citações: Percentagem de respostas monitorizadas que o citam, incluindo fontes em segundo plano
- Posição média: A sua classificação típica entre as citações visíveis
- Comparação com concorrentes: Como as suas citações se comparam com as dos concorrentes
Sentimento
O Sentimento mede o tom com que a IA fala da sua marca: positivo, neutro ou negativo.
Pode ter muitas menções, mas, se forem negativas, isso é um problema. O Sentimento ajuda a compreender a qualidade da sua visibilidade, e não apenas a quantidade.
Níveis de sentimento
| Nível | Pontuação | Significado |
|---|---|---|
| Muito positivo | +1,0 | Recomendação entusiástica, forte elogio |
| Positivo | +0,5 | Menção favorável, aprovação ligeira |
| Neutro | 0,0 | Factual, nem positivo nem negativo |
| Negativo | -0,5 | Crítico, aponta desvantagens |
| Muito negativo | -1,0 | Crítica forte ou avisos |
Como é analisado o sentimento
Utilizamos IA para analisar respostas de IA. Quando a sua marca é mencionada ou citada, o nosso sistema envia a resposta a um modelo de linguagem avançado que avalia:
- O tom geral em relação à sua marca
- Elogios ou críticas específicos
- Os principais temas abordados sobre a sua marca
Esta abordagem capta nuances que uma simples análise de palavras-chave deixaria escapar. Por exemplo:
«Embora a Marca X seja líder do setor, muitos utilizadores consideram os seus preços proibitivos.»
Trata-se de um caso misto: positivo (líder do setor) com elementos negativos (crítica aos preços). A nossa análise capta ambos os aspetos.
Métricas de sentimento no seu painel
- Distribuição do sentimento: Repartição pelos cinco níveis
-
Sentimento líquido: Percentagem de sentimento positivo e muito positivo menos a percentagem de sentimento negativo e muito negativo. Fórmula:
net_sentiment = ((very_positive + positive) - (negative + very_negative)) / classified_sentiments x 100 - Tendências de sentimento: Como a perceção muda ao longo do tempo
- Comparação com concorrentes: O seu sentimento em comparação com os concorrentes
Taxa de menções
A sua Taxa de menções corresponde à percentagem de respostas que mencionam a sua marca:
Taxa de menções = (Menções ÷ Total de respostas) × 100
Uma resposta pode mencionar várias marcas, pelo que somar as respetivas percentagens de visibilidade não produz uma taxa de «Outras».
Uma taxa de menções de 45% significa que a sua marca aparece em quase metade de todas as consultas monitorizadas relevantes para o seu negócio.
AI Visibility Score (ponderado pela posição)
O AI Visibility Score vai um passo mais além do que a percentagem de visibilidade: cada resposta em que a sua marca aparece contribui com pontos com base na sua posição. A primeira menção vale 100 pontos, a segunda vale 50, a terceira vale 33,3, e assim sucessivamente. Os pontos do seu intervalo de datas são depois divididos pelos respetivos dias com dados (os dias em que os seus prompts obtiveram respostas), pelo que a pontuação descreve um dia de monitorização médio: um intervalo mais longo não a inflaciona. Não é uma percentagem nem está limitada a 100, pelo que atingir as centenas ou os milhares é normal num projeto com muitos prompts.
Todas as páginas leem a pontuação da mesma forma. A Visão geral, o painel de projetos, os Relatórios personalizados, a coluna Global da página «Análises de modelos de IA» e a API mostram o mesmo número para as mesmas datas e filtros. Os pontos de dados dos gráficos seguem a mesma regra para o respetivo período, e a célula de cada modelo de IA em «Análises de modelos de IA» usa os dias em que esse modelo respondeu. Os pontos dos concorrentes são divididos pelos dias com dados da sua marca, pelo que as respetivas pontuações são diretamente comparáveis com as suas. A Taxa de menções é a métrica percentual para um intervalo selecionado.
O resumo da API devolve esse mesmo AI Visibility Score. Para as métricas de taxa, posição e sentimento, calcula os valores com os totais de todo o intervalo de datas, tal como o painel Visão geral, o respetivo PDF e os Relatórios personalizados: a taxa de menções corresponde a todas as menções divididas por todas as respostas, a taxa de citações a todas as citações divididas por todas as respostas e a posição média à média de todas as posições registadas no intervalo. Por isso, mostram os mesmos valores principais para as mesmas datas e filtros. Um ponto de dados de um gráfico abrange apenas o respetivo período, pelo que o total de um intervalo não é a média dos seus pontos quando os períodos têm contagens de respostas diferentes.
Taxa de menções nos modelos de IA
Os prompts são executados nos modelos de IA ativados na sua conta. Os cinco modelos principais são ChatGPT, Perplexity, Gemini, Google AI Mode e Google AI Overviews. A sua conta pode ter outros modelos ativados.
A página «Análises de modelos de IA» apresenta esta decomposição por modelo. A vista mostra a taxa de menções de cada modelo e a forma como as suas menções se distribuem pelos modelos, para ajudar a perceber quais os modelos que mais contribuem para a sua visibilidade e onde há margem para crescer.
Compreender as combinações de métricas
| Cenário | O que sugere |
|---|---|
| Muitas menções, poucas citações | A IA conhece a sua marca mas não cria ligações para o seu site |
| Muitas citações, poucas menções | É utilizado como fonte mas não é recomendado pelo nome |
| Visibilidade alta, sentimento negativo | É bem conhecido mas com problemas de reputação |
| Visibilidade baixa, sentimento positivo | Boa reputação com margem para aumentar a notoriedade |
Filtrar os seus dados
Por plataforma de IA
Plataformas diferentes podem apresentar resultados diferentes:
- ChatGPT: Assistente de IA conversacional
- Perplexity: Focada em investigação, com muitas citações
- Google AI Overview: Resumos de IA nos resultados de pesquisa
- Google AI Mode: Experiência de pesquisa conversacional
Por geografia e idioma
A sua visibilidade pode variar consoante a região. Filtre por país e idioma para ver o desempenho regional.
Por período de tempo
Acompanhe tendências diárias, semanais ou mensais para medir o progresso e detetar alterações.
O relatório diário utiliza a data de calendário de Madrid no momento em que o registo da resposta foi criado. Para os filtros da API e do MCP, uma data de fim sem hora inclui todo o dia de Madrid; uma data com hora explícita mantém a hora exata. As séries temporais de sentimento utilizam a hora de execução registada da resposta, pelo que registos próximos de um limite de data podem recair em janelas diferentes. Os gráficos de tendências mostram um ponto por cada período de monitorização com respostas: um período sem respostas não tem ponto, enquanto um período com respostas sem qualquer menção conta como um zero real.
Valores de referência
O desempenho varia consoante o setor, mas estas são orientações gerais:
| Métrica | Bom | Ótimo | Excelente |
|---|---|---|---|
| Taxa de menções | 20%+ | 40%+ | 60%+ |
| Taxa de citações | 10%+ | 25%+ | 40%+ |
| Posição média | Top 5 | Top 3 | 1.º |
| Sentimento líquido | +20% | +40% | +60% |
Nota: compare-se com concorrentes do seu setor para obter os valores de referência mais significativos.
Melhorar as suas métricas
Poucas menções?
- Crie mais conteúdo a partir do qual os modelos de IA possam aprender
- Consiga menções em sites de referência do setor
- Garanta uma nomenclatura de marca consistente em toda a web
Poucas citações?
- Crie recursos abrangentes e de referência
- Melhore o SEO técnico para melhorar a capacidade de descoberta
- Construa autoridade temática no seu nicho
Posição de citação fraca?
- Reforce os seus sinais de especialização
- Crie guias definitivos que a IA referencie em primeiro lugar
- Construa mais backlinks de elevada qualidade
Sentimento negativo?
- Reveja as críticas específicas no seu painel
- Responda a preocupações legítimas sobre o seu produto ou serviço
- Monitorize melhorias após introduzir alterações