Como são calculadas as métricas na LLM Pulse?
Quando assistentes de IA como o ChatGPT, a Perplexity ou a IA da Google respondem a perguntas sobre temas do seu setor, estão a falar de si? Estão a recomendá-lo? E, quando o mencionam, fazem-no de forma positiva?
A LLM Pulse monitoriza três métricas essenciais para medir a visibilidade da sua marca na IA: Menções, Citações e Sentimento. Este guia explica o que significa cada métrica e como é calculada.
Visão geral rápida
| Métrica | O que mede | Porque é importante |
|---|---|---|
| Menções | Quando a IA refere o nome da sua marca | Notoriedade da marca nas respostas de IA |
| Citações | Quando a IA apresenta o seu site como fonte visível ou em segundo plano | Visibilidade da fonte nas plataformas de IA |
| Sentimento | Quão positivamente a IA fala da sua marca | Reputação da marca no ecossistema de IA |
Menções
Uma menção ocorre quando o nome da sua marca aparece no texto de uma resposta de IA.
Exemplo
Se alguém perguntar «Quais são as melhores ferramentas de gestão de projetos?» e a IA responder:
«Entre as opções populares estão o Asana, o Monday.com e o Trello. O Asana é especialmente conhecido pelas suas vistas de cronograma…»
O Asana, o Monday.com e o Trello receberam cada um uma menção.
Como são detetadas as menções
- Procuramos o nome da sua marca e quaisquer nomes alternativos que tenha configurado (por exemplo, «Coca-Cola» e «Coke»)
- Utilizamos correspondência de limites de palavra para evitar falsos positivos («Apple» não corresponde dentro de «Pineapple»)
- Se o nome da sua marca aparecer apenas dentro de um URL, conta como citação e não como menção
Métricas de menções no seu painel
- Total de menções: Número de respostas de IA em que a sua marca foi mencionada
- Taxa de menções: Percentagem de respostas que mencionam a sua marca
- Posição da menção: A posição das menções numa resposta a um prompt específico
- Comparação com concorrentes: Como as suas menções se comparam com as dos concorrentes
Citações
Uma citação ocorre quando a IA apresenta o seu site como uma ligação visível ou como fonte em segundo plano.
Exemplo
«Para guias de SEO, consulte a Moz (moz.com/learn/seo) e a Ahrefs (ahrefs.com/blog).»
Tanto a Moz como a Ahrefs receberam citações aqui.
Como são detetadas as citações
- Extraímos ligações visíveis e referências a fontes em segundo plano
- Comparamos domínios com o seu site e com os concorrentes
- Filtramos imagens, favicons e ligações de CDN
- Registamos a posição das citações visíveis (1.ª, 2.ª, 3.ª, etc.)
Porque é importante a posição da citação
A Posição Média de Citação mostra onde as citações visíveis costumam surgir. As citações em segundo plano não têm posição visível e são excluídas desta métrica.
| Posição | Impacto |
|---|---|
| 1.ª | Maior visibilidade e probabilidade de clique |
| 2.ª-3.ª | Ainda em destaque, boa visibilidade |
| 4.ª+ | Menor visibilidade, pode ser necessário percorrer a resposta |
Métricas de citações no seu painel
- Total de citações: Número de respostas de IA que apresentam o seu site como fonte visível ou em segundo plano
- Taxa de citações: Percentagem de respostas monitorizadas que o citam, incluindo fontes em segundo plano
- Posição média: A sua classificação típica entre as citações visíveis
- Comparação com concorrentes: Como as suas citações se comparam com as dos concorrentes
Sentimento
O Sentimento mede o tom com que a IA fala da sua marca: positivo, neutro ou negativo.
Pode ter muitas menções, mas, se forem negativas, isso é um problema. O Sentimento ajuda a compreender a qualidade da sua visibilidade, e não apenas a quantidade.
Níveis de sentimento
| Nível | Pontuação | Significado |
|---|---|---|
| Muito positivo | +1,0 | Recomendação entusiástica, forte elogio |
| Positivo | +0,5 | Menção favorável, aprovação ligeira |
| Neutro | 0,0 | Factual, nem positivo nem negativo |
| Negativo | -0,5 | Crítico, aponta desvantagens |
| Muito negativo | -1,0 | Crítica forte ou avisos |
Como é analisado o sentimento
Utilizamos IA para analisar respostas de IA. Quando a sua marca é mencionada ou citada, o nosso sistema envia a resposta a um modelo de linguagem avançado que avalia:
- O tom geral em relação à sua marca
- Elogios ou críticas específicos
- Os principais temas abordados sobre a sua marca
Esta abordagem capta nuances que uma simples análise de palavras-chave deixaria escapar. Por exemplo:
«Embora a Marca X seja líder do setor, muitos utilizadores consideram os seus preços proibitivos.»
Trata-se de um caso misto: positivo (líder do setor) com elementos negativos (crítica aos preços). A nossa análise capta ambos os aspetos.
Métricas de sentimento no seu painel
- Distribuição do sentimento: Repartição pelos cinco níveis
-
Sentimento líquido: Percentagem de sentimento positivo e muito positivo menos a percentagem de sentimento negativo e muito negativo. Fórmula:
net_sentiment = ((very_positive + positive) - (negative + very_negative)) / classified_sentiments x 100 - Tendências de sentimento: Como a perceção muda ao longo do tempo
- Comparação com concorrentes: O seu sentimento em comparação com os concorrentes
Taxa de menções
A sua Taxa de menções corresponde à percentagem de respostas que mencionam a sua marca:
Taxa de menções = (Menções ÷ Total de respostas) × 100
Uma resposta pode mencionar várias marcas, pelo que somar as respetivas percentagens de visibilidade não produz uma taxa de «Outras».
Uma taxa de menções de 45% significa que a sua marca aparece em quase metade de todas as consultas monitorizadas relevantes para o seu negócio.
AI Visibility Score (ponderado pela posição)
O AI Visibility Score vai um passo mais além do que a percentagem de visibilidade: cada resposta em que a sua marca aparece contribui com pontos com base na sua posição. A primeira menção vale 100 pontos, a segunda vale 50, a terceira vale 33,3, e assim sucessivamente. Como cada resposta com menção acrescenta pontos, a pontuação cresce com o volume: não é uma percentagem, não está limitada a 100 e atingir as centenas ou os milhares é normal num projeto ativo.
Um ponto a ter em conta ao comparar ecrãs: páginas diferentes agregam esta pontuação de forma diferente. O KPI da Visão geral mostra a média por dia com dados no intervalo selecionado, enquanto a tabela da página «Análises de modelos de IA» e as tabelas de liderança por etiqueta e por país mostram a soma acumulada de todo o período. O mesmo intervalo de datas pode, por isso, mostrar legitimamente um número pequeno numa página e um número muito maior noutra; nenhum está errado, são agregações diferentes dos mesmos dados. A Taxa de menções é a métrica percentual para um intervalo selecionado.
O resumo da API tem a sua própria agregação documentada. Para as métricas de taxa, posição, sentimento e AI Visibility Score, reporta a média aritmética dos valores dos períodos devolvidos. O painel Visão geral, o respetivo PDF e os Relatórios personalizados calculam a taxa de menções e a taxa de citações a partir dos totais das linhas diárias selecionadas. Períodos com contagens de respostas diferentes podem, por isso, produzir percentagens diferentes no painel e no resumo da API, mesmo quando o intervalo de datas e os filtros são iguais.
Taxa de menções nos modelos de IA
Os prompts são executados nos modelos de IA ativados na sua conta. Os cinco modelos principais são ChatGPT, Perplexity, Gemini, Google AI Mode e Google AI Overviews. A sua conta pode ter outros modelos ativados.
A página «Análises de modelos de IA» apresenta esta decomposição por modelo. A vista mostra a taxa de menções de cada modelo e um gráfico de anel com a quota de menções, para ajudar a perceber quais os modelos que mais contribuem para a sua visibilidade e onde há margem para crescer.
Compreender as combinações de métricas
| Cenário | O que sugere |
|---|---|
| Muitas menções, poucas citações | A IA conhece a sua marca mas não cria ligações para o seu site |
| Muitas citações, poucas menções | É utilizado como fonte mas não é recomendado pelo nome |
| Visibilidade alta, sentimento negativo | É bem conhecido mas com problemas de reputação |
| Visibilidade baixa, sentimento positivo | Boa reputação com margem para aumentar a notoriedade |
Filtrar os seus dados
Por plataforma de IA
Plataformas diferentes podem apresentar resultados diferentes:
- ChatGPT: Assistente de IA conversacional
- Perplexity: Focada em investigação, com muitas citações
- Google AI Overview: Resumos de IA nos resultados de pesquisa
- Google AI Mode: Experiência de pesquisa conversacional
Por geografia e idioma
A sua visibilidade pode variar consoante a região. Filtre por país e idioma para ver o desempenho regional.
Por período de tempo
Acompanhe tendências diárias, semanais ou mensais para medir o progresso e detetar alterações.
O relatório diário utiliza a data de calendário de Madrid no momento em que o registo da resposta foi criado. Para os filtros da API e do MCP, uma data de fim sem hora inclui todo o dia de Madrid; uma data com hora explícita mantém a hora exata. As séries temporais de sentimento utilizam a hora de execução registada da resposta, pelo que registos próximos de um limite de data podem recair em janelas diferentes. Nos gráficos semanais e mensais, um período vazio pode mostrar o valor anterior por continuidade, enquanto um período com respostas e um zero verdadeiro permanece zero.
Valores de referência
O desempenho varia consoante o setor, mas estas são orientações gerais:
| Métrica | Bom | Ótimo | Excelente |
|---|---|---|---|
| Taxa de menções | 20%+ | 40%+ | 60%+ |
| Taxa de citações | 10%+ | 25%+ | 40%+ |
| Posição média | Top 5 | Top 3 | 1.º |
| Sentimento líquido | +20% | +40% | +60% |
Nota: compare-se com concorrentes do seu setor para obter os valores de referência mais significativos.
Melhorar as suas métricas
Poucas menções?
- Crie mais conteúdo a partir do qual os modelos de IA possam aprender
- Consiga menções em sites de referência do setor
- Garanta uma nomenclatura de marca consistente em toda a web
Poucas citações?
- Crie recursos abrangentes e de referência
- Melhore o SEO técnico para melhorar a capacidade de descoberta
- Construa autoridade temática no seu nicho
Posição de citação fraca?
- Reforce os seus sinais de especialização
- Crie guias definitivos que a IA referencie em primeiro lugar
- Construa mais backlinks de elevada qualidade
Sentimento negativo?
- Reveja as críticas específicas no seu painel
- Responda a preocupações legítimas sobre o seu produto ou serviço
- Monitorize melhorias após introduzir alterações