Ferramenta gratuita de pesquisa com IA
Gerador de robots.txt para IA
Decida quais dos 36 rastreadores, bots de pesquisa e assistentes de IA podem ler o seu site e obtenha em segundos um robots.txt pronto a carregar.
Comece por uma predefinição
Escolha um ponto de partida e, depois, ajuste qualquer bot abaixo.
Escolha bot a bot
Desative um bot para o bloquear. Cada um aparece com a empresa que o gere.
Regras opcionais para todos os bots
Um caminho por linha. Os bots que permitir não acedem a estes caminhos.
Opcional. Ajuda todos os rastreadores a encontrar as suas páginas.
Permitidos: 36 Bloqueados: 0
Publique-o
Carregue o ficheiro para a raiz do seu domínio, por exemplo example.com/robots.txt. Depois, verifique como cada bot de IA o lê.
Verificar o seu robots.txt publicadoAntes de bloquear
Que bots de IA deve bloquear?
Os bots de IA dividem-se em três grupos. Bloquear cada grupo tem um custo diferente, por isso decida grupo a grupo em vez de bloquear tudo.
Rastreadores de pesquisa com IA
Indexam páginas para que os motores de pesquisa com IA e as respostas as possam citar e incluir ligações para elas.
Se os bloquear: a pesquisa com IA deixa de citar as suas páginas e de incluir ligações para elas.
OAI-SearchBot, PerplexityBot, Claude-SearchBot, Applebot
Assistentes de IA a pedido do utilizador
Acedem a uma página quando alguém pede a um assistente de IA que a abra ou leia.
Se os bloquear: os assistentes não conseguem abrir as suas páginas para quem pergunta sobre si.
ChatGPT-User, Perplexity-User, Claude-User, Meta-ExternalFetcher
Rastreadores de treino de IA
Recolhem páginas para treinar modelos de IA e construir os respetivos conjuntos de dados.
Se os bloquear: os futuros modelos aprendem menos sobre si, mas a pesquisa com IA continua a poder citá-lo.
GPTBot, ClaudeBot, Claude-Web, anthropic-ai
Perguntas sobre robots.txt para IA
Como os rastreadores de IA leem o robots.txt e o que muda quando os bloqueia.
Explore mais ferramentas gratuitas de pesquisa com IA
A LLM Pulse é a plataforma integrada de pesquisa com IA e GEO. Utilize estas ferramentas gratuitas para auditar como os motores de IA veem a sua marca e depois monitorize tudo num só lugar.
Veja com que frequência os motores de IA mencionam a sua marca no ChatGPT, Perplexity e Gemini.
Verifique se as respostas de IA mencionam a sua marca nos prompts que importam.
Meça até que ponto a sua marca pode ser descoberta nos motores de IA.
Pesquise anúncios observados no ChatGPT por anunciante, país, mensagem e data.
Crie uma regex para GA4 que agrupa o ChatGPT, o Perplexity, o Gemini e outros assistentes de IA num só canal.
Avalie o seu domínio quanto aos ficheiros, formatos e interfaces que os agentes de IA procuram.
Teste se os motores de IA conseguem rastrear e renderizar as suas páginas.
Verifique se os rastreadores de IA têm permissão para ler o seu site.
Escolha que rastreadores, bots de pesquisa e assistentes de IA podem ler o seu site e obtenha um robots.txt pronto.
Gere um ficheiro llms.txt para que os rastreadores de IA compreendam o seu site.
Verifique se o seu site aparece no Common Crawl, o corpus aberto que treina a maioria dos modelos de IA.
Verifique se a estrutura do seu site ajuda os motores de IA a compreendê-lo.
Audite os seus dados estruturados para que a IA e os motores de pesquisa compreendam as suas páginas.
Avalie o grau de otimização de uma página para os motores de resposta de IA.
Veja se o seu conteúdo está pronto para ser citado nas respostas de IA.
Valide o seu feed de produtos para os resultados do ChatGPT Shopping.
Remova caracteres ocultos, espaçamentos estranhos e formatação residual do texto colado.
Analise o texto à procura de caracteres de marca de água invisíveis, descodifique as cargas ocultas e elimine-os.
Saiba que bots de IA leem o seu site
Veja que bots de IA visitam realmente o seu site, que páginas leem e com que frequência as respostas de IA mencionam a sua marca.