Gerador de robots.txt para IA
O Gerador de robots.txt para IA é uma ferramenta gratuita que funciona no navegador e cria um robots.txt para os bots de IA que acompanhamos. Escolhe quais podem ler o seu site, copia ou transfere o resultado e carrega-o para a raiz do seu domínio.
Para verificar um robots.txt que já está publicado, use o Verificador de robots.txt. Ambas as ferramentas estão disponíveis, juntamente com as restantes ferramentas gratuitas, em Ferramentas gratuitas de pesquisa com IA.
Os três tipos de bots de IA
O gerador agrupa cada bot pela função que desempenha, porque bloquear cada grupo tem um custo diferente.
- Rastreadores de pesquisa com IA (por exemplo, OAI-SearchBot, PerplexityBot e Claude-SearchBot) indexam páginas para que os motores de pesquisa com IA as possam citar e incluir ligações para elas. Se os bloquear, a pesquisa com IA deixa de citar as suas páginas.
- Assistentes de IA a pedido do utilizador (por exemplo, ChatGPT-User, Perplexity-User e Claude-User) abrem uma página quando uma pessoa pede a um assistente que a leia. Se os bloquear, os assistentes não conseguem abrir as suas páginas para essas pessoas.
- Rastreadores de treino de IA (por exemplo, GPTBot, ClaudeBot, Google-Extended e CCBot) recolhem páginas para treinar modelos. Se os bloquear, os modelos futuros aprendem menos sobre si, mas a pesquisa com IA continua a poder citá-lo.
Como utilizar
- Escolha uma predefinição: Permitir todos os bots de IA, Bloquear apenas o treino ou Bloquear todos os bots de IA.
- Ative ou desative cada bot individualmente. Cada interruptor indica a empresa responsável pelo bot.
- Opcionalmente, indique caminhos privados, um por linha. Os bots que permitir não acedem a esses caminhos, tal como todos os outros rastreadores.
- Opcionalmente, adicione o URL do seu sitemap.
- Copie o ficheiro ou transfira-o como robots.txt e, em seguida, carregue-o para a raiz do seu domínio, por exemplo, example.com/robots.txt.
Os bots bloqueados ficam agrupados numa única regra que proíbe o acesso a todo o site. Os bots permitidos recebem um grupo próprio com os caminhos privados que indicou, porque um bot com um grupo próprio ignora as regras escritas para todos os outros rastreadores.
O que o robots.txt não consegue fazer
O robots.txt é um pedido, não um cadeado. As empresas de IA conhecidas afirmam que os seus bots o respeitam, mas um rastreador pode ignorá-lo. Bloquear um rastreador de treino impede que novas páginas entrem em dados de treino futuros, mas não apaga o que um modelo já aprendeu. Para ver que bots visitam realmente o seu site, ligue os registos do seu servidor ou CDN no Agent Analytics.
Privacidade
O gerador funciona no navegador. Nada do que introduz nos é enviado.
