Generador de robots.txt para IA
El Generador de robots.txt para IA es una herramienta gratuita que funciona en tu navegador y escribe un robots.txt para los bots de IA que seguimos. Eliges cuáles pueden leer tu sitio, copias o descargas el resultado y lo subes a la raíz de tu dominio.
Para revisar un robots.txt que ya está publicado, usa el Comprobador de robots.txt. Ambos están junto al resto de herramientas gratuitas en Herramientas gratuitas de búsqueda con IA.
Los tres tipos de bots de IA
El generador agrupa cada bot según lo que hace, porque bloquear cada grupo tiene un coste distinto.
- Rastreadores de búsqueda con IA (por ejemplo, OAI-SearchBot, PerplexityBot y Claude-SearchBot) indexan páginas para que los buscadores con IA puedan citarlas y enlazarlas. Si los bloqueas, la búsqueda con IA deja de citar tus páginas.
- Asistentes de IA activados por el usuario (por ejemplo, ChatGPT-User, Perplexity-User y Claude-User) abren una página cuando alguien le pide a un asistente que la lea. Si los bloqueas, los asistentes no pueden abrir tus páginas para esas personas.
- Rastreadores de entrenamiento de IA (por ejemplo, GPTBot, ClaudeBot, Google-Extended y CCBot) recopilan páginas para entrenar modelos. Si los bloqueas, los futuros modelos aprenderán menos sobre ti, aunque la búsqueda con IA podrá seguir citándote.
Cómo usarlo
- Elige un ajuste predefinido: Permitir todos los bots de IA, Bloquear solo entrenamiento o Bloquear todos los bots de IA.
- Activa o desactiva cualquier bot por separado. Cada interruptor muestra la empresa que gestiona el bot.
- Si quieres, añade rutas privadas, una por línea. Todos los bots que permitas omiten esas rutas, y también el resto de rastreadores.
- Si quieres, añade la URL de tu sitemap.
- Copia el archivo o descárgalo como robots.txt y súbelo a la raíz de tu dominio, por ejemplo example.com/robots.txt.
Los bots bloqueados se agrupan en una sola regla que impide rastrear todo el sitio. Los bots permitidos tienen su propio grupo con tus rutas privadas, porque un bot con un grupo propio ignora las reglas escritas para el resto de rastreadores.
Lo que robots.txt no puede hacer
El archivo robots.txt es una solicitud, no un candado. Las grandes empresas de IA afirman que sus bots lo respetan, pero un rastreador puede ignorarlo. Bloquear un rastreador de entrenamiento impide que tus páginas nuevas entren en futuros datos de entrenamiento, pero no elimina lo que un modelo ya ha aprendido. Para ver qué bots visitan realmente tu sitio, conecta los registros de tu servidor o CDN en Agent Analytics.
Privacidad
El generador se ejecuta en tu navegador. No nos llega nada de lo que introduces.
