Respuesta
¿Cómo configurar robots.txt para permitir o bloquear los bots de IA?
Laurank es una empresa de AEO en español: ayudamos a que ChatGPT, Gemini, Perplexity y los AI Overviews de Google citen a tu marca, empezando por entender por qué hoy no lo hacen. Conoce a Laurank.
Puntos clave
- Cada proveedor documenta bots separados para búsqueda y para entrenamiento; bloquear uno no bloquea el otro.
- Permitir un bot de búsqueda es una condición de acceso, no una garantía de mención: las páginas oficiales consultadas no explican cómo se eligen las marcas citadas.
- Un bot con su propio grupo en robots.txt ignora el grupo general `User-agent: *`: repite en cada grupo las rutas privadas.
- Los bots que actúan a petición de un usuario (ChatGPT-User, Perplexity-User) pueden ignorar robots.txt.
- OpenAI indica que un cambio en robots.txt puede tardar aproximadamente 24 horas en reflejarse en sus resultados de búsqueda.
¿Cómo configurar robots.txt para permitir o bloquear bots de IA?
Crea un grupo de reglas por cada bot, permite los de búsqueda si quieres aparecer en las respuestas de cada asistente, decide aparte los de entrenamiento y sube el archivo a la raíz de tu dominio. Los proveedores documentan estos bots por separado, así que una sola regla general no basta.
Sigue este orden:
- Abre el archivo actual. Entra en
tudominio.com/robots.txt. Si da error 404, no existe y todo está permitido por defecto. - Decide qué quieres de cada tipo de bot. Usa la tabla de decisión de más abajo: búsqueda, entrenamiento o acción a petición del usuario.
- Escribe un grupo por bot. Cada grupo empieza con
User-agent:y sigue conAllow:oDisallow:. - Repite las rutas privadas en cada grupo. Un bot con grupo propio no lee el grupo general (
User-agent: *). - Publica el archivo en la raíz del host. Si tienes subdominios, cada uno necesita el suyo.
- Comprueba la versión publicada y espera. Abre la URL en el navegador y deja pasar unas 24 horas (el plazo que indica OpenAI) antes de medir.
Los bots de OpenAI están en cómo aparecer en ChatGPT; aquí está la vista de todos los proveedores.
¿Qué diferencia hay entre bots de búsqueda, de entrenamiento y de usuario?
Un bot de búsqueda alimenta las respuestas con enlaces de un asistente, uno de entrenamiento recoge contenido para mejorar modelos y uno de usuario visita una página cuando alguien lo pide. Según la documentación de cada proveedor, se controlan con tokens distintos.
| Proveedor | Búsqueda (permitir si quieres ser citado) | Entrenamiento (decisión aparte) | A petición del usuario |
|---|---|---|---|
| Anthropic | Claude-SearchBot |
ClaudeBot |
Claude-User |
| Perplexity | PerplexityBot |
No lo documenta: dice que PerplexityBot no se usa para rastrear contenido para modelos de base | Perplexity-User |
Googlebot (es la Búsqueda de Google) |
Google-Extended |
No aplica en la tabla consultada | |
| Apple | Applebot |
Applebot-Extended |
No lo documenta |
OpenAI tiene los tres tipos (OAI-SearchBot, GPTBot, ChatGPT-User); su detalle está en cómo aparecer en ChatGPT.
Tres matices de la documentación oficial:
- Google-Extended es un token de producto independiente. Google dice que no afecta a la inclusión en la Búsqueda ni se usa como factor de posicionamiento. Controla el uso del contenido para entrenar modelos de Gemini y la fundamentación.
- Applebot sirve a la búsqueda de Spotlight, Siri y Safari. Apple indica que, aunque deshabilites Applebot-Extended, el contenido sigue siendo localizable en esas funciones, porque Applebot puede seguir rastreando.
- Perplexity señala que su bot a petición del usuario, Perplexity-User, generalmente ignora robots.txt.
¿Qué bots de IA permitir y cuáles bloquear?
Permite los bots de búsqueda si quieres que los asistentes puedan citarte, y bloquea los de entrenamiento solo si no quieres que tu contenido se use para mejorar modelos. Lo segundo es una decisión de negocio; en las páginas consultadas, ningún proveedor vincula el entrenamiento con las menciones.
| Si tu situación es… | Qué hacer en robots.txt | Qué debes saber |
|---|---|---|
| Quieres aparecer en las respuestas de asistentes | Allow para OAI-SearchBot, Claude-SearchBot, PerplexityBot |
Es acceso, no garantía de mención |
| No quieres que entrenen modelos con tu contenido | Disallow: / para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended |
No afecta a tu posición en Google, según Google |
| Tienes contenido de pago o privado | Protégelo con contraseña, no solo con robots.txt | El RFC 9309 dice que estas reglas no son una autorización de acceso |
| Quieres bloquear todo | User-agent: * con Disallow: / |
Sales también de Google y de los asistentes |
| Un bot tira de tu servidor | Valora Crawl-delay en el grupo de ClaudeBot |
Anthropic dice admitirlo como extensión no estándar; Applebot no lo sigue; OpenAI y Perplexity no lo documentan en las páginas consultadas |
Este reparto es criterio de Laurank sobre cómo leer la documentación, no una recomendación de los proveedores. Sobre OpenAI, mira cómo aparecer en ChatGPT.
¿Cuál es un robots.txt listo para copiar con bots de IA?
Este ejemplo permite los bots de búsqueda y niega los de entrenamiento; ajusta la lista a tu decisión antes de publicarlo. Es un ejemplo ilustrativo con sintaxis de robots.txt estándar y los tokens que cada proveedor documenta.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://tudominio.com/sitemap.xml
El primer grupo permite los bots de búsqueda, el segundo niega los de entrenamiento (decisión de la empresa; bórralo si quieres autorizarlos) y el tercero deja a los demás rastreadores, incluido Googlebot, con la única restricción de /admin/.
Puntos de este ejemplo:
Disallow: /admin/se repite en cada grupo que permite: si lo pones solo en el grupo*, los bots con grupo propio no lo leen.- Si un bot no tiene ningún grupo que le aplique, queda permitido: Google indica que, salvo que lo especifiques, se da permiso de forma implícita para rastrear todo. Un bot sin grupo propio usa el grupo
*; Apple añade que Applebot sigue las instrucciones de Googlebot si el archivo no lo menciona. - Para subir el archivo, crea tu sitemap y deja la línea
Sitemap:apuntando a él. - Para Anthropic puedes añadir
Crawl-delay: 1al grupo de ClaudeBot; es una extensión no estándar que ellos admiten.
¿Qué errores de sintaxis rompen un robots.txt?
Los más frecuentes son poner el archivo fuera de la raíz, mezclar grupos, usar mayúsculas distintas en las rutas y esperar que robots.txt retire una página de Google. Las reglas salen del RFC 9309 y de la guía de Google.
- Ubicación y formato: el archivo se llama
robots.txt, va en la raíz del host, es texto sin formato y se codifica en UTF-8. No sirve en un subdirectorio. - Alcance: vale solo para su protocolo, host y puerto.
https://tudominio.com/robots.txtno cubrehttps://blog.tudominio.com. - Una regla por línea: cada directiva en su línea; el signo
#abre un comentario. - Rutas con mayúsculas: en las reglas se distingue entre mayúsculas y minúsculas:
Disallow: /File.aspno bloquea/file.asp. - Regla más específica: el RFC pide aplicar la coincidencia más específica; si una regla
Allowy unaDisallowson equivalentes, se usaAllow. - Tamaño: el RFC pide que, si el rastreador impone un límite de lectura, sea de al menos 500 KiB; lo que supere el límite del rastreador puede no leerse.
- Servidor caído: si robots.txt devuelve un error 5xx, el RFC indica que el rastreador debe asumir bloqueo total. Un fallo del servidor puede dejar tu sitio fuera.
- No sirve para desindexar: Google avisa de que una página bloqueada puede seguir apareciendo sin descripción, y recomienda
noindexo contraseña. Para ese caso mira por qué Google no indexa una página.
¿Qué no consigue robots.txt aunque esté bien escrito?
No obliga a nadie, no protege contenido privado y no frena a los bots que actúan a petición de un usuario. Es una petición que el rastreador decide cumplir.
La lista de límites documentados:
- No es autorización. El RFC 9309 dice que las reglas no son una forma de autorización de acceso, y Google añade que son los propios rastreadores los que deciden si las siguen.
- Acciones iniciadas por un usuario. OpenAI avisa de que, con ChatGPT-User, las reglas de robots.txt pueden no aplicarse; Perplexity dice que Perplexity-User generalmente las ignora.
- Bloquear por IP no equivale a optar por salir. Anthropic indica que bloquear las IP de sus bots puede no funcionar de forma persistente, porque impide leer el robots.txt.
- Firewall y robots.txt son capas distintas. Si permites un bot en robots.txt y tu firewall lo corta, no lo lee. OpenAI y Perplexity piden aceptar también las solicitudes desde sus rangos de IP publicados.
- Cambios con retraso. OpenAI indica que para sus resultados de búsqueda puede tardar aproximadamente 24 horas.
Para identificar qué bots te visitan de verdad y comprobar que no son suplantaciones, mira cómo reconocer los bots de IA en tus registros.
¿Qué hago si el robots.txt está bien y la IA no me menciona?
Entonces el acceso no es la causa y hay que revisar las otras tres: preguntas sin responder, competencia instalada y marca no reconocida. Las páginas oficiales consultadas no explican cómo se eligen las marcas mencionadas, así que robots.txt solo despeja la primera causa.
Laurank revisa esa primera causa, los bots que no leen el sitio, dentro de su diagnóstico AEO: qué reglas tiene tu archivo, qué bloquea el firewall y qué bots aparecen en los registros. No prometemos posiciones ni citas; depende de tu sector y de tu competencia. Si prefieres que lo revise un equipo, escríbenos por WhatsApp con el nombre de tu marca y tu sector.
Preguntas frecuentes
¿Bloquear GPTBot me saca de ChatGPT?
No. OpenAI documenta que cada configuración de robots.txt es independiente: se puede permitir OAI-SearchBot para aparecer en los resultados de búsqueda y no permitir GPTBot, que indica que el contenido no debe usarse para entrenar sus modelos. Bloquear solo GPTBot no equivale a bloquear la búsqueda.
¿Bloquear Google-Extended afecta a mi posición en Google?
No, según Google: Google-Extended no afecta a la inclusión de los sitios en la Búsqueda de Google ni se utiliza como factor de posicionamiento. Controla si el contenido se usa para entrenar modelos de Gemini y para la fundamentación. Para limitar lo que Google muestra en la Búsqueda, Google indica usar nosnippet, data-nosnippet o noindex.
¿Robots.txt protege contenido privado de los bots?
No. El estándar (RFC 9309) aclara que estas reglas no son una forma de autorización de acceso, y Google recomienda proteger con contraseña lo que no deba verse. Google señala que los rastreadores deciden si cumplen las reglas: el robot de Google y otros rastreadores fiables las cumplen, pero otros pueden no hacerlo.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
OpenAI indica que puede tardar aproximadamente 24 horas desde la actualización para sus resultados de búsqueda. Anthropic, Perplexity y Apple no publican un plazo en las páginas consultadas.
¿Debo bloquear a todos los bots de IA?
Depende de tu objetivo. Si quieres que los asistentes puedan citar tu sitio, bloquear sus bots de búsqueda lo impide. Si te preocupa el uso de tu contenido para entrenar modelos, puedes bloquear solo los bots de entrenamiento. La decisión es de negocio, no técnica.
Fuentes
- OpenAI — Overview of OpenAI Crawlers
- Anthropic — ¿Rastrea Anthropic datos de la web y cómo pueden bloquear el rastreador los propietarios de sitios?
- Perplexity — Perplexity Crawlers
- Apple — About Applebot
- Google Search Central — Rastreadores habituales de Google
- Google Search Central — Cómo escribir y enviar un archivo robots.txt
- Google Search Central — Funciones de IA y tu sitio web
- Google Search Central — Introducción a los archivos robots.txt
- IETF — RFC 9309: Robots Exclusion Protocol
¿Quieres que la IA cite a tu marca?
Cuéntanos tu caso por WhatsApp y te decimos por dónde empezar.
Escríbenos por WhatsAppArtículos relacionados
¿Cómo aparecer en ChatGPT y lograr que mencione tu empresa?
Para aparecer en ChatGPT: revisa que robots.txt y tu firewall no bloqueen a OAI-SearchBot y permítelo; espera unas 24 horas; haz de 10 a 20 preguntas reales de tus clientes y anota a quién menciona y qué URLs cita. Si no había bloqueo y no apareces, el problema es de contenido, competencia o marca.
¿Qué bots de IA rastrean tu sitio y cómo verificar que son reales?
Los bots de IA se identifican en los registros de tu servidor por el nombre en el user-agent (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Applebot…). Para confirmar que son reales, compara su IP con la lista que publica cada proveedor o usa el DNS inverso. Que te visiten no prueba que te citen.
¿Qué es el SEO técnico y qué revisar primero en tu sitio?
El SEO técnico es el conjunto de ajustes que permiten a Google y a otros bots rastrear, indexar y renderizar tus páginas. Revisa en este orden: que robots.txt y el firewall no bloqueen, que las páginas estén indexadas, que el contenido se vea sin depender de JavaScript y, al final, la velocidad.