Respuesta
¿Cómo saber si mi sitio es legible para la IA?
Laurank es una empresa de AEO en español: ayudamos a que ChatGPT, Gemini, Perplexity y los AI Overviews de Google citen a tu marca, empezando por entender por qué hoy no lo hacen. Conoce a Laurank.
Puntos clave
- Cinco comprobaciones cubren el acceso: robots.txt, códigos de estado, HTML sin JavaScript, firewall o CDN y registros del servidor.
- Un curl con el user agent del bot detecta reglas basadas en el user agent; no prueba que el bot real pase, porque llega desde IP propias.
- Ningún proveedor de asistentes documenta, en las páginas revisadas, si sus bots ejecutan JavaScript: la opción segura es que el texto clave esté en el HTML.
- Cloudflare tiene ajustes que pueden frenar bots de IA aunque robots.txt los permita; el Bot Fight Mode no se puede saltar con reglas personalizadas.
- Pasar la prueba solo demuestra acceso: no garantiza que la IA cite tu sitio.
¿Cómo saber si mi sitio es legible para los bots de IA?
Haz cinco comprobaciones de acceso: robots.txt, códigos de estado, HTML sin JavaScript, firewall o CDN y registros del servidor. Si las cinco salen bien, los bots pueden leer tu sitio. Eso no significa que te citen: la legibilidad es una condición de acceso, no una garantía de aparición.
Los comandos funcionan en Mac, Linux o Windows con WSL. Cambia tudominio.com por tu dominio y /tu-pagina por una página que quieras que la IA lea.
- robots.txt: ¿algún bot de IA está bloqueado?
- Códigos de estado: ¿cada bot recibe un 200?
- HTML sin JavaScript: ¿el texto clave llega en la respuesta del servidor?
- Firewall o CDN: ¿alguna capa de seguridad frena a los bots?
- Registros del servidor: ¿los bots reales ya visitaron tu sitio y qué recibieron?
Aquí el foco es comprobar tu sitio; la tabla de la siguiente sección resume los bots que cada proveedor documenta.
¿Qué dice mi robots.txt sobre los bots de IA?
Descarga el archivo y busca el nombre de cada bot que te interesa; si no hay una regla para él, aplica la regla de User-agent: *. Cada proveedor documenta sus bots con funciones separadas:
| Proveedor | Bot de búsqueda | Bot de visita a petición del usuario | Bot de entrenamiento |
|---|---|---|---|
| OpenAI | OAI-SearchBot |
ChatGPT-User |
GPTBot |
| Perplexity | PerplexityBot |
Perplexity-User |
Perplexity dice que PerplexityBot no se usa para rastrear contenido para modelos de base de IA |
| Anthropic | Claude-SearchBot |
Claude-User |
ClaudeBot |
curl -s https://tudominio.com/robots.txt
Qué buscar en la respuesta:
- Una línea
Disallow: /bajoUser-agent: *bloquea todo el sitio a los bots sin regla propia. - Una regla
Disallowbajo el nombre de un bot de búsqueda, comoOAI-SearchBot, deja tu sitio fuera de su búsqueda. OpenAI lo dice así: los sitios que se excluyen de OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden aparecer como enlaces de navegación. - Cada proveedor trata sus bots de forma independiente: bloquear el entrenamiento no tiene por qué sacarte de la búsqueda. OpenAI y Perplexity lo documentan; Anthropic describe la misma separación de funciones para sus tres robots.
- Los bots que actúan a petición del usuario pueden comportarse distinto: OpenAI dice que en ChatGPT-User las reglas de robots.txt pueden no aplicarse y Perplexity dice que Perplexity-User por lo general ignora robots.txt.
Si tienes varios subdominios, cada uno tiene su propio robots.txt. Revisa también el archivo que el servidor entrega, porque algunos plugins lo modifican.
¿Qué código de estado recibe cada bot?
Simula cada user agent con curl y mira el código de respuesta: 200 es correcto; 403, 429 o una redirección inesperada indican que una capa lo está frenando. Este bucle prueba cuatro bots con una sola ejecución:
for ua in "OAI-SearchBot" "PerplexityBot" "Claude-SearchBot" "Googlebot"; do
echo -n "$ua: "
curl -s -o /dev/null -w "%{http_code}\n" -A "$ua" https://tudominio.com/tu-pagina
done
Y para ver la cadena de redirecciones de la página:
curl -sIL https://tudominio.com/tu-pagina | grep -i -E "^HTTP|^location"
Cómo leer el resultado:
| Resultado | Qué indica | Qué hacer |
|---|---|---|
200 en todos los bots |
Ninguna regla basada en user agent los frena | Pasar a la comprobación 3 |
403 solo con el user agent del bot |
Una regla de firewall, WAF o plugin lo bloquea | Crear una excepción (ver la sección de firewall) |
429 |
Límite de peticiones | Revisar el límite de tasa de tu hosting o CDN |
| Cadena larga de redirecciones | Cada salto es un punto de fallo | Enlazar directamente a la URL final |
404 o 500 |
Google dice que las páginas de error no se indexan; el principio es igual de razonable para otros bots | Corregir la página |
Una limitación importante: tu curl envía solo el nombre del bot (por ejemplo OAI-SearchBot), no la cadena completa de user agent del bot real ni sus IP. Algunas reglas de firewall exigen esa cadena o la IP, así que un 200 aquí puede ser un falso negativo. Pasar este bucle descarta bloqueos simples por user agent; no prueba que el bot real llegue. Para eso están los registros (comprobación 5).
¿El texto de mi página llega sin JavaScript?
Descarga el HTML tal como lo entrega el servidor y busca una frase de tu página; si no aparece, ese texto depende de JavaScript. Elige una frase exacta del primer párrafo que contesta la pregunta de tu cliente.
curl -s https://tudominio.com/tu-pagina | grep -i -c "una frase exacta de tu página"
Un resultado 0 significa que la frase no está en el HTML inicial. Para ver el texto que sí llega, sin etiquetas:
curl -s https://tudominio.com/tu-pagina | sed -e 's/<script[^>]*>.*<\/script>//g' -e 's/<[^>]*>/ /g' | tr -s ' \n' | head -c 2000
Por qué importa esta prueba: Google documenta que ejecuta JavaScript con una versión actual de Chromium, y que no lo renderiza si los archivos o las páginas están bloqueados. De los bots de OpenAI, Perplexity y Anthropic, las páginas oficiales que revisamos no dicen si ejecutan JavaScript. Como no hay una garantía publicada, el criterio de Laurank es prudente: el texto clave (qué haces, para quién, dónde, la respuesta a las preguntas de tus clientes) debe estar en el HTML inicial. Si tu sitio es una aplicación que pinta todo en el navegador, este es el primer arreglo.
También revisa que el contenido no esté detrás de un inicio de sesión: Google dice que no rastrea páginas privadas. Ningún proveedor de asistentes documenta, en las páginas revisadas, cómo trata las que piden inicio de sesión, así que el criterio de Laurank es no dar por hecho que entran.
¿Mi firewall o Cloudflare están frenando a los bots?
Mira los eventos de seguridad de tu firewall y revisa tres ajustes de Cloudflare si lo usas: Bot Fight Mode, las políticas de bots de IA y las reglas WAF personalizadas. Los datos de Cloudflare vienen de su documentación, consultada el 22 de octubre de 2026 (Bot Fight Mode, actualizada el 3 de agosto de 2026; bots de IA, el 1 de julio de 2026; bots verificados, el 8 de octubre de 2026).
| Ajuste de Cloudflare | Qué dice su documentación | Qué revisar |
|---|---|---|
| Bot Fight Mode | Emite desafíos a patrones de bots conocidos. No se puede saltar ni excluir con reglas personalizadas de WAF ni con Page Rules; para crear excepciones recomienda Super Bot Fight Mode | Si está activo y bots de IA reciben desafíos, la excepción no se hace con una regla WAF |
| Políticas de bots de IA (Security Settings, Configure AI bot policies) | Permiten bloquear o permitir por comportamiento: Search, Agent o Training | Que Search esté en permitir si quieres aparecer en la búsqueda de un asistente |
| Reglas WAF personalizadas | Pueden permitir tráfico por user agent e IP | Que no haya reglas antiguas que bloqueen países o user agents genéricos |
Cloudflare avisó de que, desde el 15 de septiembre de 2026, los dominios nuevos bloquean por defecto a los bots clasificados como Training o como Agent en páginas con anuncios, y que Search sigue permitido. Los bots verificados tienen categorías: en la lista de Cloudflare, OAI-SearchBot figura como ejemplo de “AI Search” y Perplexity-User como ejemplo de “AI Assistant”. Si tu dominio es nuevo en Cloudflare o muestra anuncios, revisa en qué política cae cada bot en lugar de suponerlo.
Para ver qué se bloquea de verdad, abre en Cloudflare Security Analytics y la pestaña de eventos, y filtra por el nombre del bot. La regla de permitir de Perplexity está en cómo aparecer en Perplexity y la de OpenAI, en cómo aparecer en ChatGPT.
¿Cómo veo en los registros si los bots ya visitaron mi sitio?
Busca los nombres de los bots en el registro de acceso: si aparecen con respuesta 200, tu sitio les entrega contenido. Es la única comprobación con tráfico real. Si tu hosting es compartido, pide el registro a tu proveedor o míralo en el panel (cPanel, Plesk o el de tu CDN).
En un servidor con registro estándar (formato combinado), este comando cuenta las respuestas por código y por bot:
grep -i -E "OAI-SearchBot|PerplexityBot|Claude-SearchBot|Googlebot" access.log | awk '{print $9}' | sort | uniq -c
Si tu formato de registro es otro, la columna del código de estado puede no ser la novena; abre una línea del archivo y compruébalo antes.
Ejemplo ilustrativo, con datos ficticios, para una ferretería en Lima con tienda en línea:
| Revisión | Resultado en el ejemplo | Lectura |
|---|---|---|
| robots.txt | Sin reglas para bots de IA ni Disallow: / |
Acceso permitido |
Código de estado con OAI-SearchBot |
403 | Una regla frena al bot por su user agent |
Código con PerplexityBot |
403 | Misma causa |
| Texto de la ficha de producto sin JavaScript | No aparece | El catálogo se pinta en el navegador |
| Registro del servidor | Ningún bot de IA en la lista | Nunca llegaron o ya se les bloqueaba |
Lectura del ejemplo: dos arreglos distintos (excepción en el firewall y texto en el HTML); repite la prueba tras cada cambio. Perplexity indica que sus sistemas pueden tardar hasta 24 horas, y OpenAI “~24 hours” (unas 24 horas), en reflejar un cambio en robots.txt.
¿Qué hago cuando el sitio ya es legible y la IA no me cita?
Entonces el problema no es de acceso: pasa al diagnóstico de contenido, competencia y marca.
El árbol completo para decidir cuál es tu causa, con la plantilla de preguntas, está en por qué ChatGPT no menciona tu empresa. Para saber si ya te citan, cómo saber si la IA cita tu web. En el servicio de diagnóstico AEO hacemos la prueba de legibilidad con los bots de cada proveedor y la cruzamos con las preguntas de tus clientes; depende de tu sector y de tu competencia qué más haya que corregir.
¿Prefieres que lo haga un agente? Escríbenos por WhatsApp con el nombre de tu marca y tu sector.
Preguntas frecuentes
¿Los bots de IA ejecutan JavaScript?
No lo sabemos por documentación. Las páginas de bots de OpenAI, Perplexity y Anthropic que revisamos no dicen si sus bots renderizan JavaScript. Google sí lo documenta para su Búsqueda: dice que ejecuta JavaScript con una versión actual de Chromium, pero que no lo renderiza si los archivos o las páginas están bloqueados. Si tu texto clave solo aparece al ejecutar scripts, la comprobación segura es moverlo al HTML inicial.
¿Basta con que robots.txt permita a los bots de IA?
No. robots.txt es solo una de las capas. OpenAI y Perplexity piden además permitir sus rangos de IP publicados, porque un firewall, un CDN o un plugin de seguridad pueden frenar al bot aunque robots.txt lo permita.
¿Puedo saber si un bot de IA visitó mi sitio?
Sí, en los registros de acceso de tu servidor, de tu hosting o de tu CDN: busca los nombres de los bots (OAI-SearchBot, PerplexityBot, Claude-SearchBot y otros) en el user agent. Que aparezcan con respuesta 200 indica acceso; no indica que vayan a citarte.
¿Hay una herramienta que me diga si mi sitio es legible para la IA?
Hay herramientas de terceros, pero ninguna tiene acceso a los sistemas internos de los proveedores. Google lo advierte para su Búsqueda: pide evaluar el consejo de esas herramientas frente a su guía oficial. Los comandos de esta guía usan solo lo que los proveedores documentan.
Fuentes
- OpenAI — Overview of OpenAI Crawlers
- Perplexity — Documentación: Perplexity Crawlers
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Cloudflare — Bot Fight Mode
- Cloudflare — Verified bots
- Cloudflare — Block AI Bots
- Google Search Central — JavaScript SEO basics
- Google Search Central — Google Search technical requirements
- Google Search Central — Optimizing your website for generative AI features on Google Search
¿Quieres que la IA cite a tu marca?
Cuéntanos tu caso por WhatsApp y te decimos por dónde empezar.
Escríbenos por WhatsAppArtículos relacionados
¿Cómo aparecer en ChatGPT y lograr que mencione tu empresa?
Para aparecer en ChatGPT: revisa que robots.txt y tu firewall no bloqueen a OAI-SearchBot y permítelo; espera unas 24 horas; haz de 10 a 20 preguntas reales de tus clientes y anota a quién menciona y qué URLs cita. Si no había bloqueo y no apareces, el problema es de contenido, competencia o marca.
¿Cómo aparecer en Perplexity como fuente?
Para aparecer como fuente en Perplexity, permite PerplexityBot en tu robots.txt y deja pasar las IP que Perplexity publica, también en tu firewall (WAF). Espera hasta 24 horas, haz las preguntas de tus clientes en Perplexity y anota qué fuentes cita. Perplexity no documenta cómo elige las fuentes, así que permitir el acceso no garantiza una cita.
¿Por qué ChatGPT no menciona mi empresa?
Hay cuatro causas posibles: los bots no pueden leer tu sitio, no respondes las preguntas de tus clientes, la competencia ya ocupa esas respuestas o la IA no reconoce tu marca. OpenAI solo documenta la primera. Para saber cuál es la tuya, haz 10 preguntas de clientes en ChatGPT y anota a quién menciona y qué URLs cita.