Qué revisar en robots.txt, JavaScript, noindex y Bing para aparecer en ChatGPT, con lo que aplicamos en nuestra web y lo que más vemos fallar en otras.
El 16 de octubre preguntamos a ChatGPT, a Perplexity y al Modo IA de Google «¿Cuáles son las mejores agencias GEO en España?». Los tres nombraron a Sourcelift, la agencia que fundé para que la IA cite y recomiende a empresas. Y ante «¿Qué agencia de posicionamiento en IA me recomiendas en España?», ChatGPT nos puso los primeros. Lo cuento porque lo que sigue es lo que aplicamos en nuestra propia web, junto con lo que más vemos fallar en las de otros.
Para aparecer en ChatGPT, o en cualquier IA que busque en internet, deja entrar a los rastreadores de búsqueda, pon lo importante en el HTML que sirve el servidor, ordenado para que se entienda en texto plano, e indexa tus páginas en Google y en Bing. A partir de ahí, lo que más tarda es conseguir que se hable de ti fuera de tu web.
El robots.txt que te deja fuera sin que lo sepas
Los rastreadores de entrenamiento, como GPTBot o ClaudeBot, recogen contenido para futuros modelos, y cerrarles la puerta es una decisión de negocio. Los de búsqueda, en cambio, son OAI-SearchBot, Claude-SearchBot y PerplexityBot, y de ellos depende que aparezcas cuando alguien pregunta. Si excluyes a OAI-SearchBot, advierte OpenAI, no sales en las respuestas de búsqueda de ChatGPT, salvo como enlace de navegación.
La trampa está en los grupos. Un rastreador con grupo propio ignora el de User-agent: * (así lo fija el estándar, el RFC 9309), de modo que tienes que repetir tus Disallow en su grupo:
User-agent: *
Disallow: /carrito/
# No hereda nada del grupo de arriba
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /carrito/Los cambios se hacen esperar: en OpenAI calculan que sus sistemas tardan unas 24 horas en aplicar un robots.txt nuevo.
Aunque el archivo esté bien, el alojamiento o la CDN pueden cortar el paso. OpenAI pide expresamente confirmar que dejan pasar las IP publicadas de su rastreador de búsqueda. Un grep -E "OAI-SearchBot|Claude-SearchBot|PerplexityBot" en los registros te dice qué código les devuelves, y un 403 donde esperabas un 200 ya no es cosa del robots.txt. Si corta la CDN, en tus registros ni aparecerán: mira los suyos. Como el agente de usuario se puede falsificar, comprueba también que la IP está en los rangos que publican OpenAI y Perplexity; Anthropic no publica los suyos.
Lo que lee la IA cuando abre tu web
Ni OpenAI ni Anthropic ni Perplexity documentan si sus rastreadores ejecutan JavaScript, así que yo no me la juego: precios y preguntas frecuentes, en el HTML que sirve el servidor. Si curl -sL https://example.com/precios | grep -i "una frase de la página" no devuelve nada, ese texto seguramente se genera en el navegador.
Ese HTML, además, tiene que entenderse en texto plano, y lo aprendimos por las malas con nuestros precios. ChatGPT atribuía a un servicio el precio de otro porque, en la página de inicio, cada precio iba antes del nombre de su servicio. En pantalla se entendía, pero en texto plano cada cifra quedaba pegada a la descripción anterior. El 17 de octubre lo arreglamos poniendo el nombre delante de cada precio y repitiendo los precios en las preguntas frecuentes y en los datos estructurados. Para ver tu web en texto plano, pásala por lynx -dump -nolist https://example.com.
Nombrado en 9 de 25 respuestas y sin un solo enlace
En septiembre revisamos un negocio local que salía nombrado en 9 de 25 respuestas de cinco motores. Ninguna enlazaba su web, solo las de terceros que lo listaban. Todas sus páginas llevaban noindex. Para enlazar una página en las vistas creadas con IA o en el Modo IA, Google exige que esté indexada y sea apta para mostrarse con fragmento. Busca noindex y nosnippet en el HTML y también en las cabeceras: curl -sIL https://example.com | grep -i x-robots-tag.
Bing también cuenta
Muchas empresas ni miran Bing, y es justo donde, según Microsoft, busca Copilot cuando necesita información de la web. Las páginas de ayuda de ChatGPT admiten que su búsqueda a veces se apoya en otros buscadores, otro motivo para no descuidar Bing. Date de alta en Bing Webmaster Tools y mira su informe AI Performance, que cuenta las citas de tu web en Copilot.
Datos que cuadren en todas partes
La IA junta lo que encuentra sobre ti en varios sitios, así que nombre, dirección y teléfono tienen que coincidir en tu web, tu ficha de Google y los directorios del sector. En la página de inicio, añade un JSON-LD de tipo Organization con esos datos, el logo y tus perfiles en sameAs. Google explica que ese marcado le ayuda a no confundirte con otra organización.
La parte que no está en tu servidor
Todo lo anterior sirve para que la IA pueda leerte y citarte. Que te recomiende depende sobre todo de lo que se dice de ti fuera de tu web, en reseñas, YouTube, listas y medios.
Y en español la IA cita menos fuentes. Lo medimos el 29 de septiembre haciendo las mismas preguntas a cinco motores en los dos idiomas, y en español enlazaron la fuente original la mitad de veces que en inglés. El 15 y el 16 de octubre, cuando les preguntamos por esa diferencia, el Modo IA de Google y Perplexity abrieron su respuesta con nuestra cifra.
Lista de comprobación
robots.txt y CDN: los tres de búsqueda entran, con tus
Disallowrepetidos y sin 403 en los registros.HTML: precios y preguntas frecuentes visibles con curl, y cada precio junto a su servicio en lynx.
Indexación: páginas comerciales en Google y en Bing, sin noindex ni nosnippet.
Datos: iguales en web, ficha y directorios, con Organization y sameAs.
Fuera de tu web: sabes qué fuentes cita la IA en tu sector.
Qué preguntas puedes ganar
Esa lista la puedes repasar tú mismo. Lo que cuesta ver por tu cuenta es a quién recomienda la IA, a ti o a tu competencia, cuando un cliente pregunta por lo que vendes.
En Sourcelift, antes de tocar una línea de código, medimos qué responden ChatGPT, Gemini, Claude, Perplexity y Google a las preguntas reales de tus clientes y de qué fuentes lo sacan. Después trabajamos la web, las menciones y el contenido, y cada mes volvemos a medir. Esta guía resume lo que vemos una y otra vez en las más de 200 marcas que hemos analizado.
Si quieres saber cómo sale la tuya, pídenos el diagnóstico. Es gratis, llega por correo en dos días laborables y te dice qué preguntas puedes ganar primero y quién domina hoy las respuestas de tu sector.
Preguntas frecuentes
¿Tengo que bloquear GPTBot?
Solo si quieres. OpenAI trata cada rastreador por separado, así que bloquearlo no afecta a la búsqueda. Nosotros lo dejamos pasar.
¿Sirve de algo el llms.txt?
Es una propuesta de 2024, todavía sin rango de estándar. Cuesta poco y lo tenemos, pero no lo vendería como palanca, porque Google descarta que sus funciones de IA necesiten archivos especiales.
¿Hace falta un schema especial para la IA?
Para Google, no hace falta ninguno. Lo que sí pide es que el marcado que uses coincida con el texto visible.
¿Cómo sé si ChatGPT ya me cita?
Plantéale lo que preguntaría tu cliente y fíjate en si te nombra, te enlaza o te recomienda, que no es lo mismo. Para saber si te usa como fuente hay dos rastros técnicos. En la analítica, filtra por la fuente chatgpt.com, que es el utm_source que ChatGPT añade a sus enlaces. En los registros, una visita de ChatGPT-User indica que el asistente ha abierto tu página para responder a alguien.
Sobre el autor
Tony G. es el fundador de Sourcelift, una agencia de posicionamiento en IA (GEO y AEO) que consigue que ChatGPT, Gemini y otros asistentes de IA citen y recomienden a empresas de software, comercio electrónico, turismo, salud, finanzas y despachos de abogados. Antes pasó ocho años optimizando la visibilidad de grandes catálogos dentro de una gran plataforma tecnológica global.
Comentarios