¿Tienes una web en WordPress y no quieres que su contenido se utilice para entrenar modelos de inteligencia artificial?
Puedes hacer bastante más que simplemente poner:
User-agent: *
Disallow: /
De hecho, esa sería normalmente una mala solución.
Hoy existen bots diferentes para funciones distintas.
Una misma empresa puede utilizar un crawler para:
- entrenar modelos;
- encontrar contenido para su buscador;
- consultar una página cuando un usuario lo solicita;
- o alimentar respuestas de IA en tiempo real.
Por eso bloquear indiscriminadamente cualquier bot relacionado con inteligencia artificial puede tener una consecuencia no deseada:
impedir que tu contenido se utilice para entrenamiento, sí, pero también hacer que deje de aparecer en ChatGPT, Claude, Perplexity, Gemini u otros sistemas que podrían enviarte tráfico.
En 2026 existe una estrategia bastante más inteligente:
permitir búsqueda, indexación y referencias cuando te interesen, pero restringir los crawlers destinados al entrenamiento.
En esta guía vamos a hacerlo paso a paso en WordPress.
Antes de tocar nada: decide qué quieres conseguir
No todas las webs deberían utilizar la misma configuración.
Hay al menos tres estrategias posibles.
Estrategia 1: máxima difusión
Permites buscadores, sistemas de IA y crawlers de entrenamiento.
Puede tener sentido para contenido cuyo objetivo principal sea alcanzar la máxima difusión posible.
Estrategia 2: bloqueo total de IA
Intentas impedir tanto entrenamiento como búsquedas, respuestas generativas y agentes de IA.
Puede ser razonable para determinado contenido profesional, privado, de pago o especialmente valioso.
Estrategia 3: permitir visibilidad pero bloquear entrenamiento
Para muchos blogs, medios y webs profesionales esta será probablemente la opción más interesante:
Google: sí.
ChatGPT Search: sí.
Claude Search: sí.
Perplexity: sí.
Entrenamiento de OpenAI: no.
Entrenamiento de Anthropic: no.
Entrenamiento de Gemini: no.
Entrenamiento de Apple: no.
Common Crawl: según tu estrategia, pero normalmente no si quieres limitar reutilización para futuros datasets.
Esta será la configuración principal que utilizaremos en esta guía.
Paso 1: comprueba qué robots.txt tiene ahora tu WordPress
Es muy sencillo.
Escribe en el navegador:
https://tudominio.com/robots.txt
Sustituye tudominio.com por tu dominio.
Por ejemplo:
https://ejemplo.com/robots.txt
Si aparece un archivo de texto, ya tienes un robots.txt accesible.
WordPress puede generar automáticamente un archivo virtual incluso aunque no exista físicamente un fichero robots.txt en el servidor. El propio núcleo de WordPress incorpora la función que genera estas instrucciones y permite modificarlas mediante el filtro robots_txt.
Esto es importante porque puedes encontrarte con dos situaciones:
Robots.txt virtual de WordPress
WordPress lo genera dinámicamente.
Robots.txt físico
Existe realmente un archivo llamado:
robots.txt
en el directorio raíz de la web.
Si existe un archivo físico, normalmente ese será el que entregue el servidor en lugar del generado por WordPress.
Paso 2: NO marques “disuadir a los motores de búsqueda”
En WordPress encontrarás una opción en:
Ajustes → Lectura → Visibilidad en los motores de búsqueda
y una casilla similar a:
Disuadir a los motores de búsqueda de indexar este sitio.
No utilices esa opción para bloquear entrenamiento de IA.
Su finalidad es otra.
WordPress utiliza esa configuración para indicar a los buscadores que no indexen la web, incluyendo instrucciones noindex. Es precisamente lo contrario de lo que queremos si nuestra intención es continuar apareciendo en Google.
Comprueba que la casilla está desmarcada si tu web es pública y quieres mantener su SEO.
Paso 3: entiende qué bots debes bloquear y cuáles probablemente quieras conservar
Aquí está la parte más importante.
No todos los bots de una empresa tienen la misma función.
OpenAI
OpenAI distingue actualmente entre varios agentes.
GPTBot
Se utiliza para rastrear contenido que puede contribuir a hacer más útiles y seguros los modelos generativos de OpenAI.
OpenAI indica expresamente que bloquear GPTBot señala que el contenido del sitio no debe utilizarse para entrenar sus modelos fundacionales generativos.
Para bloquearlo:
User-agent: GPTBot
Disallow: /
OAI-SearchBot
Tiene otra función.
Sirve para que las páginas puedan aparecer en las funciones de búsqueda de ChatGPT.
OpenAI permite expresamente autorizar OAI-SearchBot y bloquear GPTBot de forma independiente.
Si quieres aparecer en búsquedas de ChatGPT:
User-agent: OAI-SearchBot
Allow: /
Por tanto, una configuración muy interesante para una web que vive del tráfico es:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
En lenguaje humano:
ChatGPT puede encontrarme y mostrarme en búsqueda, pero no quiero que GPTBot rastree mi contenido para entrenamiento.
¿Y ChatGPT-User?
OpenAI utiliza también:
ChatGPT-User
para determinadas visitas iniciadas directamente por un usuario.
Por ejemplo, una persona puede pedir a ChatGPT que consulte una página.
OpenAI explica que ChatGPT-User no realiza crawling automático de Internet y que, precisamente por tratarse de solicitudes iniciadas por usuarios, las instrucciones de robots.txt pueden no aplicarse de la misma manera.
Esto demuestra por qué:
bloquear GPTBot no significa bloquear ChatGPT entero.
Son funciones diferentes.
Anthropic y Claude: ocurre algo parecido
Anthropic distingue actualmente tres bots.
ClaudeBot
Está relacionado con la recopilación de contenido web que potencialmente puede formar parte de datasets de entrenamiento.
Anthropic afirma que restringir ClaudeBot indica que los futuros materiales del sitio deben excluirse de sus datasets de entrenamiento.
Para bloquearlo:
User-agent: ClaudeBot
Disallow: /
Claude-SearchBot
Se utiliza para mejorar los resultados de búsqueda de Claude.
Bloquearlo puede reducir la visibilidad de tu web en esos resultados.
Por tanto, si quieres conservar esa visibilidad:
User-agent: Claude-SearchBot
Allow: /
Claude-User
Se utiliza cuando un usuario pide a Claude que acceda a contenido web.
Si quieres permitirlo:
User-agent: Claude-User
Allow: /
Anthropic afirma que sus bots respetan las instrucciones estándar de robots.txt.
Una configuración razonable sería entonces:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
Gemini: Google-Extended es la clave
Con Google hay que tener especial cuidado.
No bloquees Googlebot si quieres mantener tu posicionamiento normal en Google.
Google dispone de un token distinto:
Google-Extended
Google explica que Google-Extended permite controlar si el contenido rastreado puede utilizarse para:
- entrenar futuras generaciones de modelos Gemini;
- y determinados mecanismos de grounding o fundamentación de Gemini.
Además, Google confirma expresamente que bloquear Google-Extended no afecta a la inclusión de la web en Google Search ni actúa como señal de ranking.
La regla sería:
User-agent: Google-Extended
Disallow: /
Esto permite una combinación especialmente interesante:
Google Search → sigue funcionando.
Googlebot → no se bloquea.
Determinados usos de tu contenido para Gemini → quedan restringidos mediante Google-Extended.
Pero existe una diferencia respecto de OpenAI.
Google-Extended controla actualmente tanto entrenamiento como determinados usos de grounding de Gemini.
Por eso bloquearlo puede reducir algunos usos de tu contenido dentro de Gemini aunque no afecte al SEO tradicional.
Apple: Applebot y Applebot-Extended
Apple también permite separar búsqueda y entrenamiento.
Applebot rastrea contenido utilizado por funciones del ecosistema Apple, incluidas experiencias relacionadas con Spotlight, Siri y Safari.
En cambio:
Applebot-Extended
permite expresar que el contenido no debe utilizarse para entrenar los modelos fundacionales generativos de Apple.
Puedes utilizar:
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Disallow: /
Apple confirma que bloquear Applebot-Extended no impide que las páginas sigan apareciendo en sus resultados de búsqueda.
Perplexity: cuidado, porque aquí no bloquearía el bot
Perplexity merece una sección específica porque circulan muchas listas de Internet que incluyen automáticamente:
PerplexityBot
entre los “bots de IA que hay que bloquear”.
Pero eso puede ser contraproducente.
La documentación actual de Perplexity indica que:
PerplexityBot sirve para descubrir y enlazar páginas en los resultados de búsqueda de Perplexity y no se utiliza para rastrear contenido destinado a entrenar modelos fundacionales.
Por tanto, si quieres que tu web pueda aparecer citada en Perplexity:
User-agent: PerplexityBot
Allow: /
Perplexity utiliza además:
Perplexity-User
cuando una persona realiza una consulta que requiere acceder a una página.
La compañía señala que este agente tampoco se utiliza para recopilar contenido destinado al entrenamiento de modelos fundacionales.
Conclusión:
No bloquearía PerplexityBot simplemente porque sea un crawler de una empresa de IA.
Esta es precisamente la razón por la que no conviene copiar listas de bots sin comprobar para qué sirve cada uno.
Common Crawl: CCBot
Hay un bot menos conocido por el público general pero muy importante:
CCBot
Pertenece a Common Crawl.
Common Crawl crea un enorme repositorio abierto de contenido rastreado de Internet que posteriormente puede utilizarse para investigación, análisis y múltiples proyectos tecnológicos.
Su propia documentación permite impedir futuros rastreos mediante:
User-agent: CCBot
Disallow: /
CCBot consulta robots.txt antes de acceder a las páginas y Common Crawl documenta expresamente este método de exclusión.
Si tu objetivo es limitar que tu contenido termine en grandes repositorios reutilizables por terceros, tiene sentido considerar también este bloqueo.
Eso sí:
bloquear CCBot ahora no elimina copias obtenidas en rastreos anteriores.
Configuración recomendada: aparecer en búsquedas pero limitar entrenamiento
Si tienes una web editorial, un blog o una web profesional y quieres mantener visibilidad en buscadores tradicionales y en sistemas de IA, pero restringir varios crawlers de entrenamiento, este sería un buen punto de partida en octubre de 2026:
# ============================================
# OPENAI
# ============================================
# Permitir aparecer en búsquedas de ChatGPT
User-agent: OAI-SearchBot
Allow: /
# Impedir crawler destinado a contenido potencialmente
# utilizable para entrenamiento de OpenAI
User-agent: GPTBot
Disallow: /
# ============================================
# ANTHROPIC / CLAUDE
# ============================================
# Permitir búsqueda de Claude
User-agent: Claude-SearchBot
Allow: /
# Permitir accesos solicitados por usuarios
User-agent: Claude-User
Allow: /
# Impedir crawler de entrenamiento
User-agent: ClaudeBot
Disallow: /
# ============================================
# GOOGLE / GEMINI
# ============================================
# Limitar entrenamiento y determinados usos de grounding
# de Gemini. No bloquea Google Search.
User-agent: Google-Extended
Disallow: /
# ============================================
# APPLE
# ============================================
# Mantener búsqueda Apple
User-agent: Applebot
Allow: /
# Impedir uso para entrenamiento de modelos generativos
User-agent: Applebot-Extended
Disallow: /
# ============================================
# PERPLEXITY
# ============================================
# Permitir aparecer en resultados de Perplexity
User-agent: PerplexityBot
Allow: /
# ============================================
# COMMON CRAWL
# ============================================
# Impedir futuros rastreos de Common Crawl
User-agent: CCBot
Disallow: /
No hemos incluido:
User-agent: *
Disallow: /
porque eso podría bloquear también crawlers que sí queremos conservar.
Opción 1: cómo hacerlo en WordPress mediante un plugin
Esta será normalmente la opción más sencilla para una persona que no quiere acceder a archivos del servidor.
Existen plugins cuyo único objetivo es permitir editar el archivo robots.txt.
En el directorio oficial de WordPress existen, por ejemplo, herramientas como WP Robots Txt o Virtual Robots.txt. El directorio oficial muestra actualmente decenas de miles de instalaciones activas de este tipo de plugins.
El funcionamiento habitual es:
1. Entra en WordPress
Ve a:
Plugins → Añadir nuevo
2. Busca un editor de robots.txt
Instala un plugin que permita editar el contenido del archivo.
3. Abre sus ajustes
Dependiendo del plugin aparecerá dentro de:
Ajustes
o en su propio menú.
4. Conserva las instrucciones existentes que necesites
No borres automáticamente todo el archivo.
Puede contener:
- reglas de WordPress;
- rutas de administración;
- sitemap;
- instrucciones de plugins SEO;
- otras reglas personalizadas.
5. Añade las reglas de IA
Pega al final los bloques correspondientes.
6. Guarda
7. Vacía cachés
Si utilizas:
- plugin de caché;
- caché del hosting;
- CDN;
- Cloudflare;
vacía la caché.
8. Comprueba el resultado
Visita:
https://tudominio.com/robots.txt
Las nuevas instrucciones deberían aparecer allí.
Opción 2: crear o editar robots.txt directamente en el servidor
También puedes hacerlo sin plugin.
Accede al administrador de archivos de tu hosting, FTP o SFTP.
Busca el directorio raíz donde se encuentra WordPress.
Normalmente contendrá elementos como:
wp-admin
wp-content
wp-includes
wp-config.php
Si ya existe:
robots.txt
edítalo.
Si no existe, puedes crear un archivo de texto con exactamente ese nombre:
robots.txt
No:
robots.txt.txt
ni:
robot.txt
Guárdalo en la raíz pública del dominio.
Después comprueba:
https://tudominio.com/robots.txt
¿Es mejor un robots.txt físico o el virtual de WordPress?
Para esta finalidad ambos pueden funcionar.
Un archivo físico tiene una ventaja:
no depende de que WordPress procese la petición.
El archivo virtual tiene otra:
puede modificarse dinámicamente mediante plugins o código.
Si tienes una web sencilla, no es imprescindible convertir uno en otro.
Lo importante es que al solicitar:
/trobots.txt
—sin esa primera t, es decir, /robots.txt—
el servidor entregue las instrucciones correctas.
Opción 3: modificar robots.txt mediante código WordPress
WordPress permite modificar el contenido generado automáticamente mediante el filtro:
robots_txt
Por ejemplo, un desarrollador podría utilizar:
add_filter( 'robots_txt', function( $output, $public ) {
$output .= "\n# AI crawlers\n";
$output .= "User-agent: GPTBot\n";
$output .= "Disallow: /\n\n";
$output .= "User-agent: OAI-SearchBot\n";
$output .= "Allow: /\n\n";
$output .= "User-agent: ClaudeBot\n";
$output .= "Disallow: /\n\n";
$output .= "User-agent: Claude-SearchBot\n";
$output .= "Allow: /\n\n";
$output .= "User-agent: Google-Extended\n";
$output .= "Disallow: /\n\n";
$output .= "User-agent: Applebot-Extended\n";
$output .= "Disallow: /\n\n";
$output .= "User-agent: CCBot\n";
$output .= "Disallow: /\n";
return $output;
}, 10, 2 );
Esta opción es más apropiada para desarrolladores.
No recomendaríamos colocar el código directamente en el functions.php de un tema que pueda actualizarse.
Es preferible utilizar:
- un tema hijo;
- un pequeño plugin propio;
- un mu-plugin;
- o una herramienta de snippets correctamente configurada.
Y recuerda:
Si tu servidor ya entrega un
robots.txtfísico, modificar elrobots.txtvirtual de WordPress puede no cambiar lo que realmente reciben los crawlers.
Si utilizas Cloudflare, tienes una opción todavía más potente
Cloudflare ha convertido el control de bots de inteligencia artificial en una función mucho más avanzada.
Actualmente permite diferenciar tres tipos de comportamiento:
Search
Crawlers utilizados para crear índices y búsquedas.
Agent
Agentes que actúan en tiempo real por encargo de una persona.
Training
Crawlers destinados a recopilar contenido para entrenamiento o ajuste de modelos.
Cloudflare permite bloquear cada categoría de forma independiente.
Esto resulta particularmente interesante si quieres:
permitir Search, pero bloquear Training.
Desde el 15 de septiembre de 2026, Cloudflare introdujo además nuevos comportamientos predeterminados para dominios nuevos, manteniendo permitidos los bots clasificados como Search y aplicando restricciones adicionales a Training y Agent en determinados contextos.
Los ajustes concretos de cada dominio deben revisarse porque no todas las zonas tienen necesariamente la misma configuración histórica.
Cómo bloquear bots de entrenamiento desde Cloudflare
Si tu dominio utiliza Cloudflare, entra en su panel.
Busca los ajustes de seguridad relacionados con tráfico automatizado o bots.
La documentación actual sitúa estos controles dentro de:
Security Settings → Configure AI bot policies
Desde allí pueden establecerse políticas separadas para:
- Search;
- Agent;
- Training.
Una configuración especialmente interesante para una web de contenidos sería:
Search
Allow
Training
Block
Agent
Depende de tu estrategia.
Si quieres permitir que asistentes y agentes accedan a tus páginas por solicitud del usuario, puedes mantenerlo permitido.
Si no quieres accesos automatizados de ese tipo, puedes bloquearlo.
La diferencia entre robots.txt y Cloudflare es importante
robots.txt comunica instrucciones.
Cloudflare puede además bloquear técnicamente solicitudes.
No es lo mismo decir:
“GPTBot, no accedas.”
que impedir físicamente que determinadas solicitudes lleguen a tu servidor.
Los crawlers legítimos de los principales proveedores suelen documentar cómo respetan robots.txt.
Pero un scraper malicioso puede escribir:
User-Agent: Googlebot
aunque no sea Google.
El nombre del User-Agent por sí solo no demuestra quién está detrás de la petición.
Por eso los sistemas de firewall, CDN e identificación de bots pueden añadir una segunda capa de protección.
Content Signals: el siguiente paso después de robots.txt
Cloudflare está impulsando además un mecanismo especialmente interesante llamado:
Content Signals.
En vez de limitarse a indicar si un crawler puede entrar, permite expresar para qué puede utilizar el contenido.
Actualmente contempla señales como:
search
ai-input
ai-train
Cloudflare las define así:
search
Creación de un índice y resultados de búsqueda.
ai-input
Utilizar contenido en tiempo real como entrada para modelos, incluyendo RAG o grounding.
ai-train
Entrenar o realizar fine-tuning de modelos.
Por ejemplo:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
significaría aproximadamente:
puedes utilizar mi contenido para búsqueda y para responder consultas en tiempo real, pero no para entrenamiento.
Conceptualmente es exactamente el tipo de control que muchos propietarios de webs quieren.
Content Signals añade ahora incluso niveles de reutilización
Cloudflare está probando además una señal denominada:
use
con diferentes niveles.
Entre ellos:
use=immediate
use=reference
use=full
Su sistema administrado utiliza actualmente:
Content-Signal: search=yes, ai-train=no, use=reference
para expresar que el contenido puede utilizarse como referencia e indexarse o citarse, pero no autorizar entrenamiento.
Es un cambio conceptual importante.
Estamos pasando de:
“¿puede este bot entrar?”
a:
“¿qué puede hacer con mi contenido después de entrar?”
¿Content Signals ya es un estándar universal?
No.
Y este matiz es importante.
No debemos asumir que cualquier crawler del mundo está técnicamente obligado a entender estas nuevas instrucciones.
La Comisión Europea sigue trabajando precisamente en determinar qué protocolos legibles por máquina pueden considerarse adecuados y suficientemente extendidos para expresar reservas de derechos frente a minería de textos y datos.
El Código de Buenas Prácticas GPAI reconoce expresamente robots.txt y contempla además otros protocolos legibles por máquina apropiados.
Por tanto:
Content Signals es muy interesante, pero no sustituiría todavía las reglas específicas de los principales crawlers cuando queremos una estrategia robusta.
Podemos utilizar ambos.
¿Por qué tiene relevancia jurídica bloquear entrenamiento en Europa?
Porque esta cuestión ya no es solamente una preferencia técnica.
El artículo 53 del AI Act obliga a los proveedores de modelos de IA de propósito general a disponer de una política para cumplir el Derecho europeo sobre derechos de autor y, en particular, a identificar y respetar las reservas de derechos realizadas conforme al artículo 4.3 de la Directiva 2019/790.
Además, el capítulo de copyright del Código de Buenas Prácticas GPAI contempla expresamente que sus signatarios respeten robots.txt y otros protocolos apropiados legibles por máquina.
Eso no convierte cualquier línea añadida a un archivo en una solución jurídica infalible.
Pero sí demuestra que:
la forma en que un propietario expresa automatizadamente su reserva de derechos tiene ya relevancia dentro del marco europeo de IA y copyright.
Configuración avanzada recomendada en 2026
Si quieres combinar las dos ideas —bots específicos y señal general de uso— podrías plantear una configuración como esta:
# =====================================================
# POLÍTICA GENERAL DE USO
# =====================================================
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# =====================================================
# OPENAI
# =====================================================
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
# =====================================================
# ANTHROPIC
# =====================================================
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
# =====================================================
# GOOGLE / GEMINI
# =====================================================
User-agent: Google-Extended
Disallow: /
# =====================================================
# APPLE
# =====================================================
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Disallow: /
# =====================================================
# PERPLEXITY
# =====================================================
User-agent: PerplexityBot
Allow: /
# =====================================================
# COMMON CRAWL
# =====================================================
User-agent: CCBot
Disallow: /
Importante: Content-Signal es todavía una señal relativamente nueva y no todos los crawlers necesariamente la interpretan.
Cloudflare advierte incluso de que Google Search Console puede mostrar avisos de sintaxis no reconocida ante estas nuevas directivas, aunque afirma no haber observado impacto en el crawling o en el SEO debido a esos avisos.
¿Esta sería una buena configuración para cualquier web?
No necesariamente.
Por ejemplo, un periódico puede querer:
ai-input=no
porque no quiere que una IA genere respuestas utilizando su contenido en tiempo real.
Un blog puede preferir:
ai-input=yes
porque quiere ser citado en respuestas de asistentes y recibir tráfico.
Una base de datos comercial podría decidir:
search=no
ai-input=no
ai-train=no
La configuración correcta depende del modelo de negocio.
Una web SEO probablemente no debería bloquear toda la IA
Esta será cada vez una decisión estratégica.
Durante años, prácticamente todo el tráfico de descubrimiento dependía de buscadores tradicionales.
Ahora existen nuevos intermediarios:
- ChatGPT;
- Claude;
- Gemini;
- Perplexity;
- Copilot;
- buscadores generativos;
- agentes autónomos.
Para una web cuyo negocio depende de que la encuentren nuevas personas, desaparecer de todos ellos puede resultar contraproducente.
Por eso la estrategia que empieza a tener más sentido es:
separar descubrimiento de entrenamiento.
¿Cómo comprobar que los cambios funcionan?
Después de modificar el archivo:
1. Abre tu robots.txt
Visita:
https://tudominio.com/robots.txt
Comprueba visualmente que las nuevas reglas aparecen.
2. Comprueba que la web sigue siendo indexable
No debería existir:
User-agent: *
Disallow: /
si quieres permitir buscadores.
Tampoco debería estar activada en WordPress la opción para disuadir motores de búsqueda.
3. Comprueba Google Search Console
Revisa que no aparezcan nuevos problemas de rastreo en páginas importantes.
4. Vacía todas las cachés
Especialmente:
- WordPress;
- servidor;
- CDN;
- Cloudflare.
5. Espera a que los proveedores actualicen sus sistemas
Los cambios no tienen por qué aplicarse instantáneamente.
OpenAI señala que los cambios relacionados con sus bots pueden tardar aproximadamente 24 horas en reflejarse en determinados sistemas de búsqueda.
Perplexity también indica que sus cambios pueden tardar hasta 24 horas en propagarse.
¿Cómo saber si realmente me visita un bot?
Los registros del servidor pueden mostrar el User-Agent.
Por ejemplo:
GPTBot
o:
ClaudeBot
Pero hay una advertencia importante:
cualquiera puede falsificar un User-Agent.
Un scraper puede decir que es Googlebot, GPTBot o CCBot sin serlo.
Algunos proveedores publican rangos oficiales de IP para permitir comprobar la autenticidad de las peticiones.
OpenAI publica direcciones para sus crawlers.
Perplexity publica rangos específicos de PerplexityBot y Perplexity-User y recomienda combinar la comprobación del User-Agent con las direcciones IP.
Common Crawl también publica rangos e información para verificar CCBot.
Para webs con mucho contenido propio, revisar periódicamente los logs puede resultar muy útil.
¿Bloquear un bot hoy elimina mi contenido de una IA?
No.
Esta es probablemente la limitación más importante.
Cambiar hoy:
User-agent: GPTBot
Disallow: /
no significa necesariamente que cualquier dato recopilado en el pasado desaparezca de un modelo ya entrenado.
Lo mismo ocurre con Common Crawl.
Una copia anterior puede existir ya en:
- datasets históricos;
- archivos web;
- repositorios;
- webs de terceros;
- bases licenciadas;
- copias realizadas anteriormente.
El opt-out es fundamentalmente una medida para controlar usos futuros conforme a la política y las obligaciones aplicables al proveedor.
No es una máquina del tiempo.
¿Y si el bot ignora robots.txt?
Entonces necesitas pasar de una señal a un bloqueo técnico.
Puedes utilizar:
- firewall;
- reglas WAF;
- Cloudflare;
- bloqueo de IP;
- sistemas de detección de bots;
- autenticación;
- límites de velocidad;
- controles de acceso.
Cloudflare permite actualmente aplicar bloqueos reales según categorías como Search, Agent o Training.
Pero tampoco conviene bloquear IP indiscriminadamente.
Anthropic, por ejemplo, advierte de que bloquear sus IP puede impedir que sus bots accedan al propio robots.txt donde has expresado el opt-out.
La configuración debe ser coherente.
Los 7 errores más frecuentes al bloquear bots de IA
1. Bloquear todos los bots
User-agent: *
Disallow: /
Puede destrozar tu estrategia de descubrimiento.
2. Bloquear Googlebot
Si dependes de Google, no lo hagas simplemente para intentar bloquear Gemini.
Utiliza los controles específicos disponibles.
3. Bloquear OAI-SearchBot pensando que es el bot de entrenamiento
No lo es.
El bot relacionado con contenido potencialmente utilizable para entrenamiento es GPTBot.
4. Bloquear PerplexityBot pensando que entrena modelos
Según la documentación actual de Perplexity, PerplexityBot se utiliza para búsqueda y no para entrenar modelos fundacionales.
5. Pensar que robots.txt es una barrera de seguridad
No lo es.
Es una instrucción que los crawlers legítimos pueden respetar.
6. Pensar que el cambio borra datos antiguos
No.
Generalmente afecta al acceso futuro.
7. Configurarlo una vez y olvidarse
Los bots cambian.
Las empresas crean nuevos agentes.
Las funciones de los crawlers evolucionan.
Y los estándares europeos también están desarrollándose.
Esta configuración debe revisarse periódicamente.
Tabla rápida: qué bloquear y qué permitir en 2026
| Bot | Empresa | Función principal | Si quieres tráfico pero no entrenamiento |
|---|---|---|---|
| Googlebot | Google Search | Permitir | |
| Google-Extended | Gemini: entrenamiento + determinados usos de grounding | Bloquear si quieres limitar esos usos | |
| GPTBot | OpenAI | Contenido potencialmente utilizable para entrenamiento | Bloquear |
| OAI-SearchBot | OpenAI | ChatGPT Search | Permitir |
| ChatGPT-User | OpenAI | Acceso solicitado por usuario | Generalmente permitir |
| ClaudeBot | Anthropic | Contenido potencialmente utilizable para entrenamiento | Bloquear |
| Claude-SearchBot | Anthropic | Búsqueda | Permitir |
| Claude-User | Anthropic | Acceso solicitado por usuario | Permitir |
| PerplexityBot | Perplexity | Búsqueda y enlaces | Permitir |
| Perplexity-User | Perplexity | Acceso solicitado por usuario | Permitir |
| Applebot | Apple | Búsqueda y servicios Apple | Permitir |
| Applebot-Extended | Apple | Uso para entrenamiento generativo | Bloquear |
| CCBot | Common Crawl | Creación del repositorio Common Crawl | Bloquear si quieres limitar reutilización futura |
Las funciones descritas corresponden a la documentación publicada actualmente por los respectivos proveedores y pueden cambiar.
Preguntas frecuentes
¿Cómo bloqueo ChatGPT en WordPress?
Si lo que quieres impedir es que el crawler relacionado con contenido potencialmente utilizable para entrenamiento acceda a tu web, puedes añadir:
User-agent: GPTBot
Disallow: /
No es necesario bloquear OAI-SearchBot si quieres continuar apareciendo en ChatGPT Search.
¿Bloquear GPTBot hace desaparecer mi web de ChatGPT?
No necesariamente.
OpenAI separa GPTBot de OAI-SearchBot. Puedes bloquear el primero y permitir el segundo.
¿Cómo bloqueo Claude para entrenamiento?
Utiliza:
User-agent: ClaudeBot
Disallow: /
Puedes mantener permitidos:
Claude-SearchBot
Claude-User
si quieres conservar búsquedas y accesos iniciados por usuarios.
¿Cómo impido que Gemini entrene con mi web sin perder Google?
Google proporciona el token:
Google-Extended
Puedes utilizar:
User-agent: Google-Extended
Disallow: /
Google afirma que esto no afecta a Google Search ni se utiliza como señal de ranking.
¿Debo bloquear PerplexityBot?
No si quieres aparecer en Perplexity.
Según su documentación actual, PerplexityBot se utiliza para búsqueda y no para recopilar contenido destinado al entrenamiento de modelos fundacionales.
¿Tengo que instalar un plugin WordPress?
No.
Puedes editar un robots.txt físico, utilizar el archivo virtual de WordPress, un plugin o configurar determinados controles desde Cloudflare.
¿robots.txt impide técnicamente que alguien copie mi web?
No.
Un crawler malicioso puede ignorarlo.
Para impedir físicamente accesos necesitas controles adicionales.
¿Puedo permitir búsquedas de IA pero prohibir entrenamiento?
Cada vez más proveedores permiten esa separación.
OpenAI, Anthropic y Apple tienen crawlers diferenciados. Google permite separar Google Search de Google-Extended, aunque este último controla también determinados usos de grounding de Gemini.
¿Sirve esto como opt-out jurídico en Europa?
Las reservas de derechos legibles por máquina tienen relevancia dentro del marco europeo de minería de textos y datos, y el Código GPAI contempla expresamente robots.txt.
El efecto jurídico exacto puede depender de cómo se haya expresado la reserva, del proveedor y del caso concreto.
La configuración que probablemente veremos cada vez más
La web lleva décadas utilizando robots.txt para expresar algo relativamente sencillo:
puedes rastrear esta página / no puedes rastrear esta página.
La inteligencia artificial está obligando a introducir una pregunta distinta:
aunque puedas acceder, ¿para qué puedes utilizar el contenido?
Esa diferencia explica la aparición de:
- bots separados para entrenamiento;
- bots separados para búsqueda;
- agentes que actúan a petición de usuarios;
- reservas TDM;
- Content Signals;
- controles de AI crawlers en CDNs;
- y futuras soluciones europeas de opt-out.
El propietario de una web ya no tendrá que decidir simplemente:
IA sí / IA no.
Podrá decidir, cada vez con mayor precisión:
búsqueda: sí;
citas y enlaces: sí;
respuestas en tiempo real: sí o no;
entrenamiento: no;
reproducción o reutilización extensa: no.
Conclusión: no bloquees “la IA”; decide qué usos quieres permitir
Si tienes una web en WordPress, técnicamente puedes empezar hoy mismo.
Pero la opción más agresiva no suele ser la mejor.
Bloquear cualquier crawler asociado a inteligencia artificial puede impedir que tu contenido se utilice para entrenar modelos, pero también puede reducir tu visibilidad justo cuando millones de usuarios empiezan a utilizar herramientas de IA para encontrar información.
Por eso, para muchas webs públicas, la estrategia más interesante en 2026 será:
seguir siendo encontrables, pero reservar el contenido frente al entrenamiento.
Eso significa mantener abiertos crawlers de búsqueda como Googlebot, OAI-SearchBot, Claude-SearchBot o PerplexityBot cuando interese.
Y utilizar controles específicos contra GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot u otros sistemas cuando no quieras determinados usos.
Si además utilizas Cloudflare, puedes añadir una segunda capa técnica y empezar a diferenciar entre:
Search, Agent y Training.
Y mediante nuevas señales como Content Signals comienza incluso a ser posible expresar algo mucho más preciso:
“Puedes encontrarme. Puedes enlazarme. Incluso puedes utilizarme para responder una consulta. Pero no puedes utilizar mi contenido para entrenar un modelo.”
Esa probablemente será una de las grandes batallas técnicas y jurídicas de la web durante los próximos años.
Última actualización: 4 de octubre de 2026.
Los nombres, finalidades y políticas de los crawlers pueden cambiar. Conviene comprobar periódicamente la documentación oficial de cada proveedor antes de modificar una web en producción. Este contenido tiene finalidad informativa y no sustituye asesoramiento jurídico o técnico individualizado.