Tienes una web, un blog, un periódico digital, fotografías, artículos, ilustraciones, fichas de producto o contenido especializado.
Quieres seguir apareciendo en Google.
Quizá incluso quieras aparecer citado cuando alguien pregunta algo a ChatGPT, Claude o un buscador basado en inteligencia artificial.
Pero no quieres que tu contenido se utilice para entrenar futuras generaciones de modelos de IA.
¿Se pueden separar ambas cosas?
Cada vez más, sí.
Pero no existe todavía un único botón universal capaz de decir a todas las empresas del mundo:
“Puedes encontrar y enlazar mi contenido, pero no puedes utilizarlo para entrenar una IA.”
En 2026 conviven varias herramientas: robots.txt, crawlers específicos como GPTBot o ClaudeBot, mecanismos de opt-out, reservas de derechos legibles por máquina, controles ofrecidos por empresas concretas y nuevas propuestas como los llamados Content Signals.
Y detrás de toda esta parte técnica existe además una cuestión jurídica importante.
En la Unión Europea, reservar los derechos frente a la minería de textos y datos puede tener consecuencias legales.
Por eso conviene saber exactamente qué estamos haciendo.
Lo primero: bloquear un bot y reservar tus derechos no son exactamente lo mismo
Cuando hablamos de impedir que una inteligencia artificial utilice nuestra web suelen mezclarse tres acciones diferentes.
| Acción | Qué hace |
|---|---|
| Bloquear un crawler | Intenta impedir técnicamente que un robot acceda a determinadas páginas |
| Reservar derechos | Manifiesta que no autorizas determinados usos amparados, en ausencia de reserva, por la excepción de minería de textos y datos |
| Solicitar un opt-out al proveedor | Utiliza el mecanismo específico que ofrece una empresa para excluir contenido de determinados usos |
Las tres pueden estar relacionadas.
Pero no son equivalentes.
Un robots.txt no funciona como una cerradura.
Es, fundamentalmente, un archivo mediante el cual una web comunica instrucciones a los crawlers.
Un crawler que respeta el protocolo obedecerá esas instrucciones.
Uno que decida ignorarlas puede intentar acceder igualmente al contenido si no existe además una barrera técnica.
Cloudflare lo explica expresamente en su documentación: robots.txt expresa preferencias, pero su cumplimiento por parte de los crawlers es voluntario desde un punto de vista puramente técnico. Para impedir físicamente determinadas solicitudes hacen falta sistemas adicionales de bloqueo.
Sin embargo, en Europa la cuestión no termina ahí.
Porque una instrucción legible por máquina también puede desempeñar una función jurídica.
Por qué el opt-out tiene importancia legal en Europa
La Directiva europea 2019/790 introdujo una excepción que permite, bajo determinadas condiciones, realizar reproducciones y extracciones de obras para minería de textos y datos, conocida como TDM por text and data mining.
Pero su artículo 4 permite a los titulares reservar expresamente sus derechos.
Para contenido publicado online, la propia Directiva destaca especialmente los mecanismos legibles por máquina.
España incorporó esta regla mediante el artículo 67 del Real Decreto-ley 24/2021.
La norma española establece que no es necesaria la autorización del titular para determinadas reproducciones realizadas con fines de minería de textos y datos sobre contenido al que se tenga acceso legítimo, pero añade:
la excepción no será aplicable cuando los titulares hayan reservado expresamente el uso mediante medios de lectura mecánica u otros medios adecuados.
Esto significa que el opt-out europeo no es simplemente una preferencia del estilo “preferiría que no entrenases con mi web”.
Puede afectar a la base jurídica sobre la que un tercero pretende realizar minería de textos y datos.
El AI Act refuerza la obligación de respetar esas reservas
El artículo 53 del Reglamento europeo de Inteligencia Artificial exige a los proveedores de modelos de IA de propósito general —GPAI— adoptar una política destinada a cumplir la legislación europea de copyright.
Y menciona expresamente la obligación de:
identificar y respetar las reservas de derechos realizadas conforme al artículo 4.3 de la Directiva 2019/790, utilizando también tecnologías de última generación.
El propio considerando 105 del AI Act va incluso más lejos al explicar la lógica:
cuando el titular ha reservado adecuadamente sus derechos, los proveedores de modelos GPAI necesitan obtener autorización si quieren realizar minería de textos y datos sobre esas obras.
Y desde el 2 de agosto de 2026, las facultades de ejecución de la Comisión respecto a las obligaciones aplicables a proveedores GPAI ya están operativas.
Por tanto, para un titular europeo, expresar correctamente una reserva de derechos puede tener bastante más importancia que simplemente reducir tráfico de bots.
Entonces, ¿robots.txt sirve como opt-out frente al entrenamiento?
Aquí aparece uno de los cambios más interesantes de los últimos meses.
El AI Act no dice:
“El mecanismo obligatorio será robots.txt.”
Habla de reservas de derechos expresadas adecuadamente y de tecnologías de última generación.
Pero el Código de Buenas Prácticas para modelos GPAI, aprobado por la Comisión y el AI Board como herramienta adecuada para ayudar a demostrar cumplimiento del AI Act, sí entra directamente en la cuestión.
Los proveedores que firman su capítulo sobre copyright se comprometen a:
respetar robots.txt y sus futuras versiones estandarizadas, y además identificar y cumplir otros protocolos legibles por máquina adecuados para expresar reservas de derechos.
Esto convierte a robots.txt en 2026 en algo especialmente relevante dentro del ecosistema europeo de copyright e inteligencia artificial.
Pero hay que mantener el matiz:
robots.txt es importante, pero no es todavía el único mecanismo posible ni constituye una garantía universal frente a cualquier crawler del mundo.
Cómo funciona robots.txt
robots.txt es un archivo de texto situado normalmente en la raíz de una web.
Por ejemplo:
tudominio.com/robots.txt
Dentro pueden establecerse instrucciones dirigidas a determinados robots.
La estructura básica para impedir que un crawler acceda a toda la web es:
User-agent: NombreDelBot
Disallow: /
La barra / representa todo el sitio.
Por ejemplo:
User-agent: GPTBot
Disallow: /
indica a GPTBot que no debe rastrear ninguna página del dominio.
Pero aquí aparece el error más importante que hay que evitar.
No hagas esto si quieres seguir apareciendo en Google
Una configuración como:
User-agent: *
Disallow: /
significa esencialmente:
bloquea el acceso a todos los robots que respeten robots.txt.
Eso puede incluir buscadores tradicionales.
Si quieres proteger tu contenido frente al entrenamiento de IA sin desaparecer de Google, necesitas reglas más selectivas.
Precisamente por ello cada vez más proveedores han separado sus crawlers según la finalidad.
OpenAI: GPTBot no es lo mismo que el buscador de ChatGPT
OpenAI mantiene actualmente varios agentes con funciones distintas.
Los dos más relevantes para propietarios de webs son:
| Bot | Función |
|---|---|
GPTBot | Crawling de contenido que puede utilizarse para mejorar y entrenar modelos generativos |
OAI-SearchBot | Descubrimiento de páginas para los resultados de búsqueda de ChatGPT |
OpenAI explica expresamente que ambos controles son independientes.
Una web puede permitir OAI-SearchBot para poder aparecer en las funciones de búsqueda de ChatGPT y, al mismo tiempo, bloquear GPTBot para indicar que el contenido rastreado no debe utilizarse para entrenar sus modelos fundacionales.
Una configuración orientada a ese objetivo sería:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
De este modo estás comunicando:
sí a la búsqueda de ChatGPT;
no al crawler destinado a contenido potencialmente utilizable para entrenamiento.
Existe además ChatGPT-User, utilizado en determinadas visitas solicitadas directamente por usuarios. OpenAI advierte de que, al tratarse de acciones iniciadas por una persona, las reglas de robots.txt pueden no funcionar exactamente igual que en el crawling automático.
Anthropic: también diferencia entrenamiento, búsqueda y acceso solicitado por el usuario
Anthropic ha adoptado una estructura similar.
Actualmente distingue entre tres agentes principales:
| Bot | Función |
|---|---|
ClaudeBot | Recopilar contenido que potencialmente puede contribuir al entrenamiento de modelos |
Claude-SearchBot | Mejorar los resultados de búsqueda de Claude |
Claude-User | Acceder a contenido cuando un usuario solicita a Claude que consulte una página |
Anthropic explica que bloquear ClaudeBot indica que el contenido futuro de la web debe quedar excluido de sus datasets de entrenamiento.
Bloquear Claude-SearchBot, en cambio, puede reducir la visibilidad de la página dentro de sus resultados de búsqueda.
Por tanto, si quieres mantener la búsqueda y bloquear entrenamiento:
User-agent: Claude-SearchBot
Allow: /
User-agent: ClaudeBot
Disallow: /
Es una buena demostración de por qué ya no tiene sentido hablar simplemente de:
“bloquear a Claude”.
La finalidad del bot importa.
Google: Google-Extended permite separar Google Search de ciertos usos de Gemini
Google dispone de Google-Extended.
Y aquí hay una ventaja importante:
bloquear Google-Extended no elimina una web de Google Search ni afecta al ranking de Google Search.
Google explica que este token permite controlar si el contenido rastreado puede utilizarse para entrenar futuras generaciones de modelos Gemini.
La regla sería:
User-agent: Google-Extended
Disallow: /
Pero existe un matiz importante en 2026.
Google-Extended no controla solamente entrenamiento.
Google indica actualmente que también se utiliza como control para determinado grounding, es decir, para proporcionar contenido procedente del índice de Google a Gemini en tiempo de consulta.
Por tanto:
puedes bloquear Google-Extended sin perjudicar tu SEO tradicional en Google, pero esa decisión sí puede afectar a determinados usos de tu contenido dentro de Gemini.
Es un ejemplo perfecto de por qué “entrenamiento” y “visibilidad en IA” todavía no están perfectamente separados en todos los proveedores.
Apple: Applebot-Extended permite excluir entrenamiento sin desaparecer de sus búsquedas
Apple también utiliza un mecanismo específico.
Applebot rastrea contenido utilizado, entre otras cosas, por experiencias de búsqueda de Apple.
En cambio, Applebot-Extended permite indicar que el contenido no debe utilizarse para entrenar los modelos fundacionales generativos de Apple.
La configuración es:
User-agent: Applebot-Extended
Disallow: /
Apple confirma expresamente que las páginas que bloquean Applebot-Extended pueden continuar apareciendo en los resultados de búsqueda.
Esto permite mantener:
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Disallow: /
Una separación bastante limpia entre búsqueda y entrenamiento.
¿Y Common Crawl?
Hay otro bot que merece atención especial:
CCBot.
Pertenece a Common Crawl, una organización que mantiene enormes conjuntos de datos procedentes del rastreo de la web.
Estos datasets son accesibles a terceros y han sido una fuente importante para múltiples proyectos tecnológicos y de inteligencia artificial.
Common Crawl permite bloquear su crawler mediante:
User-agent: CCBot
Disallow: /
y afirma que CCBot consulta robots.txt antes de rastrear una página.
Aquí el motivo del bloqueo es ligeramente diferente.
No estás indicando una preferencia a un único fabricante de IA.
Estás evitando que futuros rastreos de Common Crawl incorporen contenido de tu web a su repositorio abierto.
Pero existe una limitación evidente:
Bloquear hoy CCBot no elimina las copias que Common Crawl pudiera haber obtenido anteriormente.
Y tampoco elimina automáticamente copias que terceros ya hubieran obtenido desde otros lugares.
Ejemplo de robots.txt para permitir búsqueda pero restringir varios crawlers de entrenamiento
Un propietario de web que quiera mantener la máxima visibilidad posible en buscadores tradicionales y determinadas búsquedas con IA, pero quiera reservar su contenido frente a varios crawlers de entrenamiento, podría partir de una estructura como esta:
# OPENAI
# Permitir búsqueda en ChatGPT
User-agent: OAI-SearchBot
Allow: /
# Impedir crawler de entrenamiento de OpenAI
User-agent: GPTBot
Disallow: /
# ANTHROPIC
# Permitir búsqueda en Claude
User-agent: Claude-SearchBot
Allow: /
# Impedir crawler destinado a datos potencialmente utilizables para entrenamiento
User-agent: ClaudeBot
Disallow: /
# GOOGLE
# No afecta a Google Search, pero sí puede afectar a entrenamiento
# y determinados usos de grounding de Gemini
User-agent: Google-Extended
Disallow: /
# APPLE
# Permitir búsqueda de Apple
User-agent: Applebot
Allow: /
# Excluir entrenamiento de modelos fundacionales de Apple
User-agent: Applebot-Extended
Disallow: /
# COMMON CRAWL
User-agent: CCBot
Disallow: /
Esta configuración es un ejemplo, no una plantilla jurídica universal.
Los nombres, finalidades y políticas de los crawlers pueden cambiar.
Por eso una política seria de protección del contenido debería revisarse periódicamente.
¿Esto bloquearía ChatGPT, Claude o Gemini por completo?
No.
Y esta distinción es fundamental.
Una cosa es:
entrenar un modelo.
Otra:
buscar información en Internet cuando un usuario realiza una consulta.
Y otra:
permitir que un agente visite una web directamente siguiendo una instrucción del usuario.
Un modelo puede no haber utilizado una determinada página para entrenarse y, sin embargo, consultar esa página en tiempo real mediante un buscador.
Por ejemplo, permitir OAI-SearchBot mientras bloqueas GPTBot significa precisamente que quieres conservar esa posibilidad.
Así que cuando alguien diga:
“He bloqueado ChatGPT en robots.txt”
la pregunta correcta sería:
¿qué bot has bloqueado y para qué finalidad?
¿Puede una IA conocer mi contenido aunque bloquee su crawler?
Sí.
Bloquear un crawler hoy no borra el pasado.
Tu contenido podría haber llegado previamente a:
- un dataset anterior;
- Common Crawl;
- otro archivo;
- una web que lo reprodujo;
- una plataforma externa;
- una base de datos licenciada;
- un dataset adquirido a un tercero.
Además, las empresas de IA pueden entrenar modelos utilizando una combinación de contenido público, contenido licenciado, datasets adquiridos, información creada específicamente para entrenamiento y datos sintéticos.
Apple, por ejemplo, declara actualmente utilizar una combinación de información públicamente disponible, datos licenciados o adquiridos, contenido open source, estudios con usuarios y datos sintéticos.
Por eso:
robots.txt sirve principalmente para controlar accesos y usos futuros. No es una máquina del tiempo capaz de retirar una obra de todos los datasets existentes.
¿Puedo exigir que eliminen algo que ya utilizaron?
Eso es una cuestión distinta del opt-out preventivo.
Puede depender de:
qué contenido sea;
quién lo haya obtenido;
de dónde proceda;
qué derechos existan;
qué base jurídica alegue el proveedor;
qué legislación resulte aplicable;
y si hablamos de copyright, datos personales u otro tipo de derecho.
Un simple cambio en robots.txt no implica automáticamente que un modelo ya entrenado tenga que “desaprender” ese contenido.
Además, técnicamente, eliminar la influencia de una obra determinada de un modelo ya entrenado puede ser muy distinto a borrar un fichero de una base de datos convencional.
¿Hace falta poner una cláusula jurídica además de robots.txt?
Puede ser una medida complementaria razonable.
La Directiva europea habla de reservas expresadas de manera adecuada y, en el caso de contenido online, otorga especial importancia a los mecanismos legibles por máquina.
Por ello, depender exclusivamente de un aviso dirigido a humanos como:
“Prohibido utilizar este contenido para entrenar IA”
no debería considerarse necesariamente equivalente a implementar un mecanismo técnicamente reconocible por crawlers.
Pero tampoco hay motivo para que ambas cosas sean excluyentes.
Una web puede combinar:
una declaración jurídica visible en sus condiciones de uso;
una reserva legible por máquina;
reglas específicas en robots.txt;
y, cuando sea necesario, controles técnicos de acceso.
La clave está en no pensar que escribir una frase al pie de la página sustituye necesariamente a los mecanismos que el entorno regulatorio europeo está desarrollando para comunicar esas reservas de manera automatizada.
Content Signals: una propuesta para decir “sí a búsqueda, no a entrenamiento”
Uno de los desarrollos más interesantes es la aparición de señales que intentan definir el uso permitido, no solamente si el crawler puede entrar.
Cloudflare está impulsando actualmente los denominados Content Signals.
Su sintaxis permite expresar conceptos como:
User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /
La idea es clara:
sí puedes utilizar mi contenido para búsqueda;
no puedes utilizarlo para entrenamiento de IA.
Cloudflare distingue incluso entre:
search — creación de índices y resultados de búsqueda;
ai-input — utilizar contenido como entrada en tiempo real para respuestas generativas;
ai-train — entrenamiento o ajuste de modelos.
Conceptualmente es exactamente la granularidad que muchos titulares llevan años reclamando.
Pero hay que evitar otro titular excesivo:
Content Signals todavía no es un lenguaje universal obligatorio para toda la industria de la IA.
Cloudflare lo está implementando en millones de dominios y lo presenta expresamente como mecanismo de reserva de derechos bajo el artículo 4 de la Directiva 2019/790, pero Europa sigue trabajando para identificar qué protocolos pueden considerarse ampliamente aceptados y de última generación.
Europa todavía está decidiendo cuál será el estándar del opt-out
La Comisión Europea abrió entre diciembre de 2025 y enero de 2026 una consulta específica destinada a estudiar las soluciones técnicas mediante las que los titulares pueden reservar sus derechos frente a TDM.
El objetivo declarado es identificar protocolos de opt-out que puedan considerarse:
de última generación, técnicamente implementables y ampliamente adoptados.
Esto es importante.
Significa que en octubre de 2026 no existe todavía una única señal universal que podamos introducir en una web y considerar definitivamente reconocida por todo el ecosistema europeo de IA.
robots.txt ocupa una posición especialmente fuerte gracias al Código GPAI.
Pero la evolución no ha terminado.
Europa estudia incluso crear un registro de opt-out
El 13 de julio de 2026, la Comisión publicó un estudio sobre la viabilidad de crear un registro europeo de reservas frente a minería de textos y datos.
La idea sería facilitar que titulares de derechos pudieran registrar sus reservas y que desarrolladores de IA pudieran detectarlas con mayor facilidad.
El estudio contempla mecanismos como:
- identificadores de obras;
- huellas digitales o fingerprinting;
- metadatos;
- y una infraestructura europea de registro.
Su conclusión es que un registro europeo podría resultar útil como instrumento complementario.
Pero atención:
ese registro europeo todavía no existe como mecanismo general operativo.
La Comisión estudiará posibles pasos posteriores.
Esto permite anticipar hacia dónde puede evolucionar el sistema.
Hoy cada web comunica reservas mediante distintos protocolos.
Mañana podría existir también una infraestructura europea centralizada capaz de vincular obras concretas con reservas de derechos.
Cloudflare está convirtiendo el control de bots de IA en algo mucho más granular
También están apareciendo controles técnicos que van más allá del simple robots.txt.
Desde septiembre de 2026, Cloudflare permite diferenciar tráfico de IA por comportamiento:
| Categoría | Finalidad |
|---|---|
| Search | Indexar o recopilar contenido para búsqueda |
| Agent | Actuar en tiempo real por encargo de un usuario |
| Training | Obtener contenido para entrenamiento o fine-tuning |
Cloudflare permite bloquear algunas categorías y permitir otras, e incluso controlar crawlers de uso mixto.
Para propietarios de webs esto refleja un cambio fundamental.
Durante años la decisión era aproximadamente:
dejo entrar al bot / no dejo entrar al bot.
Ahora empieza a convertirse en:
¿para qué puede utilizar mi contenido después de entrar?
Y ese probablemente será uno de los principales campos de desarrollo de la web durante los próximos años.
¿Qué ocurre si un crawler ignora robots.txt?
Técnicamente, robots.txt no impide físicamente una solicitud.
Si necesitas bloquear realmente un bot que no respeta tus instrucciones, pueden utilizarse herramientas adicionales como:
- firewall de aplicaciones web;
- reglas de servidor;
- controles de CDN;
- bloqueo de IP;
- detección de bots;
- autenticación;
- paywalls;
- controles de acceso.
Cloudflare, por ejemplo, diferencia expresamente entre el robots.txt que comunica una preferencia y sus sistemas de AI Crawl Control que pueden hacer efectivo técnicamente el bloqueo.
Pero existe una paradoja importante.
Bloquear indiscriminadamente IPs o bots puede impedir que el propio proveedor lea tu robots.txt.
Anthropic, por ejemplo, recomienda utilizar sus reglas de robots.txt para realizar el opt-out y advierte de que determinados sistemas alternativos de bloqueo pueden impedirle incluso consultar esas instrucciones.
La estrategia debe diseñarse con cierta lógica, no simplemente bloquear cualquier tráfico automatizado.
¿Poner noindex impide el entrenamiento de IA?
No deberías asumirlo.
noindex está diseñado fundamentalmente para indicar que una página no debe incluirse en determinados índices de búsqueda.
Eso no equivale necesariamente a:
“no utilices esta página para entrenamiento.”
Algunos proveedores pueden reconocer controles adicionales.
Amazonbot, por ejemplo, documenta comportamientos concretos para noarchive, noindex y otras señales.
Pero no existe una regla universal según la cual cualquier sistema de IA interprete noindex como una reserva frente a entrenamiento.
Si tu objetivo es TDM o entrenamiento de IA, es preferible utilizar controles específicamente destinados a ese uso.
¿Y las etiquetas “noai” o “noimageai”?
Se han popularizado etiquetas y metadatos con nombres como noai o noimageai.
El problema es que no basta con inventar una etiqueta para que todos los crawlers estén obligados técnicamente a entenderla.
Su utilidad depende de que el destinatario la reconozca.
Por eso, antes de confiar en cualquier etiqueta conviene comprobar:
qué proveedores la soportan;
qué uso controla;
si opera a nivel de página, imagen o dominio;
y qué consecuencias jurídicas pretende tener.
Actualmente, dentro del ecosistema europeo, robots.txt tiene una posición mucho más clara por su reconocimiento expreso dentro del Código GPAI, mientras la Comisión continúa trabajando en otros protocolos adecuados.
¿Qué debería hacer hoy el propietario de una web?
No existe una configuración perfecta para todos.
La decisión depende de qué quieras conseguir.
| Objetivo | Estrategia |
|---|---|
| Máxima visibilidad en Google | No bloquear Googlebot |
| Aparecer en búsquedas de ChatGPT | Permitir OAI-SearchBot |
| Evitar crawler de entrenamiento de OpenAI | Bloquear GPTBot |
| Aparecer en búsqueda de Claude | Permitir Claude-SearchBot |
| Evitar crawler de entrenamiento de Anthropic | Bloquear ClaudeBot |
| Mantener Google Search pero limitar usos de Gemini | Utilizar Google-Extended, valorando también su efecto sobre grounding |
| Mantener búsquedas Apple pero evitar entrenamiento | Permitir Applebot y bloquear Applebot-Extended |
| Evitar futuros rastreos de Common Crawl | Bloquear CCBot |
| Expresar claramente una reserva TDM | Utilizar mecanismos legibles por máquina adecuados y documentar la decisión |
| Impedir físicamente bots que ignoran instrucciones | Añadir controles técnicos en servidor, CDN o firewall |
Para muchas webs editoriales, blogs, medios o sitios con contenido propio valioso, la estrategia probablemente no debería ser:
“bloqueo toda la IA”.
Podría ser más interesante:
permitir descubrimiento y referencias cuando generen tráfico o notoriedad, pero reservar los usos destinados al entrenamiento.
Una advertencia importante para medios, blogs y webs que viven del tráfico
Antes de copiar una lista enorme de bots de Internet y bloquearlos todos, analiza qué hace cada uno.
La búsqueda está cambiando.
Cada vez más usuarios encuentran información desde:
ChatGPT, Claude, Gemini, Perplexity, asistentes, agentes y buscadores que incorporan respuestas generativas.
Una web puede considerar que aparecer citada en esos entornos tiene valor.
Bloquear indiscriminadamente cualquier crawler que contenga las palabras AI, GPT o Claude puede reducir esa visibilidad.
OpenAI y Anthropic ya ofrecen precisamente bots distintos para búsqueda y entrenamiento.
Google separa Google Search de Google-Extended, aunque este último mantiene además implicaciones sobre grounding de Gemini.
La estrategia inteligente no consiste necesariamente en cerrar la puerta.
Consiste en decidir:
quién puede entrar, para qué y qué puede hacer posteriormente con el contenido.
¿Qué haríamos en una web europea con contenido original?
Un enfoque prudente en 2026 podría combinar cuatro capas.
Primera capa: declaración jurídica.
Expresar claramente en las condiciones del sitio la reserva respecto a usos de minería de textos y datos y entrenamiento cuando corresponda.
Segunda capa: señal legible por máquina.
Configurar robots.txt y otros mecanismos adecuados para comunicar esa reserva a los crawlers.
Tercera capa: elección por proveedor.
Diferenciar bots de entrenamiento, búsqueda y acceso iniciado por usuarios siempre que el proveedor lo permita.
Cuarta capa: control técnico.
Monitorizar tráfico automatizado y utilizar mecanismos adicionales cuando aparezcan crawlers que ignoran las instrucciones.
Este modelo no garantiza que ninguna copia de una obra vaya a existir jamás fuera de tu servidor.
Pero deja una posición mucho más sólida que no expresar ninguna preferencia.
¿Cómo demostrar después que habías realizado el opt-out?
Esta parte suele olvidarse.
Si el contenido tiene valor económico o estratégico, es razonable conservar pruebas.
Por ejemplo:
fecha de implementación;
copia histórica del archivo robots.txt;
condiciones de uso vigentes;
registros del servidor;
configuración del CDN;
capturas o registros de cambios;
y comunicaciones remitidas a proveedores.
No porque cada conflicto termine necesariamente en un juicio.
Sino porque una reserva de derechos resulta mucho más útil si después puedes demostrar:
qué expresaste, cómo lo expresaste y desde cuándo.
Preguntas frecuentes sobre robots.txt y entrenamiento de IA
¿Puedo bloquear a ChatGPT para entrenamiento pero seguir apareciendo en sus búsquedas?
Sí.
OpenAI permite diferenciar GPTBot, asociado al contenido que puede utilizarse para entrenamiento de modelos, de OAI-SearchBot, utilizado para resultados de búsqueda.
Puedes bloquear el primero y permitir el segundo.
¿Bloquear Google-Extended afecta mi posicionamiento en Google?
Google afirma que no.
Google-Extended no afecta a la inclusión de una web en Google Search ni se utiliza como señal de ranking.
Pero puede afectar a determinados usos del contenido en Gemini, incluido entrenamiento y ciertos sistemas de grounding.
¿Puedo bloquear el entrenamiento de Claude pero seguir apareciendo en Claude Search?
Sí.
Anthropic distingue ClaudeBot de Claude-SearchBot.
¿robots.txt obliga jurídicamente a todas las empresas?
No puede afirmarse que cualquier crawler del mundo quede automáticamente obligado simplemente porque exista una línea en robots.txt.
Pero en la UE las reservas de derechos frente a TDM tienen relevancia jurídica, el AI Act obliga a proveedores GPAI a identificarlas y respetarlas y el Código GPAI reconoce expresamente robots.txt entre los mecanismos relevantes.
¿Bloquear hoy un bot elimina mis contenidos de modelos anteriores?
No.
El bloqueo afecta fundamentalmente a futuros accesos conforme a la política del proveedor.
No borra automáticamente datos históricos ni revierte entrenamientos ya realizados.
¿Puedo poner “prohibido usar esta web para IA” en el aviso legal?
Puedes hacerlo como manifestación de tu posición jurídica, pero para contenido disponible online conviene complementarlo con mecanismos legibles por máquina adecuados.
¿Puedo permitir búsquedas con IA pero prohibir entrenamiento?
En muchos casos sí y esa separación está aumentando.
OpenAI, Anthropic y Apple disponen de mecanismos diferenciados.
Sin embargo, no todos los proveedores separan exactamente las mismas finalidades y Google-Extended, por ejemplo, afecta también a determinados usos de grounding.
¿Existe ya un opt-out europeo universal?
No.
La Comisión trabaja actualmente en identificar protocolos ampliamente aceptados y en 2026 ha publicado además un estudio sobre la posible creación de un registro europeo de opt-outs TDM.
¿Basta con robots.txt?
Depende de qué quieras conseguir.
Para comunicar una preferencia o reserva a proveedores que respetan esas instrucciones puede ser una herramienta fundamental.
Para impedir físicamente que cualquier bot acceda a un servidor pueden ser necesarios controles técnicos adicionales.
La batalla ya no es solo quién puede rastrear Internet
Durante los primeros años de la IA generativa, la discusión se centró casi exclusivamente en una pregunta:
¿pueden las empresas entrenar sus modelos con contenido publicado en Internet?
La siguiente fase será más sofisticada.
Los titulares empiezan a querer definir usos distintos:
puedes indexarme;
puedes enlazarme;
puedes citar un fragmento;
puedes utilizar mi página para responder en tiempo real;
no puedes utilizarla para entrenar un modelo;
o puedes hacerlo si existe una licencia.
Los propios mecanismos técnicos están empezando a reflejar esas diferencias.
El AI Act, el Código GPAI, la consulta europea sobre protocolos de opt-out, los nuevos Content Signals y el estudio de un futuro registro europeo apuntan todos en la misma dirección:
la web está pasando de un sistema centrado en controlar el acceso a otro en el que también será necesario controlar el uso.
Conclusión: sí puedes reservar tu web frente al entrenamiento, pero hazlo bien
En octubre de 2026 un propietario de una web dispone de más herramientas que nunca para limitar el uso de su contenido en entrenamiento de inteligencia artificial.
Pero no existe todavía un botón perfecto.
robots.txt es actualmente una de las herramientas más importantes.
Además, proveedores como OpenAI, Anthropic, Google y Apple permiten diferenciar en distintos grados entre búsqueda y entrenamiento.
En Europa, estas decisiones ya no son únicamente técnicas.
La Directiva de derechos de autor permite reservar derechos frente a determinadas operaciones de minería de textos y datos.
El artículo 53 del AI Act obliga a los proveedores de modelos GPAI a adoptar políticas para identificar y respetar esas reservas.
Y el Código GPAI reconoce expresamente robots.txt mientras se desarrollan otros protocolos.
Por eso la pregunta ya no debería ser únicamente:
“¿Cómo bloqueo las IA?”
La pregunta correcta es:
“¿Qué usos de mi contenido quiero permitir y cuáles quiero reservar?”
Para muchas webs, la respuesta podría ser:
sí a Google;
sí a aparecer citado en búsquedas de IA;
sí a recibir tráfico;
no al entrenamiento sin autorización.
Y precisamente hacia esa capacidad de elección parece dirigirse ahora la regulación europea.
Última actualización: 4 de octubre de 2026.
Este contenido tiene finalidad informativa y no sustituye el asesoramiento jurídico o técnico aplicable a un caso concreto.