La lista más completa para bloquear la IA en robots.txt o htaccess

Llevo tiempo bloqueando a los bots de inteligencia artificial (IA) para intentar que no me roben mis contenidos ya que muchos de ellos son originiales y de calidad. Hasta ahora el proceso ha sido bastante manual e incompleto, pero recientemente he encontrado una web en la que ofrece la lista definitiva, la más completa para bloquear los bots de IA tanto en el archivo robots.txt, como en el artchivo htaccess del servidor Apache.

Si no quieres que la IA se coma tu contenido gratis y los regurgite como le dé la gana, creando una obra derivada que es un plagio automático, pero sin que se note demasiado, puedes hacerlo en el archivo robots.txt, aunque debes saber que esto es solo una indicación y no una obligación para los bots de IA (ya hemos visto como algunos se la saltan prescindiendo de cualquier atisbo de ética).

Asesoramiento experto gratuito en cambio de CMS

¡Cambia a un nuevo CMS, con inteligencia artificial, e incluso ahorra!

Más información

Para forzar su cumplimiento es mejor usar las reglas que esta página ofrece directamente en el archivo htaccess del servidor Apache tal y como las provee. La lista que proporciona loquea más de 400 bots de IA y agentes de usuario y para habilitarlo, solo hay que pegar el código en el archivo indicado de tu proyecto web.

Eso sí, debes ser consciente de que si usas la lista, es bajo tu propia responsabilidad. Por favor, examina bien la lista y retira cualquier user agent que pienses que te puede perjudicar. En mi caso, como puedes comprobar, he optado por incluir la lista tal y como se provee, pero asumo que corro un riesgo, especialmente con Google, de que mi tráfico caiga porque a esta empresa no le guste demasiado que le bloquee.

Dado el poder de Google, sin duda es buena idea que repases y decidas qué bloqueas y qué no. Por otro lado, y al margen de la lista, se puede bloquear el hecho de aparecer en las AI Overviews con el metadata nosnippet, pero si lo haces, no solo bloquearás las vistas con IA en Google Search, sino algunas cosas más, como que aparezca tu metadata en Google, con lo que esto no es aconsejable en la mayoría de los casos.

Google debería sacar un tag de metadata específico para bloquear específicamente las AI Overviews y, por otro lado, ofrecer información específica sobre su rendimiento en Google Search Console. La empresa se defiende asegurando que es un servicio muy nuevo y que puede cambiar mucho y asegura que va a ser mejor en términos de tráfico para las webs y periódicos online, algo que para nada nos creemos el común de los mortales.

Por otro lado, lo que Google nos quita, Google nos los da por otro lado. Quizás sea el caso si llevan -como comentaron hace unos días en Madrid- la experiencia de Google Discover al escritorio, a la portada de Google Search. Eso podría llevar mucho tráfico nuevo a los medios y, de alguna forma, compensar por la bajada que suponen las AI overviews, que supuestamente invalidarán sobre todo las estrategias SEO de evergreen content, definiciones, etc.

* Relacionado: Accede aquí a la lista para bloquear la IA. Cualquier duda, en los comentarios.