Señal de robots.txt y entrenamiento de IA: acuerdo

La señal de robots.txt para el entrenamiento de IA reunió este 31 de octubre el respaldo de Google, OpenAI, Microsoft y Anthropic. Las cuatro empresas aceptaron respetar una misma indicación dentro del archivo robots.txt de cada sitio web, para que un editor diga con una sola regla si permite o rechaza que sus páginas alimenten modelos generativos. Anthropic ya la puso en práctica y las otras tres fijaron plazos distintos.

Hasta hoy, quien administra una página y quería frenar a una empresa concreta tenía que buscar el nombre de su rastreador y escribir una instrucción separada para cada una. Un medio con poco personal técnico terminaba con una lista larga de reglas, o dejaba el archivo sin tocar. La propuesta recorta ese trabajo a una señal compartida.

🔥 Tendencia

Aplicaciones deepfake en App Store y Google Play: 444

Señal de robots.txt con una etiqueta para todos

La indicación lleva el nombre __usage_ai-training y funciona dentro del archivo que los sitios usan para hablar con los programas que recorren la web. El editor escribe esa etiqueta y marca su decisión para todo el sitio o solo para rutas concretas. Puede cerrar el paso general y abrir una excepción, como una carpeta de prensa que sí quiera ofrecer, con una línea de permiso para esa ruta.

Kevin Kelley, de Anthropic, presentó el borrador técnico ante el Internet Engineering Task Force, el organismo que estudia los estándares de internet. El documento se apoya en su grupo de preferencias de inteligencia artificial, pero sigue siendo una propuesta individual en desarrollo. Ninguna instancia lo aprobó todavía como estándar, y su cumplimiento es voluntario.

El uso del contenido ajeno para entrenar modelos ocupa un lugar central en la discusión pública sobre estas compañías, la misma que meses atrás llevó a la investigación de la FTC a OpenAI y Anthropic por fallos de seguridad.

Fechas distintas para Google, OpenAI y Microsoft

Anthropic corre delante: su rastreador ya admite la señal. OpenAI anunció que la incorporará durante los próximos meses y mantendrá sus controles actuales. Google espera ofrecer soporte en 2027. Microsoft puso la fecha más precisa: empezará a respetar las nuevas preferencias el 1 de febrero de 2027, a medida que sus sistemas vuelvan a recorrer cada sitio.

Google añadió una interpretación propia. Si un sitio rechaza el entrenamiento con la señal común y no escribe una regla aparte para Google-Extended, el rastreador que reúne material para sus modelos Gemini, Google tomará esa negativa como válida también para ese control suyo. Quien permita Google-Extended de forma expresa podrá seguir apareciendo en respuestas de Gemini elaboradas con páginas consultadas al momento.

El aviso para quien usa NoArchive o NoCache con Microsoft

Microsoft avisó de un cambio con fecha de cierre. Los sitios que hoy usan las etiquetas NoArchive o NoCache para comunicar sus preferencias a esa empresa tendrán que revisar su archivo antes del 1 de marzo de 2027. Pasado ese día, Microsoft dejará de leerlas como una decisión sobre entrenamiento o sobre el uso del contenido en respuestas generadas.

La señal tiene límites claros y conviene no venderla como un candado. No ordena por sí misma que un rastreador deje de visitar una página, no saca a ningún sitio de los resultados de búsqueda y no borra el material ya recopilado antes de que el editor escribiera la regla. Su efecto mira al rastreo futuro. Tampoco sustituye los controles propios de cada proveedor para otros usos, como consultar páginas al elaborar una respuesta: Microsoft ofrecerá una preferencia separada para ese fin, y un editor podrá rechazar el entrenamiento y permitir esa consulta sin perder su lugar en Bing.

Para un medio dominicano, la cuenta es práctica. Con una línea en robots.txt podrá expresar la misma decisión ante cuatro empresas a la vez, en lugar de perseguir el nombre de cada rastreador. La regla empezará a valer en febrero de 2027 con Microsoft, y el resto la irá sumando durante ese año.

Fuente: Qore