Empresas de IA respaldan una señal común de exclusión en robots.txt

OpenAI, Google, Microsoft y Anthropic respaldan una señal común en el archivo robots.txt que permite a los propietarios de sitios web indicar si los rastreadores de IA pueden usar su contenido para entrenar modelos. TechRadar informa de que OpenAI respetará la señal y cita a la empresa animando a otros proveedores de IA a hacer lo mismo.

El archivo robots.txt se encuentra en el directorio raíz de un sitio web y orienta a los bots sobre cómo acceder a él. Según el artículo, la señal puede bloquear a muchos bots que respetan esas reglas, pero no detiene a los rastreadores que las ignoran.

TechRadar también describe otras formas de limitar el tráfico de bots: exigir a los visitantes que creen cuentas, limitar las solicitudes de direcciones IP individuales o usar CAPTCHA. El artículo señala algunas desventajas: exigir una cuenta puede dificultar el acceso a la información, algunos rastreadores usan direcciones IP rotativas y los CAPTCHA pueden frustrar a los usuarios o ser resueltos por algunos modelos de IA.

El reportaje presenta estas medidas como opciones imperfectas. Las restricciones destinadas a limitar la extracción de datos también pueden afectar a la experiencia de los visitantes humanos.