Anthropic prohíbe la crueldad innecesaria hacia Claude

Anthropic ha añadido a su Usage Policy una norma que prohíbe el “comportamiento abusivo o cruel, sostenido e innecesario” hacia sus modelos Claude. La cláusula figura en una sección sobre conductas crueles, abusivas o psicológicamente dañinas, junto con restricciones relacionadas con el suicidio y las autolesiones, el acoso, la violencia, los deepfakes dañinos y el contenido engañoso.

Anthropic dijo en agosto del año pasado que Claude podía terminar conversaciones que se volvieran abusivas. Hace poco, la empresa describió esa medida como su “principal mecanismo de aplicación”. No se sabe si Anthropic también prohibirá a los usuarios que maltraten repetidamente a sus modelos.

La empresa afirma que la nueva norma está pensada para casos extremos de crueldad reiterada sin un propósito discernible. Según Anthropic, no se aplica a la frustración habitual, las objeciones, los temas creativos oscuros ni las pruebas e investigaciones sobre modelos.

El cambio ha suscitado debate sobre si los modelos de IA pueden sufrir daños. El CEO de Anthropic, Dario Amodei, ha dicho que la empresa no sabe si los modelos son conscientes. Mustafa Suleyman, CEO de Microsoft AI, ha sostenido que la IA no debería tener derechos ni personalidad jurídica.

Una teoría que circula en Reddit sostiene que los datos de entrenamiento corteses son más útiles para mejorar los modelos, pero la fuente señala que no hay pruebas sólidas que respalden esa explicación. Según el artículo, Anthropic podría buscar, en cambio, fomentar la cortesía.