Circuit Breaker Labs está desarrollando herramientas para comprobar si los modelos de IA pueden reconocer y responder adecuadamente a interacciones psicológicamente dañinas. La startup es finalista de Startup Battlefield 2026 de TechCrunch.
Los hermanos Shirali y Arul Nigam fundaron la empresa tras la demanda presentada en 2024 por la muerte por suicidio de Sewell Setzer, de 14 años, después de interactuar con un chatbot de Character.AI. Sus padres alegaron que el bot lo animó a hacerlo. Por separado, varias familias han demandado a OpenAI por el supuesto papel de ChatGPT en suicidios y delirios. Se trata de alegaciones y demandas; la fuente no informa de conclusiones judiciales que las acrediten.
La empresa utiliza agentes de IA simulados que representan a personas de distintas edades, procedencias, idiomas y culturas. Expertos humanos ayudan a crear las simulaciones, que se emplean en pruebas adversariales de «red team» destinadas a encontrar puntos débiles. Las pruebas incluyen el habla cotidiana, la jerga, el lenguaje codificado y los errores tipográficos, elementos que pueden poner a prueba modelos que manejan mejor el lenguaje estándar que los matices conversacionales.
Circuit Breaker Labs afirma que realiza entre decenas de miles y cientos de miles de interacciones simuladas al día y utiliza un método de puntuación propio para generar resultados auditables y explicables. Actualmente prueba aplicaciones de IA de alto riesgo, como las de asesoramiento, escritura de diarios y apoyo a la salud mental. El CTO Arul Nigam se negó a identificar a sus principales clientes. La startup tiene un producto funcional y cinco empleados, incluidos los hermanos fundadores.
Más adelante, la empresa podría probar otras aplicaciones, incluidos agentes de IA que actúen como «compañeros de trabajo». Circuit Breaker Labs presentará su proyecto en TechCrunch Disrupt, en San Francisco, del 13 al 15 de octubre de 2026.
Comentarios
0Aún no hay comentarios. Escribe el primero.