El modelo de voz Dessa de Block funciona localmente y suena humano

Block ha lanzado Dessa, un modelo de voz de su laboratorio de investigación que funciona localmente y está diseñado para generar habla similar a la humana, con elementos como risas, pausas y llanto. La empresa afirma que se entrenó íntegramente con habla humana y una sola GPU de NVIDIA.

Dessa es un modelo de voz a voz full-duplex, lo que significa que puede escuchar y hablar al mismo tiempo. Según Block, sus conocimientos proceden de los datos conversacionales con los que se entrenó. Los investigadores compartieron ejemplos en los que el modelo usa distintas voces, ritmos y emociones, incluida una respuesta que suena cansada y un intercambio emotivo.

Block afirma que Dessa puede funcionar en ordenadores de consumo como un MacBook M4 Max o un equipo superior. El modelo no está disponible públicamente. La empresa ha invitado a investigadores de seguridad a probarlo, también en situaciones en las que un agente de voz podría engañar a alguien.

Block sostiene que muchos modelos de voz actuales generan el habla a partir de texto, lo que puede descartar información transmitida por la voz de quien habla. El artículo fuente señala que no está claro si las emociones incorporadas en Dessa también pueden controlarse mediante etiquetas. Según el artículo, Square ya utiliza IA de voz para gestionar pedidos, y un modelo que funcione en el dispositivo podría dar servicio a más experiencias empresariales y de consumo.