Blocks röstmodell Dessa körs lokalt och låter mänsklig

Block har släppt Dessa, en röstmodell från företagets forskningslabb som körs lokalt och är utformad för att skapa människoliknande tal med bland annat skratt, pauser och gråt. Företaget uppger att modellen har tränats helt på mänskligt tal med en enda NVIDIA-GPU.

Dessa är en full-duplex-modell för tal-till-tal, vilket innebär att den kan lyssna och tala samtidigt. Enligt Block kommer modellens kunskap från de samtalsdata som den har tränats på. Forskarna har delat exempel där modellen använder olika röster, talrytmer och känslouttryck, bland annat ett svar som låter trött och ett känslosamt samtal.

Block säger att Dessa kan köras på datorer för konsumentbruk, exempelvis en MacBook M4 Max eller bättre. Modellen är inte tillgänglig för allmänheten. Företaget har bjudit in säkerhetsforskare att testa den, bland annat för situationer där en röstagent skulle kunna vilseleda någon.

Block säger att många befintliga röstmodeller skapar tal utifrån text, vilket enligt företaget kan göra att information i talarens röst går förlorad. Källartikeln säger att det är oklart om känslouttrycken i Dessa också kan styras med taggar. Artikeln uppger att Square redan använder röst-AI för beställningar och att en modell som körs på enheten skulle kunna användas i fler tjänster för företag och konsumenter.