Model głosowy Dessa: AI od Block śmieje się i płacze jak człowiek

Model głosowy Dessa to nowa sztuczna inteligencja od firmy Block, którą kieruje Jack Dorsey, współzałożyciel Twittera. Laboratorium badawcze firmy pokazało głos, który brzmi zaskakująco ludzko. Dessa się śmieje, robi naturalne pauzy, a nawet potrafi płakać. Block podaje, że model uczył się wyłącznie na nagraniach ludzkiej mowy. Do treningu wystarczyła jedna szafa serwerowa z procesorami graficznymi GPU firmy Nvidia.

Dessa nie potrzebuje chmury. Według Block model działa lokalnie, na komputerze dla zwykłego użytkownika, np. na MacBooku z układem M4 Max lub mocniejszym. Jest jednak haczyk. Na razie nie można go wypróbować. Firma szuka specjalistów od bezpieczeństwa, którzy najpierw sprawdzą model.

Co to znaczy dla Ciebie?

Na razie nic nie zmienia się od ręki. Dessy nie da się pobrać ani zainstalować. Kierunek jest jednak jasny. Rozmowy z AI mogą wkrótce brzmieć jak rozmowa z drugim człowiekiem. Warto to wiedzieć z kilku powodów:

• Wygoda. Asystent głosowy, który słyszy Twój ton i reaguje na emocje, może być mniej irytujący niż dzisiejsze roboty z infolinii.
• Prywatność. Model działający na Twoim komputerze nie musi wysyłać nagrań na serwery firmy.
• Ryzyko oszustw. Głos, który wzdycha i się waha, trudniej odróżnić od człowieka. Oszuści dzwoniący „od banku” czy „od wnuczka” mogliby z tego skorzystać. Prawdopodobnie właśnie dlatego Block chce, by eksperci najpierw sprawdzili, czy agenta AI da się użyć do oszukiwania ludzi.

Block sam przyznaje, że obecne AI ma słabe strony. „Najpotężniejsze AI na świecie nie słyszą, co czujesz” – napisała firma na swoim blogu.

Jak to działa?

Większość dzisiejszych systemów głosowych działa etapami. Najpierw rozpoznawanie mowy zamienia Twój głos na tekst. Potem duży model językowy pisze odpowiedź, a na końcu syntezator ją odczytuje. Według Block w tym procesie ginie mnóstwo informacji, np. ton, tempo czy zmęczenie w głosie. Konkurencyjne modele, jak ElevenLabs v4 czy Fish Audio Drama 3, dodają emocje za pomocą specjalnych znaczników w tekście. Block twierdzi, że w Dessie emocje są częścią samego modelu. Nie wiadomo jednak, czy firma nie steruje nimi w jakiś podobny sposób.

Dessa to model typu full-duplex. Oznacza to, że może jednocześnie mówić i słuchać, tak jak w zwykłej rozmowie. Podobnie działa GPT-Live od OpenAI, pokazany wcześniej w tym roku. Nietypowe jest coś innego. Dessa nie korzysta z osobnego modelu językowego, który dostarczałby jej wiedzy. Wszystko, co „wie”, pochodzi z danych treningowych, czyli nagranych rozmów. Na nagraniach demonstracyjnych model mówił różnymi głosami. W jednym opowiadał, że jest zmęczony po pracy, i rzeczywiście brzmiał na zmęczonego. W innym był tak wzruszony, że prawie się rozpłakał. Pracownik Block zagrał też z nim w grę.

Block zarabia na usługach finansowych dla małych firm. Jego system Square już teraz używa głosowej AI do przyjmowania zamówień. Własny model działający na urządzeniu może obniżyć koszty i otworzyć drogę do nowych usług, zarówno dla firm, jak i dla klientów.