Block представила локальную голосовую модель Dessa с естественными эмоциями

Компания Block, основанная Джеком Дорси, представила голосовую модель Dessa, разработанную собственной исследовательской лабораторией. По заявлению компании, система работает локально и способна передавать особенности живой речи — включая смех, паузы и всхлипывания.

Dessa обучали исключительно на человеческой речи. Для этого использовали одну серверную стойку с графическими процессорами Nvidia. Модель рассчитана на работу на потребительском оборудовании: Block указывает, что она запускается как минимум на MacBook с чипом M4 Max или более производительных устройствах.

Речь и слушание одновременно

Dessa относится к полнодуплексным моделям. Это означает, что она может одновременно воспринимать речь собеседника и отвечать ему, не дожидаясь полного окончания реплики. Похожий принцип используется в GPT-Live, которую OpenAI выпустила в июле этого года.

Обычно голосовые системы работают вместе с большими языковыми моделями: одна отвечает за понимание запроса и формирование ответа, а другая преобразует текст в речь. В Block считают, что такой подход теряет часть информации, присутствующей в голосе, поскольку эмоции, интонации и состояние собеседника сложно передать через текст.

«Взаимодействие с современным голосовым ИИ может быть просто ужасным. Он превращает ваш голос в текст и отбрасывает невероятное количество информации, которую невозможно передать одним лишь текстом. Самые мощные ИИ в мире не могут услышать, что вы чувствуете», — заявили в компании. В Block также назвали это потенциально опасным для пользовательского опыта.

Эмоции без явных голосовых тегов

По утверждению Block, эмоциональность Dessa заложена в самой модели, а не добавляется отдельным управляющим слоем. Многие современные системы, включая ElevenLabs v4 и Fish Audio Drama 3, используют специальные голосовые теги, чтобы задавать интонацию и эмоциональный окрас. При этом Block не уточнила, управляются ли эмоции Dessa аналогичным способом.

Исследователи компании опубликовали примеры разговоров, в которых модель использует разные голоса, интонации и эмоциональные состояния. В одном из диалогов бот говорит, что устал от работы, и его голос действительно звучит утомлённо. В другом ответ воспроизводится с интонацией, напоминающей человека на грани слёз. В отдельном примере сотрудница Block играет с системой в игру на угадывание, и Dessa сразу справляется с первой загадкой.

Публичного доступа к модели пока нет. Block призвала специалистов по безопасности протестировать Dessa, однако сроки возможного открытого релиза и условия доступа компания не назвала.