Клонирование голоса нейросетью — это синтез новой речи с тембром, похожим на голос человека из исходной записи. В «Войси» оно работает только при переводе готового видео в операции «Переозвучивание» на my.voicee.ru: сервис переводит реплики на один из 51 языка и собирает готовый MP4, где участники звучат голосами с похожим на оригинал тембром и в тех же временных интервалах.
Загрузить отдельный образец голоса и озвучить им произвольный текст в «Войси» нельзя — для сценариев и статей доступны 55 готовых голосов из каталога. Бесплатной пробы клонирования нет: переозвучивание видео платное, поэтому проверку лучше начать с короткого отрывка на 1–2 минуты — в качестве «Обычное» на тарифе «Бесплатный» это около 67–134 ₽ по базовому пакету 500 ₽ за 3600 войсов, а сумма списания видна до запуска.
Что такое клонирование голоса нейросетью и чем оно отличается от озвучки текста?
При клонировании речевая модель анализирует звучание говорящего в исходном ролике и синтезирует переведённые фразы с похожим тембром, высотой тона и ритмом. В готовом MP4 реплики участников размещаются в прежних интервалах времени, движение губ в кадре остаётся исходным, а степень похожести зависит от чистоты записи и манеры речи.
Сначала система отделяет речь от фона, определяет границы фраз и разделяет собеседников. Затем перевод подгоняется под длительность сцен, и для каждого участника синтезируется своя дорожка с похожим тембром. Как речевые технологии устроены между собой, разобрано в статье о том, чем отличаются распознавание речи, синтез и голосовой ассистент.
| Подход в «Войси» | Откуда берётся голос | Что подаётся на вход | Результат |
|---|---|---|---|
| Переозвучивание видео | Образец тембра снимается из исходного видео для каждого участника | Видеофайл MP4, MOV, MKV, WEBM со слышимой речью | MP4 с исходной картинкой и переведённой речью |
| Озвучивание текста | Выбирается из 55 готовых голосов каталога на 16 языках | Текст до 100 000 символов, документ или расшифровка | Аудиозапись речи без видеоряда |
| Расшифровка и перевод | Звуковая дорожка не создаётся | Аудиофайл, видеофайл или ссылка | Текст со спикерами, таймкодами, саммари и SRT |
Переозвучивание видео и синтез речи работают только в веб-версии my.voicee.ru после входа — в ботах мессенджеров этих функций нет. Если вам нужно озвучить написанный сценарий или статью дикторским голосом, откройте страницу озвучивания текста и пошаговую инструкцию по озвучиванию текста нейросетью.
Законно ли клонировать чужой голос и что включить в согласие спикера?
Если в видео говорите не вы, перед переозвучиванием проверьте право использовать сам видеоролик и заранее получите согласие говорящего на перевод, синтез и публикацию его речи. В российском праве нематериальные блага личности неотчуждаемы и защищаются статьёй 150 Гражданского кодекса РФ; прямого специального текста о синтезе голоса в этой общей норме нет, но обработка записи без разрешения затрагивает охрану нематериальных благ, персональных данных и прав на видео. Это справочная информация, а не юридическая консультация.
Не используйте синтез речи для обмана, выдачи себя за другого человека или получения денег и данных. Для онлайн-курсов, рекламы и корпоративных записей закрепите условия в письменном согласии или договоре со спикером по чек-листу:
- Объект записи: название или описание исходного ролика, дата съёмки и чья речь в нём звучит.
- Разрешённые действия: автоматический перевод реплик, синтез речи с похожим тембром и вшивание субтитров.
- Языки и площадки: на каких языках и в каких каналах, соцсетях или учебных платформах выходят переведённые версии.
- Срок и территория: на какой период предоставляется право публикации.
- Отзыв и удаление: порядок отзыва согласия и сроки удаления материалов с площадок.
Поскольку похожий речевой синтез используют и телефонные злоумышленники, рассылая голосовые сообщения от имени руководителей или близких, соблюдайте три бытовых правила защиты: перезванивайте человеку самостоятельно по сохранённому номеру, подтверждайте денежные поручения через отдельный рабочий канал или проверочный вопрос и не принимайте срочных финансовых решений под давлением.
Для каких задач подходит переозвучивание и как звучит реальный пример?
Технологию применяют там, где у автора или компании уже готов видеоматериал и нужно выпустить его для иноязычной аудитории без пересъёмки и студийной записи. Когда на экране показаны таблицы, код или интерфейс программы, бегущая строка субтитров мешает следить за курсором, а звуковая дорожка на языке зрителя позволяет спокойно смотреть на экран.
- Онлайн-курсы и вебинары: локализация записанных лекций и уроков с сохранением таймингов слайдов и узнаваемой манеры лектора.
- Демонстрации продукта и обучение команд: адаптация скринкастов и инструкций для зарубежных коллег, клиентов и партнёров.
- Интервью и круглые столы: раздельное снятие тембра сохраняет разные голоса собеседников, поэтому слушатель легко различает ведущего и гостя.
Ниже — открытый отрывок анимационного фильма Sintel длительностью 28,5 секунды с двумя персонажами и фоновым звуком; материал распространяется авторами Blender Foundation по лицензии Creative Commons Attribution 3.0. Русская версия собрана автоматическим переозвучиванием в «Войси» без ручной правки перевода и сведения звука.
Послушайте оба ролика на одинаковой громкости: мужские и женские реплики сохраняют разные тембры и попадают в свои сцены вместе с фоновым шумом, тогда как артикуляция губ остаётся исходной. Полный пофразовый разбор этого фрагмента есть в руководстве о том, как перевести видео с английского на русский с озвучкой, а пример с одним закадровым голосом — на странице переозвучивания видео и в статье про дубляж короткого ролика.