До развития нейросетей на перевод и дубляж даже относительно небольшого ролика могло потребоваться несколько недель работы с привлечением целой команды специалистов – переводчики, редакторы, актеры и так далее. Также обязательно требовалась профессиональная студия с необходимым оборудованием. Однако благодаря нейросетям такой уровень доступен рядовым пользователям, для этого достаточно обычного ПК с доступом в сеть. Одна из таких платформ – HeyGen.
Назначение платформы
Нейросеть позволяет генерировать видеоролики с учетом текстового описания, переводить их на разные языки, предусмотрена функция добавления виртуального диктора из встроенного каталога с удобной навигацией. Ключевая особенность используемой модели – она способна в процессе дубляжа изменять движения губ персонажей, чтобы мимика полностью совпадала с текстом. Также полностью имитируются особенности голоса персонажа в оригинальном ролике.
К примеру, можно заставить Тома Круза говорить на русском языке или перевести советский мультфильм на испанский язык, что выглядит очень необычно. Такую возможность часто используют блогеры, которые хотят привлечь внимание пользователей нестандартным контентом.
Предусмотрен бесплатный тариф, возможностей достаточно для тестирования основного функционала. Для снятия ограничений потребуется оформить платную подписку.
Стоит отметить, что текущая версия нейросети пока работает недостаточно хорошо. В готовом видео может попадаться неестественная артикуляция, возможно ошибки в переводе.
На что способна нейросеть
Основное назначение – генерация видео. Можно выбрать из каталога подходящего персонажа, чтобы он зачитал предоставленный текст. Такой режим хорошо подходит для различного обучающего контента.
Дублирование на другие языки. ИИ хорошо справляется с переводом ролика на другие языки. При этом в видео сохраняется исходная интонация, что позволяет сохранить атмосферу текущей сцены.
Замена голоса. Можно использовать, к примеру, в рекламном бизнесе. Подбор голоса позволяет лучше передать общую стилистику контента.
Участие в совещаниях. Отдельная функция позволяет создать цифрового двойника, который будет общаться с другими людьми. Также можно настроить подключение сразу с несколькими аккаунтами.
Какие видео можно обработать
Чаще всего сервис используется для быстрого перевода контента на другой язык. Обработать можно ролики разного типа – от короткой рекламы до интервью или подкаста.
Однако возможности используемой модели также ограничены, поэтому для получения результата необходимо соблюдать определенные рекомендации:
— изначально хороший звук. Если присутствуют различные помехи или речь нечеткая, система может не распознать участок звуковой дорожки, что приведет к ошибке;
— высокое разрешение. При недостаточном качестве ИИ не сможет корректно обработать движение губ;
— в кадре присутствует один человек. Если в сцене участвуют два и более персонажа, нейросети будет сложно зафиксировать, кто именно в данный момент ведет диалог. Также стоит учитывать, что за живого человека может быть принята статуя и картина. В этом случае результат будет достаточно неожиданным;
— портретный кадр. Стоит учитывать, что если съемка будет производиться сбоку, система не сможет корректно распознать и обработать необходимые элементы. Лучше выбирать видео, когда лицо основного персонажа направлено строго в камеру или используется небольшое отклонение (не более 30 градусов). Также лицо не должно перекрываться другими предметами.
Как переозвучить видео
Краткая инструкция по работе:
Пройти стандартную регистрацию. Можно создать новый личный кабинет на основе электронной почты (должна быть действующей) или использовать функцию быстрого входа через аккаунт Apple или Google.
Далее необходимо выбрать нужный режим генерации. Перечень доступных режимов открывается путем нажатия на кнопку «Create video», для переозвучки готового ролика необходимо выбрать пункт «Video Translation».
Загрузка видео. Можно найти подготовленный файл через проводник, перетащить его на рабочую область или вставить ссылку на внешний сайт. Стоит учитывать ряд ограничений: длина ролика от 1 секунды до 3 минут, максимальный размер файла для обработки составляет 5 гигабайт. Поддерживаются только форматы QTFF, MP4 и WebM. На успешность загрузки указывает надпись «Video detected successfully», это означает, что можно переходить к следующему этапу.
Настройка параметров. На первом шаге необходимо корректно указать исходный язык, нажав на кнопку «Create new translation», опция «Target language» позволяет указать направление перевода. Отдельная опция позволяет указать количество спикеров (не более 10), но данный режим часто работает некорректно. Важная опция – «Enable dynamic duration», именно она активирует синхронизацию движения губ.
Запуск обработки. После проверки всех параметров необходимо нажать на кнопку «Submit» и ожидать завершения процесса. Время обработки зависит от параметров видео и общей загруженности сервиса. В бесплатном режиме доступна только загрузка с качеством 720p.
Стоит ли приобретать подписку?
Бесплатный тариф позволяет генерировать не более трех видео в месяц, максимальная продолжительность каждого ролика – 3 минуты. Также есть ограничения по максимальному качеству. Для простого проекта или тестирования функционала этого вполне достаточно.
Для снятия лимитов предусмотрены следующие тарифы:
Enterprise. Тариф ориентирован на большие компании и подразумевает индивидуальный подход. Необходимо предварительно связаться с представителем компании и уточнить все условия, фиксированная стоимость не предусмотрена – ее озвучивают в процессе обсуждения. Поддерживается качество вплоть до 4K, ограничений по количеству генераций нет.
Team (89 долларов за один месяц на каждого специалиста команды). Тариф ориентирован на небольшие компании, количество запросов не ограничено, максимальная длительность 30 минут, качество до 1080p. Таких возможностей уже вполне достаточно для профессиональных студий.
Creator (29 долларов за один месяц). Доступно качество 1080p, количество генераций не ограничено, при этом сами запросы обрабатываются вне общей очереди, что заметно ускоряет работу.
Стоит учитывать, что сервис не принимает к оплате карты российских банков, поэтому пользователям из РФ необходимо будет искать альтернативный вариант перевода средств.