Новый шаг к будущему без языковых границ: Яндекс запустил в открытую бету технологию закадрового перевода прямых трансляций на YouTube В Яндекс Браузере появилась уникальная технология автоматического закадрового перевода стримов на YouTube. Пока новинка в открытой бете и работает для определенного списка каналов на YouTube, на которых проводятся прямые трансляции, но уже скоро на русском языке в режиме онлайн можно будет смотреть вебинары, бизнес-конференции и анонсы долгожданных новинок IT-индустрии. Сейчас бета-версию может опробовать любой пользователь ПК-версии Яндекс Браузера. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров от Яндекса. Однако для потокового сценария понадобилось перестроить всю архитектуру закадрового перевода видео. В роли синхронного переводчика выступают несколько нейросетей: одна распознает аудио и превращает его в текст буквально на лету, другая опознает пол спикера по биометрии, третья — расставляет знаки препинания и выделяет из текста фрагменты с законченной мыслью. Именно они отправляются четвертой нейросети, отвечающей за перевод, который позже синтезируется на русском языке пятой нейросетью. В дальнейшем Яндекс обещает переводить крупные онлайн-мероприятия, презентации и лекции, а также стримы на Twitch, и увеличит количество языков, доступных для перевода.
