Инновационный проект «Автомонтаж»

Основной проблемой при подготовке видео-лекций является видео-монтаж, требующий тщательной подготовки, планирования и временных затрат профессиональных операторов и монтажеров.

Научной группой из 10 сотрудников: программистов-разработчиков, режиссеров, монтажеров и операторов, под руководством Кирилла Беляевского, был разработан комплекс программ, позволяющих значительно снизить временные затраты на обработку видео-лекций за счет нейросетевой оцифровки опыта операторов и монтажеров, распознавания медиа-объектов в кадре (например, слайды презентации), выполнения постобработки видео-лекций, автоматической смены ракурса на видео.

Автоматизированное программное средство для повышения успешности проведения видео-монтажа с камер сверхвысокого разрешения, выполнения различных операций с видеоматериалом, применения спецэффектов, выполнения анализа видеоматериала в режиме реального времени, обеспечивающее снижение затрат времени на обработку видеоматериала.

Разработанный комплекс алгоритмов и программных средств предназначен для создания образовательного контента. Основными требованиями разрабатываемого комплекса является низкая стоимость, скорость обработки и повышение качества образовательного контента. Оцифровка опыта лучших операторов и монтажеров позволяет существенно сократить скорость обработки видео, а также повысить уровень качества подготовленных образовательных курсов с использованием автоматизированных систем монтажа, что обеспечит работу систем в режиме «без специалиста».

Автоматизированная система «Автомонтаж» состоит из нескольких подсистем:

• «Автослайд»;
• «Автооператор».

На данный момент завершена разработка подсистемы автоматического монтажа видео-лекций со слайдами презентаций «Автослайд».

Результаты работы подсистемы представлены ниже.

 

В процессе реализации проекта были решены задачи по обнаружению и замене в видео-потоке слайдов на презентационные в высоком качестве, выделение (детектирование) лектора в видео-потоке, предоставление web-интерфейса для загрузки и обработки видеолекций.

Функциональные требования

• Загрузка и синхронизация видео-данных с камер сверхвысокого разрешения;
• Предобработка видео-данных с целью повышения качества, корректировки цветовых моделей и моделей освещенности;
• Выбор и загрузка сценария обработки на основе оцифрованного опыта съёмки аналогичных лекций;
• Расчет и реализация функций приближения и обрезки для эмуляции работы оператора;
• Выполнение обработки видео-потока с целью обнаружения, локализации, распознавания и классификации элементов в кадре (лектор, доска, слайды, зрители);
• Удаление малоинформативных элементов сцены;
• Выполнение смены ракурса и выбранного базового объекта для отслеживания на последовательности кадров;
• Временная синхронизация видео-потока с презентационными материалами;
• Автоматическая компоновка элементов в кадре;
• Сохранение видео в заданных форматах.

Проект разработан при совместной работе научной команды ООО «Лекториум» -национальный лидер в производстве образовательного видеоконтента и разработка дистанционных образовательных онлайн-курсов, и ФСИ (Фонд содействия развитию малых форм предприятий в научно-технической сфере).

Информация предоставлена https://spbpu.com