Американские разработчики научились манипулировать объектами на видеозаписи. В сообщении пресс-службы Массачусетского Технолгического Института (MIT) отмечается, что метод не требует дополнительного оборудования и для имитации движения предметов использует обычные данные видеопотока.Алгоритм для «правдоподобной манипуляции объектами на видео» был описан Фредом Дюраном (Fredo Durand) и его коллегами в статье, опубликованной журналом еще в ноябре 2015 г. В ней авторы указывают, что большинство подходов к этой задаче основаны на создании 3D-моделей предметов – задаче сложной и требовательной к ресурсам. В то же время, для вполне правдоподобной имитации движения можно обойтись гораздо более простыми средствами, используя данные самого видеопотока.Многие предметы в естественных условиях слегка – часто незаметно глазу – вибрируют под действием разных внешних факторов, будь то ветер, сквозняк или тряска проезжающих рядом машин. Следы этих колебаний сохраняются на видеозаписях, и ранее Дюран с коллегами научились их распознавать и «усиливать». Они позволяют выделить объект на фоне и оценить частоту и амплитуду колебаний различных его частей, а затем использовать эти данные для эмуляции движений без предварительного 3D-сканирования и построения 3D-модели.
Демонстрируя возможности алгоритма «Интерактивного динамического видео» (Interactive Dynamic Video, IDV), авторы показали, что для его работы достаточно нескольких секунд видеозаписи небольшого и простого объекта (такого, как фигурка человека), либо минут – для предметов посложнее (например, куста).Фред Дюран и его соавторы уверены, что алгоритмы IDV найдут широкое применение в решении инженерных задач, архитектуре и, конечно, в индустрии развлечений. «В отличие от популярной игры Pokemon Go, где виртуальные герои просто помещаются в реальное окружение, IDV идет на шаг дальше, непосредственно позволяя виртуальным объектам (включая покемонов) взаимодействовать со средой специфическим и реалистическим образом, например, колебля листья соседнего куста», – пишет пресс-служба MIT.