Не вмієте танцювати? Цей ІІ вкраде для вас руху професійних танцюристів

американські дослідники представили нейросетевой алгоритм, який переносить руху людей з одного відео в інше. Система, описана на arXiv.org , Використовує відразу кілька нейромереж, а весь процес розбитий на наступні етапи.

1. Навчання алгоритму на цільовому відео з довільними рухами людини (запис довжиною в кілька хвилин). На героя цього відео потім будуть перенесені руху з исходника.
2. Завантаження одного або декількох початкових кодів: наприклад, відео з танцюристами. В остаточному підсумку система перенесе їх руху на перше відео. Але спершу алгоритм OpenPose перетворить вихідні відео в спрощену модель людського тіла, що складається з ключових точок, з'єднаних лініями.
3. Потім руху вихідної моделі передаються на цільову модель. В процесі вони проходять так звану нормалізацію. У різних людей різні пропорції тіла і різний одяг, - нормалізація необхідна, щоб звести до мінімуму нереалістичні зміни цільової моделі.
4. Нарешті, алгоритм pix2pixHD перетворює руху моделі в фотореалістичний відеоролик, на якому людина повторює рухи з вихідного ролика.

І ось що виходить:

Розробники списують артефакти в підсумковому відео на недосконалий алгоритм OpenPose , Який створює проміжну модель тіла. Він працює з одним кадром за раз без урахування сусідніх, плюс створює двовимірну модель, яка в принципі не враховує нюанси тривимірного простору.

алгоритм pix2pixHD , Навпаки, для кожного нового кадру аналізує і попередній кадр, і 2D-модель тіла, за рахунок чого руху на цільовому відео стають більш природними і узгодженими. Крім того, розробники використовували ще одну нейросеть, що відповідає за отрисовку особи.

Втім, над особою теж слід попрацювати:

Раніше ми писали про схожу технології, що створює діпфейкі. Це реалістична імітація міміки, жестів і рухів, завдяки якій можна вкласти слова однієї людини в уста іншого. Або, наприклад, помістити зірку шоу-бізнесу в порнографічне відео. Поки популярні платформи борються з епідемією підроблених відео, а порноіндустрія шукає способи монетизувати цю золоту жилу, експерти прогнозують, що діпфейкі зовсім скоро стануть головною зброєю інформаційної війни.

Про діджітале в зручному форматі ➜ підписуйтесь на нашу розсилку