Искусственный интеллект в VFX. Часть 2: Цифровые люди

Когда речь заходит об ИИ и лицах, все сразу думают о дипфейке. На самом деле дипфейк в серьезном кино — редкий гость. Причина проста: он непредсказуем. Никогда не знаешь, насколько хорошо онсработает. О том, какими инструментами пользуются большие студии и в каких случаях все-таки прибегают к помощи дипфейка, рассказывает Надежда Маркалова.

Для удачного дипфейка оба лица — исходное и конечное — должны быть очень похожи и не меняться слишком сильно, например, не менять ракурс. VFX-артисты не любят непредсказуемости и неуправляемости, у них строгие дедлайны и бюджеты. Поэтому как таковой дипфейк у них не очень в чести. Но это не мешает применять нейросети для создания и ретуширования кинообразов, обучая их для выполнения конкретной задачи.

Например, на постпродакшне фильма «Дюна. Часть 2» специально обученная нейросетка помогала выделять и ротоскопить глаза персонажей, которые надо было подсинить. Ведь у фременов и давно живущих на Арракисе мигрантов глаза синеют под действием спайса. Кстати, в оригинальном романе Френка Герберта глаза становились синими полностью, включая белки. Но ни Дэвид Линч, ни Дени Вильнев не решились на такой кардинальный шаг в своих киноверсиях. Поэтому у пресонажей «Дюны» синими становятся только радужки. В 1984 году глаза ротоскопили вручную, и погрешности такого маскирования нередко видны в кадре. В этот раз обошлись малой кровью — обучили нейросетку, которая распознавала глаза и выделяла их, помогая облегчить этот рутинный процесс.

Для фильма «Индиана Джонс и колесо Судьбы» компания ILM омолодила Харрисона Форда на 40 лет. В этом деле им помогла нейросеть, которая собрала референсы для создания молодого лица почти 80-летнего актера во всех материалах студии, а их оказалось немало. У нейросетки был доступ даже к тем материалам, которые никогда не увидели света, поскольку их нигде не использовали. Нейросеть проанализировала все эти материалы в 2D на предмет того, как свет работает с молодым лицом исполнителя. Эти данные были использованы как референсы для генерации взаимодействия света с кожей Харрисона Форда в новых световых условиях.  Но нет, это не был дипфейк, как писали многие издания. Так как ИИ не равно дипфейк. ILM использовали свою студийную разработку FaсeSwap на основе нейросети, а также труд более сотни художников.

«FaсeSwap — это общее название для целого набора инструментов, — объясняет VFX супервайзер фильма Эндрю Уайтхерст. — У нас нет волшебной палочки, которая работала бы в каждом шоте. Изначально было понятно, что нам придется снимать множеством камер (возможно, здесь имеется в виду трехголовая камера FLUX — прим. автора), и построить его голову в 3D. И потом, используя нейросетку, цифровую живопись и данные по освещению на площадке, мы анимировали эту голову по ключевым кадрам. И применили инструмент FaсeSwap, который заменил одну голову другой. Главное здесь — создание набора инструментов, варьируя которые артисты могли добиться нужного результата в каждом кадре».

На съемочной площадке актера снимали камерой FLUX, разработанной для «Ирландца» Мартина Скорсезе, но только в этот раз с маркерами на лице (однако, это были маркеры для трекинга, а не для захвата мимики). Обновленная версия FLUX захватила игру актера и сгенерировала 3D версию его головы, которую поместили в 3D-скан каждой декорации для создания нужных рефлексов.

«Мы часто обращались к старому съемочному материалу, — продолжает Уайтхерст, — чтобы убедиться, что уловили все особенности его мимики, и его весьма специфическую улыбку, и то, как двигается в этот момент его лицо».

Последние разработки в области анимации позволили аниматорам воспроизвести все нюансы текстуры кожи актера: поры и капилляры. VFX-артисты создали карты мельчайших деталей его лица и применили подповерхностное рассеивание, уровнем которого можно было управлять в разных сегментах поверхности. «Вернее, можно было сказать, здесь оно работает, а здесь — не очень, — объясняет VFX супервайзер, — чтобы добиться нужного сочетания параметров. Было бы здорово найти один рецепт, который бы работал везде одинаково успешно, но, к сожалению, система так не работает.  Каждый кадр требовал уникальных манипуляций наших артистов».

К слову, в исследовательском отделении студии Дисней у Цюрихе Disney Research Studios уже разработали инструмент FRAN (Face Re-Aging Network), позволяющий омолодить или состарить любого человека в любых условиях освещения. Наверняка в ближайшем будущем с его помощью начнут изменять возраст актеров.

VFX компания Gradient Effects уже несколько лет разрабатывает инструмент под названием ShapeShifter. Кастомно обученная нейросетка умеет… тречить любые съемочные поверхности (включая такие сложные как вода), превращая их из 2D-картинки в 3D-рельеф. Это очень помогло, например, на фильме «Выживший» с ДиКаприо. В сцене нападения индейцев на лагерь белых все стрелы были цифровыми, и они должны были втыкаться в поверхность земли, воды и в людей, и «приклеиваться» к этим поверхностям насмерть при съемке ручной камерой и ее агрессивном движении.

Однако, инструмент был также использован для омолаживания. Без маркеров он способен тречить изменения рельефа лица в каждом кадре и анализировать подкожную мышечную структуру. Ретушь лица для омоложения производится VFX-артистом в одном кадре. После чего нейросетка экстраполирует ретушь на все остальные кадры. Так, покадрово был омоложен Джон Гудмен в одной из серий сериала «Праведные Джемстоуны». Да, из-за того, что процесс производят заново в каждом кадре, актер не всегда выглядит одинаково во всех кадрах сцены. Но иногда такое может происходить и с настоящим живым лицом. Возможно, на каком-то уровне, это можно считать дипфейком.

В финале ленты «Тор: Любовь и гром» у Тора появляется младенец, в создании которого принимала участие нейросетка. Для обучения нейросети использовалась съемка внука бывшего CEO компании Disney Боба Чапека. Работа велась совместно с Австралийским институтом машинного обучения. Собранные с реального младенца данные были перенесены на CG младенца поверх ручной анимации.

В фильме «Гемини» у Уилла Смита появляется молодой клон. Эту роль исполнял сам Уилл Смит, игра которого была зафиксирована с помощью технологии захвата мимики (performance capture). После чего эти данные перенесли на цифровую голову молодого Смита. Однако, для реалистичной анимации мышц лица была применена технология машинного обучения в виде солвера для достижения большей согласованности в работе лицевой системы.

На самом деле WETA уже давно работает с ИИ, и у них уже есть инструменты, включающие нейросетку (вспомним MASSIVE).

«Преимущества такого подхода перед традиционным дипфейком в том, что все движения персонажа были созданы традиционной анимацией, позже откорректированной библиотекой референсов», – говорит старший VFX-продюсер фильма Иен Коуп.

Компания Digital Domain разработала инструмент под названием Masquerade, который используют для считывания и переноса данных захвата мимики на цифровые лица, как самого актера, так и персонажа, которого он играет.

Сначала инструмент обучают с помощью светового рига Medusa, позволяющего сканировать в 3D лицо конкретного актера для создания библиотеки стандартных лицевых поз (FACS). Обычно эти позы используются для дальнейшей анимации лица, ведомой стерео-данными с мокап-шлема на голове актера во время игры на площадке. В случае с Masquerade стерео-данные, выдающие трехмерную сетку лица низкого разрешения автоматически экстраполируются на форму высокого разрешения. Система ускоряет и облегчает работу, позволяя точнее захватывать полную нюансов игру актера. Masquerade берет данные Medusa и превращает 150 точек, снятых со шлема во время захвата актерской игры, в 40000 точек 3d лица. После чего еще одна внутренняя разработка студии — Direct Drive — переносит эти данные на цифровое лицо Таноса.

Обновленная версия платформы Masquerade 2.0 была использована в сериале «Женщина-Халк» для создания главной героини. И если в дилогии «Мстители: Война бесконечности» и «Мстители: Финал» Танос появляется на экране всего на 12 минут, то героиня сериала «Женщина-Халк» присутствует в кадре почти всегда, на протяжении 9 серий по 45 минут. Только использование системы Masquerade позволило выпустить подобный сериал в такие короткие сроки. Новая версия не требует длительного обучения в системе Medusa, теперь она может выстраивать лицо из сканов с Medusa и данных мокапа без обучения. Платформа также позволяет VFX-артистам при необходимости корректировать результат ее работы руками.

Также для Женщины-Халка компания применила еще один ИИ инструмент — Charlatan. Это инструмент для замены лиц, типа дипфейка. Но он работал только в кадрах превращения героини Татьяны Маслани в Халка и обратно.

Ранее платформу Charlatan использовали для клипа «Малярия должна исчезнуть», в котором артисты Digital Domain состарили Дэвида Бэкхэма на 30 лет.

Но вернемся к «Женщине-Халку». Еще один ИИ инструмент — ShapeWear — помогал изменять внешность героини при изменении ее одежды. Поскольку одежда, а особенно обувь часто меняет то, как наше тело выглядит, меняет нашу походку и расположение ног (сравните кроссовки и туфли на высоком каблуке или грудь в лифчике и без него). Вместе с инструментом по генерации одежды, описанном в первой части данного материала, ИИ помогло ускорить работу и создать около 1000 шотов с цифровой героиней для девяти серий сериала.

Месяц назад Digital Domain объявили о выпуске новой версии платформы — Masquerade 3. Теперь безмаркерная система захвата мимики умеет делать все то же самое в реальном времени.

И наконец немного про дипфейки в кинематографе. Как видите, в кино предпочитают иметь доступ к процессу редактирования изображений, чтобы управлять им при необходимости. Поэтому как таковой дипфейк в чистом виде используется редко. А те, кто пишет, что все примеры омолаживания персонажей в кино — это дипфейк, просто не понимают о чем говорят.

Но дипфейк все-таки используется, например, в самом начале фильма «Главный герой». В сцене, где персонаж Татума Ченнинга спускается на парашюте в машину. Изначально он не произносил в этих кадрах ни слова. Но во время монтажа было решено добавить ему короткую фразу. Однако, актер уже не был доступен, поэтому пришлось выходить из положения с помощью дипфпейка.
Еще один случай — с омоложенным Люком Скайуокером в сериале «Мандалорец», когда его сделали старыми методами (студия LOLA VFX не использует даже CG для этой работы, не говоря уже про дипфейк), а потом влогер Шамук пропустил его через дипфейк и получилось чуть лучше…

Позже он дипфейкнул и Таркина с Леей в фильме «Изгой-один». Действительно, стало лучше. Почему же студия сама этого не сделала сразу? Ведь тест с дипфейком Люка для «Мандалорца» проводили, но, видимо, результат студию не удовлетворил. Судя по всему, Шамук убедил ILM, что дипфейк имеет право на включение в арсенал ее инструментов. Потому что сейчас он работает в ILM, и уже помог сделать вторую версию молодого Люка Скайуокера для сериала «Боба Фетт». Здесь Люк был создан совсем другими технологиями и с другим дублером. В пайплайне на этот раз был и дипфейк, хотя работа велась комплексом инструментов, включающим систему FLUX с инфракрасным стереозахватом мимики. И дипфейк был не просто положен поверх цифрового лица, а стал частью всего процесса композитинга. Поэтому и выглядит этот Люк немного иначе.

В сериале «Корона» с помощью дипфейка сделали принцессу Маргарет в сцене конных соревнований в одной из серий четвертого сезона.
 
В российском кино тоже есть свой пример — с помощью дипфейка на экран вернули Владислава Галкина в сериале «Диверсант».

Кроме воссоздания известных лиц на экранах дипфек применялся для того, чтобы скрыть лица реальные. Так в документальном фильме «Добро пожаловать в Чечню» были изменены лица фигурантов истории, которым, в случае раскрытия их личностей, угрожала опасность. Так что дипфейк может работать и в обратную сторону. Но пока примеров использования чистого дипфейка в большом кино не так много, как пишут в сети.