Искусственный интеллект в VFX. Часть 2: Цифровые люди

A World Without Malaria - Behind The Scenes
A World Without Malaria - Behind The Scenes

Когда речь заходит об ИИ и лицах, все сразу думают о дипфейке. На самом деле дипфейк в серьезном кино — редкий гость. Причина проста: он непредсказуем. Никогда не знаешь, насколько хорошо онсработает. О том, какими инструментами пользуются большие студии и в каких случаях все-таки прибегают к помощи дипфейка, рассказывает Надежда Маркалова.

Для удачного дипфейка оба лица — исходное и конечное — должны быть очень похожи и не меняться слишком сильно, например, не менять ракурс. VFX-артисты не любят непредсказуемости и неуправляемости, у них строгие дедлайны и бюджеты. Поэтому как таковой дипфейк у них не очень в чести. Но это не мешает применять нейросети для создания и ретуширования кинообразов, обучая их для выполнения конкретной задачи.

Например, на постпродакшне фильма «Дюна. Часть 2» специально обученная нейросетка помогала выделять и ротоскопить глаза персонажей, которые надо было подсинить. Ведь у фременов и давно живущих на Арракисе мигрантов глаза синеют под действием спайса. Кстати, в оригинальном романе Френка Герберта глаза становились синими полностью, включая белки. Но ни Дэвид Линч, ни Дени Вильнев не решились на такой кардинальный шаг в своих киноверсиях. Поэтому у пресонажей «Дюны» синими становятся только радужки. В 1984 году глаза ротоскопили вручную, и погрешности такого маскирования нередко видны в кадре. В этот раз обошлись малой кровью — обучили нейросетку, которая распознавала глаза и выделяла их, помогая облегчить этот рутинный процесс.

ИНДИАНА ДЖОНС И FACESWAP

Для фильма «Индиана Джонс и колесо Судьбы» компания ILM омолодила Харрисона Форда на 40 лет. В этом деле им помогла нейросеть, которая собрала референсы для создания молодого лица почти 80-летнего актера во всех материалах студии, а их оказалось немало. У нейросетки был доступ даже к тем материалам, которые никогда не увидели света, поскольку их нигде не использовали. Нейросеть проанализировала все эти материалы в 2D на предмет того, как свет работает с молодым лицом исполнителя. Эти данные были использованы как референсы для генерации взаимодействия света с кожей Харрисона Форда в новых световых условиях.  Но нет, это не был дипфейк, как писали многие издания. Так как ИИ не равно дипфейк. ILM использовали свою студийную разработку FaсeSwap на основе нейросети, а также труд более сотни художников.

Indiana Jones and the Dial of Destiny | Crafting Indy

«FaсeSwap — это общее название для целого набора инструментов, — объясняет VFX супервайзер фильма Эндрю Уайтхерст. — У нас нет волшебной палочки, которая работала бы в каждом шоте. Изначально было понятно, что нам придется снимать множеством камер (возможно, здесь имеется в виду трехголовая камера FLUX — прим. автора), и построить его голову в 3D. И потом, используя нейросетку, цифровую живопись и данные по освещению на площадке, мы анимировали эту голову по ключевым кадрам. И применили инструмент FaсeSwap, который заменил одну голову другой. Главное здесь — создание набора инструментов, варьируя которые артисты могли добиться нужного результата в каждом кадре».

На съемочной площадке актера снимали камерой FLUX, разработанной для «Ирландца» Мартина Скорсезе, но только в этот раз с маркерами на лице (однако, это были маркеры для трекинга, а не для захвата мимики). Обновленная версия FLUX захватила игру актера и сгенерировала 3D версию его головы, которую поместили в 3D-скан каждой декорации для создания нужных рефлексов.

«Мы часто обращались к старому съемочному материалу, — продолжает Уайтхерст, — чтобы убедиться, что уловили все особенности его мимики, и его весьма специфическую улыбку, и то, как двигается в этот момент его лицо».

Последние разработки в области анимации позволили аниматорам воспроизвести все нюансы текстуры кожи актера: поры и капилляры. VFX-артисты создали карты мельчайших деталей его лица и применили подповерхностное рассеивание, уровнем которого можно было управлять в разных сегментах поверхности. «Вернее, можно было сказать, здесь оно работает, а здесь — не очень, — объясняет VFX супервайзер, — чтобы добиться нужного сочетания параметров. Было бы здорово найти один рецепт, который бы работал везде одинаково успешно, но, к сожалению, система так не работает.  Каждый кадр требовал уникальных манипуляций наших артистов».

К слову, в исследовательском отделении студии Дисней у Цюрихе Disney Research Studios уже разработали инструмент FRAN (Face Re-Aging Network), позволяющий омолодить или состарить любого человека в любых условиях освещения. Наверняка в ближайшем будущем с его помощью начнут изменять возраст актеров.

Production Ready Face Re Aging for Visual Effects

«ПРАВЕДНЫЙЕ ДЖЕМСТОУНЫ» И SHAPESHIFTER

VFX компания Gradient Effects уже несколько лет разрабатывает инструмент под названием ShapeShifter. Кастомно обученная нейросетка умеет… тречить любые съемочные поверхности (включая такие сложные как вода), превращая их из 2D-картинки в 3D-рельеф. Это очень помогло, например, на фильме «Выживший» с ДиКаприо. В сцене нападения индейцев на лагерь белых все стрелы были цифровыми, и они должны были втыкаться в поверхность земли, воды и в людей, и «приклеиваться» к этим поверхностям насмерть при съемке ручной камерой и ее агрессивном движении.

Gradient Effects - ShapeShifter Technology Demonstration

Однако, инструмент был также использован для омолаживания. Без маркеров он способен тречить изменения рельефа лица в каждом кадре и анализировать подкожную мышечную структуру. Ретушь лица для омоложения производится VFX-артистом в одном кадре. После чего нейросетка экстраполирует ретушь на все остальные кадры. Так, покадрово был омоложен Джон Гудмен в одной из серий сериала «Праведные Джемстоуны». Да, из-за того, что процесс производят заново в каждом кадре, актер не всегда выглядит одинаково во всех кадрах сцены. Но иногда такое может происходить и с настоящим живым лицом. Возможно, на каком-то уровне, это можно считать дипфейком.

МЛАДЕНЕЦ ТОР

В финале ленты «Тор: Любовь и гром» у Тора появляется младенец, в создании которого принимала участие нейросетка. Для обучения нейросети использовалась съемка внука бывшего CEO компании Disney Боба Чапека. Работа велась совместно с Австралийским институтом машинного обучения. Собранные с реального младенца данные были перенесены на CG младенца поверх ручной анимации.

УИЛЛ СМИТ И WETA DIGITAL

В фильме «Гемини» у Уилла Смита появляется молодой клон. Эту роль исполнял сам Уилл Смит, игра которого была зафиксирована с помощью технологии захвата мимики (performance capture). После чего эти данные перенесли на цифровую голову молодого Смита. Однако, для реалистичной анимации мышц лица была применена технология машинного обучения в виде солвера для достижения большей согласованности в работе лицевой системы.

На самом деле WETA уже давно работает с ИИ, и у них уже есть инструменты, включающие нейросетку (вспомним MASSIVE).

Искусственный интеллект в VFX. Часть 2: Цифровые люди

«Преимущества такого подхода перед традиционным дипфейком в том, что все движения персонажа были созданы традиционной анимацией, позже откорректированной библиотекой референсов», – говорит старший VFX-продюсер фильма Иен Коуп.

ТАНОС, ЖЕНЩИНА-ХАЛК И MASQUERADE

Компания Digital Domain разработала инструмент под названием Masquerade, который используют для считывания и переноса данных захвата мимики на цифровые лица, как самого актера, так и персонажа, которого он играет.

Сначала инструмент обучают с помощью светового рига Medusa, позволяющего сканировать в 3D лицо конкретного актера для создания библиотеки стандартных лицевых поз (FACS). Обычно эти позы используются для дальнейшей анимации лица, ведомой стерео-данными с мокап-шлема на голове актера во время игры на площадке. В случае с Masquerade стерео-данные, выдающие трехмерную сетку лица низкого разрешения автоматически экстраполируются на форму высокого разрешения. Система ускоряет и облегчает работу, позволяя точнее захватывать полную нюансов игру актера. Masquerade берет данные Medusa и превращает 150 точек, снятых со шлема во время захвата актерской игры, в 40000 точек 3d лица. После чего еще одна внутренняя разработка студии — Direct Drive — переносит эти данные на цифровое лицо Таноса.

«Женщина-Халк: Адвокат», Кэт Койро, Ану Валиа, 2022
«Женщина-Халк: Адвокат», Кэт Койро, Ану Валиа, 2022

Обновленная версия платформы Masquerade 2.0 была использована в сериале «Женщина-Халк» для создания главной героини. И если в дилогии «Мстители: Война бесконечности» и «Мстители: Финал» Танос появляется на экране всего на 12 минут, то героиня сериала «Женщина-Халк» присутствует в кадре почти всегда, на протяжении 9 серий по 45 минут. Только использование системы Masquerade позволило выпустить подобный сериал в такие короткие сроки. Новая версия не требует длительного обучения в системе Medusa, теперь она может выстраивать лицо из сканов с Medusa и данных мокапа без обучения. Платформа также позволяет VFX-артистам при необходимости корректировать результат ее работы руками.

Также для Женщины-Халка компания применила еще один ИИ инструмент — Charlatan. Это инструмент для замены лиц, типа дипфейка. Но он работал только в кадрах превращения героини Татьяны Маслани в Халка и обратно.

Digital Domain's Charlatan Performance Transfer

Ранее платформу Charlatan использовали для клипа «Малярия должна исчезнуть», в котором артисты Digital Domain состарили Дэвида Бэкхэма на 30 лет.

A World Without Malaria - Behind The Scenes

Но вернемся к «Женщине-Халку». Еще один ИИ инструмент — ShapeWear — помогал изменять внешность героини при изменении ее одежды. Поскольку одежда, а особенно обувь часто меняет то, как наше тело выглядит, меняет нашу походку и расположение ног (сравните кроссовки и туфли на высоком каблуке или грудь в лифчике и без него). Вместе с инструментом по генерации одежды, описанном в первой части данного материала, ИИ помогло ускорить работу и создать около 1000 шотов с цифровой героиней для девяти серий сериала.

Месяц назад Digital Domain объявили о выпуске новой версии платформы — Masquerade 3. Теперь безмаркерная система захвата мимики умеет делать все то же самое в реальном времени.

ДИПФЕЙК

И наконец немного про дипфейки в кинематографе. Как видите, в кино предпочитают иметь доступ к процессу редактирования изображений, чтобы управлять им при необходимости. Поэтому как таковой дипфейк в чистом виде используется редко. А те, кто пишет, что все примеры омолаживания персонажей в кино — это дипфейк, просто не понимают о чем говорят.

Но дипфейк все-таки используется, например, в самом начале фильма «Главный герой». В сцене, где персонаж Татума Ченнинга спускается на парашюте в машину. Изначально он не произносил в этих кадрах ни слова. Но во время монтажа было решено добавить ему короткую фразу. Однако, актер уже не был доступен, поэтому пришлось выходить из положения с помощью дипфпейка.
Еще один случай — с омоложенным Люком Скайуокером в сериале «Мандалорец», когда его сделали старыми методами (студия LOLA VFX не использует даже CG для этой работы, не говоря уже про дипфейк), а потом влогер Шамук пропустил его через дипфейк и получилось чуть лучше…

The Mandalorian Luke Skywalker Deepfake

Позже он дипфейкнул и Таркина с Леей в фильме «Изгой-один». Действительно, стало лучше. Почему же студия сама этого не сделала сразу? Ведь тест с дипфейком Люка для «Мандалорца» проводили, но, видимо, результат студию не удовлетворил. Судя по всему, Шамук убедил ILM, что дипфейк имеет право на включение в арсенал ее инструментов. Потому что сейчас он работает в ILM, и уже помог сделать вторую версию молодого Люка Скайуокера для сериала «Боба Фетт». Здесь Люк был создан совсем другими технологиями и с другим дублером. В пайплайне на этот раз был и дипфейк, хотя работа велась комплексом инструментов, включающим систему FLUX с инфракрасным стереозахватом мимики. И дипфейк был не просто положен поверх цифрового лица, а стал частью всего процесса композитинга. Поэтому и выглядит этот Люк немного иначе.

В сериале «Корона» с помощью дипфейка сделали принцессу Маргарет в сцене конных соревнований в одной из серий четвертого сезона.
 
В российском кино тоже есть свой пример — с помощью дипфейка на экран вернули Владислава Галкина в сериале «Диверсант».

Deepfake актера Галкина | Диверсант: Идеальный штурм

Кроме воссоздания известных лиц на экранах дипфек применялся для того, чтобы скрыть лица реальные. Так в документальном фильме «Добро пожаловать в Чечню» были изменены лица фигурантов истории, которым, в случае раскрытия их личностей, угрожала опасность. Так что дипфейк может работать и в обратную сторону. Но пока примеров использования чистого дипфейка в большом кино не так много, как пишут в сети.

name

Надежда Маркалова

Подробнее

Читайте также

Конференция «Чего хотят зрители?» +DПравить↑↓X

18 апреля в пространстве CREATIVE HUB состоится конференция для всех, кого интересуют экранные искусства. Приглашённые эксперты и посетители конференции обсудят сегодняшние возможности кино, анимации и видеоарта.

Кинуё Танака: странствующая принцесса японского кинематографа

Судьба Кинуё Танаки — один из ярчайших сюжетов японского кино середины XX века. Одна из самых популярных актрис своего времени, любимая исполнительница великого Кэндзи Мидзогути, в начале 1950-х, после поездки в США и знакомства с Бетти Дэйвис, она предпринимает крайне своевольный и не вполне обычный шаг для того времени — начинает снимать собственные фильмы, становясь второй женщиной-режиссеров в истории японского кино. О последней режиссерской работе Танаки, сочетающей визуальный консерватизм с радикальным содержанием, рассказывает Максим Селезнёв.

Мы используем файлы cookies для улучшения работы сайта НИУ ВШЭ и большего удобства его использования. Более подробную информацию об использовании файлов cookies можно найти здесь, наши правила обработки персональных данных – здесь. Продолжая пользоваться сайтом, вы подтверждаете, что были проинформированы об использовании файлов cookies сайтом НИУ ВШЭ и согласны с нашими правилами обработки персональных данных. Вы можете отключить файлы cookies в настройках Вашего браузера.