Искусственный интеллект в VFX: симуляция толпы, дизайн персонажей, композитинг

Сегодня искусственный интеллект и его возможности все больше захватывают умы деятелей творческих индустрий: художников, писателей, кинематографистов. Многие говорят, что ИИ представляет для них угрозу. Часто слышишь, что в ближайшие годы ИИ уничтожит сразу несколько профессий. Но так ли это? Чем занимается ИИ в кинематографе сегодня? На эти вопросы пробует ответить Надежда Маркалова.

При упоминании ИИ в визуальных эффектах большинство зрителей сразу представляет себе deepfake. Спешим их разочаровать: deepfake в кино используется крайне мало в силу его неуправляемости и непредсказуемости результата. Иными словами, если вы видите у какого-то влогера deepfake, значит он сделал 150 вариантов и ему повезло, что один из них оказался подходящим. Такой метод работы кинематографистов категорически не устраивает. И пока попытки «приручить» deepfake дали не очень продуктивный результат (о нем — в следующий раз). Давайте посмотрим на более практичные примеры того, как машинное обучение и ИИ уже работают в области визуальных эффектов.

Первый софт, включающий в себя элементы ИИ, появился в VFX в 2002 году. Программа Massive была написана для создания армии орков в трилогии Питера Джексона «Властелин колец». Она позволяет отдельным единицам (агентам) большой группы (массива) вести себя согласно приписанной им роли, адекватно взаимодействуя с трехмерной средой, в которой они находятся. Например, есть две армии, воины которых должны столкнуться друг с другом. При этом они обходят естественные препятствия, перелезают через низкие преграды, преследуют противника, если тот попадает в зону их видимости. Они даже реагируют на звук! Одним словом, действуют, как обычные персонажи боевой сцены. Встроенная в софт логика (Fuzzy Logic) позволяет персонажу рандомно «выбирать» варианты действий, выстраивающиеся в заданные условия, имитируя жизнь. Это дает возможность VFX артистам сфокусироваться на анимации главных персонажей, оставляя задний план искусственному интеллекту.

Причем, агентом может быть все, что угодно, начиная от орков и заканчивая мухами или космическими кораблями. Движения же агентов могут быть как анимированными вручную, так и взятыми из данных захвата движения. VFX-артист может вмешаться и внести поправки на любом этапе создания сцены.

Разработка получила технический «Оскар» в 2004 году. За последние 20 лет с ее помощью сделано множество удивительных сцен в таких фильмах как «Жизнь Пи» (стаи летящих рыб и поселение на острове), «Аватар» (пространства с растениями, боевые сцены с местной фауной), «Трон: Наследие», «Хранитель времени», «Аквамен», «Человек-муравей и Оса: Квантомания», «Мег: Монстр глубины», «Аватар: Путь воды», трилогии «Планета обезьян», сериалах «Забытые богом», «Игра престолов», «Последние из нас» и многих, многих других.

Однако, сегодня MASSIVE — далеко не единственный инструмент для симуляции толпы. На рынке с десяток разработок, позволяющих делать то же самое с помощью ИИ: Miarmy, Golaem, Populate, Agora, Flame и т.д.

Задач по ротоскопированию в индустрии очень много, и они крайне важны. Этот вид работ в VFX — самый трудоемкий и рутинный, к тому же лишенный каких-либо творческих решений. Хорошо, что в дело вступает ИИ, облегчая и ускоряя труд артистов. Пишут, что именно ИИ позволил отротоскопить персонажа в «Мандалорце» для замены снятого фона во всех кадрах сериала. Да, вы, конечно, слышали про то, что там использовались светодиодные экраны, транслирующие нужные фоны в реальном времени на съемках. Но все оказалось не так просто. Качество этого фона все-таки не подошло для финального изображения, и снятые фоны заменяли на цифровые уже на этапе постпродакшна.

Ротоскоп требуется на разных этапах постпродакшна, не только в VFX, но и в работе колориста для цветокора отдельных элементов изображения. И сегодня существует несколько инструментов, облегчающих и ускоряющих выполнение задач по маскированию. Думается, что эту тяжелую и нудную работу в ближайшее время с удовольствием полностью отдадут машине.

То, что Midjourney используется в концепт-арте — не секрет. Жаль, что она пока не умеет править созданное, а создает абсолютно новую картинку каждый раз. Возможно, для концепт-арта она вполне подходит. Но когда речь идет о движении, то есть, о связке картинок, минимально отличающихся друг от друга, здесь она уже не работает. Но для этого есть другие инструменты.

Во время работы над полнометражным анимационным фильмом «Элементарно» студия Pixar применила ИИ для анимации абстрактных персонажей, сгенерированных из симуляций: огненных, водных и воздушных. В частности огненная героиня Эмбер была сгенерирована процедурно, но аниматорам хотелось стилизовать языки пламени, чтобы она выглядела более «мультяшно» и выражала эмоции. Анимировать все это вручную — задача, почти невыполнимая в рамках отведенного на нее времени. Поэтому студия взяла в партнеры коллег из Цюриха (у студии Disney в Швейцарии есть научно-технический отдел). И те предложили применить нейросеть, разработав NST (volumetric neural style transfer), плагин, позволяющий перенести визуальный стиль изображения на сгенерированную процедурно трехмерную волюметрику. Так производимое в Houdini облако может выглядеть определенным образом, сохраняя непредсказуемость симуляции.

«Мы не использовали ИИ для создания фильма «Элементарно», — утверждает Пол Канюк. — «Мы применили NST для придания формы силуэту персонажа». Он имеет в виду, что это не равноценно утверждению «они использовали ИИ для создания всего мультфильма», ведь ИИ применили для решения конкретной художественной задачи.

Студия Disney использовала ИИ для оживления Салли в анимационном фильме «Университет монстров». Нейросетка изучала мимику лица актера и переносила ее на морду анимационного персонажа. Такие инструменты позволяют адаптировать анимацию к уникальным особенностям лиц вымышленных персонажей, перенося на них всю сложную гамму человеческих эмоций.

Студия Digital Domain использовала свою внутреннюю разработку – ML Cloth для создания главного персонажа фильма «Синий Жук», а также его главного противника. Здесь потребовалась генерация гибкого костюма, появляющегося в 700 шотах. Конечно, у актера был реальный костюм, но его нужно было модифицировать, плюс создать его копию для боевых сцен, в которых актер участвовать не мог.  

Симуляция ткани, особенно, для костюмов супергероев в экшн-сценах — штука сложная: ткань трепещет и цепляется за предметы, ведет себя необычно во время боевых действий или при скоростных полетах. Эти кадры часто требуют доработки анимационного рига или дополнительных симуляций. Чтобы облегчить себе работу студии обучают собственные нейросети, определяющие, как будет вести себя резиновый костюм главного героя в той или иной ситуации, где будут появляться складки, и как он будет реагировать на удары противника.

Интересно, что нейросетка ML Cloth была создана и протестирована для сериала «Женщина Халк: Адвокат», но проект «Синий Жук» был первым, на котором его использовали. Это далеко не единственная ML-разработка студии Digital Domain, но об этом потом.

Следующая трудоемкая задача в VFX, которую может решать ИИ: создание среды для заднего плана в кино и сериалах, причем, не только на общих планах и видах сверху, но и для заполнения хромакейных сегментов в съемочном материале. В кино это называется set extension, в докомпьютерную эру этот вопрос решала дорисовка (мэттпейнт). Сегодня обе задачи можно отдать искусственному интеллекту (под управлением артиста, конечно же).

Студия ILM применяла ИИ для создания фонов еще в «Эпизоде 7: Пробуждение Силы». Нейросетка анализирует существующий съемочный материал (освещение, текстуры и перспективу) и создает на его основе 3D-ассеты для заполнения оставшегося пространства, освещая и текстурируя эти объекты так, чтобы новая часть изображения бесшовно сливалась с отснятым. Подобных инструментов на рынке уже с десяток: Synthesis AI, Runway ML, SpeedTree, NVIDIA Canvas и другие.

Совсем недавно студия Double Negative применила ИИ для создания окружения в анимационном фильме «Нимона». Процедурную генерацию среды для кино используют довольно давно, но сегодня это можно делать быстрее и проще.

Еще одна весьма трудоемкая задача, требующая, однако, не только технических знаний — сборка финальной картинки из созданных ранее элементов. Что включает как съемочные планы (плейты), так и CG элементы, которые нужно в эти плейты вставить. И для этого нудно сделать трекинг. ИИ уже помогает в кеинге (удалении хромакея из съемочных плейтов) и ротоскопинге, но есть и более сложные и нетривиальные задачи. 

Например, на съемках фильма «Аватар: Путь воды» Джеймс Кэмерон использовал нейросетку для чернового 3D-композитинга сцен в реальном времени. Дело в том, что в фильме есть подросток-человек (Спайдер), который все время общается с на`ви. Конечно, он меньше по размеру, поэтому все сцены с ним снимались в двух масштабах: в увеличенном масштабе для Спайдера, и обычном — для персонажей на`ви. Игравший Спайдера актер должен был работать с хромакейными  манекенами и разговаривать с висящим на тросах планшетом, транслирующим записанные ранее лица партнеров по кадру (это тоже инновация «Аватара 2», заменяющая теннисный мячик на палочке). А в мокап-сценах с на`ви его роль отыгрывала актриса-карлица.

Но сцена должна была сложиться правильно вне зависимости от того, что ее снимали двумя частями. Для понимания того, где в рамках сцены находится тот или иной персонаж, кто кого перекрывает, и как далеко герои расположены от камеры и друг от друга, во время съемки на операторские камеры (не забываем, что это честное стерео) крепились еще камеры компьютерного видения, которые считывали карту глубин. Такую систему тестировали еще на фильме «Большой и добрый великан», в котором съемочная девочка в основном взаимодействовала с компьютерными объектами. Тогда эта система не работал в реальном времени из-за нехватки вычислительных мощностей. С тех пор стало возможным генерить карту глубин в реальном времени. Это помогало правильно располагать снимаемых раздельно персонажей в 3D-пространстве сцены, чтобы они могли корректно взаимодействовать (ведь это честное стерео, когда расстояние от камеры до персонажа четко читается). Нейросетка была частью системы глубокого композитинга в реальном времени (real-time depth compositing).

Что касается трекинга, то на рынке есть несколько инструментов, помогающих отследить положение нужных точек в кадре. В том числе в области захвата движения.

И это только часть случаев, когда в визуальных эффектах используется искусственный интеллект. Как видите, ИИ является полезным инструментом, облегчающим монотонный технический труд и ускоряющим работу. Во второй части статьи мы посмотрим на процесс работы с цифровыми людьми, и разберемся, где там deepfake, и каково его место в пространстве VFX.