Эволюция цифрового воскрешения актеров кино

Фантазия о цифровом бессмертии, о возможности возвращать на экране актеров прошлого уже не первое десятилетие преследует кинематографистов и специалистов по спецэффектам. Так новые строчки в фильмографии неожиданно добавляются у Марлона Брандо и Лоуренса Оливье, появляются анонсы новой картины со звездой 50-х Джеймсом Дином, а крупные франшизы все чаще подменяют реальных актеров виртуальными двойниками. Надежда Маркалова рассказывает о технологиях кинематографического воскрешения — от монтажа и цифрового композитинга до современных нейросетей.

Мы живем в поистине удивительное время! На экраны можно вернуть практически любого кумира прошлого, а современным киноартистам уготована почти вечная жизнь в искусстве. Особенно, если позаботиться об этом заранее. Конечно, не все на такое согласны. Например, Робин Уильямс в своем завещании запретил использовать собственный образ после смерти. Так что новых персонажей с его лицом мы не увидим.

Несомненно, в ближайшее время нас ждет множество дискуссий на тему этичности такого подхода. Но, кажется, что родственники почивших звезд с удовольствием превратят усопшего предка в курицу, несущую золотые яйца, если на то будет спрос аудитории. Все-таки мертвые сраму не имут, а деньги не пахнут.

Раньше, если актер неожиданно уходил из жизни во время съемок, самому фильму тоже грозила смерть. Студия предпочитала похоронить проект и взять страховые, чем решать логистическую и техническую задачу за дополнительные деньги. И творческая группа не всегда способна этому решению противостоять. В зависимости от того на каком этапе съемок случилось несчастье и сколько сцен оставалось снять ушедшему, решался вопрос о завершении работы. В истории современного кино такие случаи известны.

Вспомним Хита Леджера, который успел отсняться во всех сегментах фильмах «Воображариум доктора Парнаса» Терри Гиллиама, разворачивающихся в нашей реальности, но не закончил съемки других эпизодов. Поэтому Гиллиам взял трех других актеров для воплощения образа этого же персонажа в трех других мирах. Получалось так, что после перехода сквозь зеркало персонаж менялся внешне. Этот умный ход спас проект от смерти.

В свое время Дугласу Трамбуллу оказалось гораздо сложнее убедить продюсеров не уничтожать «Мозговой штурм», после гибели Натали Вуд. В этом фильме других миров не было. Актриса успела отснять почти все свои сцены, и режиссер мог переписать оставшиеся так, чтобы персонажа Натали Вуд в них не было. Но на борьбу со студией ушло некоторое время.

А вот последний фильм Ривера Феникса «Дурная кровь» зритель никогда не увидит. Актер умер от передозировки наркотиками в 1993 году, не успев закончить картину. Режиссер проекта попросту украл пленку с фильмом со студии и хранил ее в своей банковской ячейке. Но показывать ее он, конечно, не мог. Только в 2012 году страховая разрешила Джорджу Слёйзеру хоть как-то работать с отснятым материалом. Нам удалось посмотреть ленту на Московском международном кинофестивале в 2013 году. Фильму не хватает каких-то 15-20 минут, и сегодня картину можно было бы закончить. Но семья Ривера Феникса против цифрового воскрешения.

Одним из первых актеров, кого «воскресили» на экране, был Брюс Ли. Но компьютерной графики в тот момент еще не было, во всяком случае в том понимании, что есть у нас сегодня. Тогда, в 1973 году, кинематографисты использовали зеркало и фотовырезки, чтобы «сгенерировать» нужные кадры и дополнить историю диалогом. Выглядело это смешно.

Для каких-то сцен взяли другого актера, а крупные планы Ли нарезали из его предыдущего фильма, как здесь.

Дальнейшее удешевление такого рода работы позволило использовать умерших актеров для проектов, в которых их участие не было вызвано необходимостью спасти картину. Например, появление Лоренса Оливье в фильме «Небесный капитан и мир будущего» было вызвано всего лишь желанием Джуда Лоу сыграть с этим легендарным артистом в одном кадре. Кинематографисты взяли имеющиеся в архивах кадры с актером (это было телеинтервью для BBC) и сделали из них крупный план, сложив артикуляцию лица в новую комбинацию. Впрочем, если показать почившего актера сверхкрупным планом, даже артикуляция может не потребоваться.

Чуть сложнее обстояло дело с Марлоном Брандо, умершим за восемь месяцев до начала съемок фильма «Возвращение Супермена». Режиссер Брайан Сингер хотел, чтобы действие его картины разворачивалось в той же вселенной что и классические фильмы о Супермене, поэтому ему понадобился тот же Джор-Эл, отец Супермена. Джор-Эл общается с сыном посредством предзаписанной голограммы, хранящейся в Крепости одиночества.

Работу облегчил тот факт, что у студии в архивах остался спецэффектный материал, созданный для первого фильма о Супермене 1978 года. Тогда для голограммы Брандо снимали на фоне черного бархата и в черной же одежде, чтобы получить кадр с головой, отделенной от окружения. Этот материал и стал основой для новых кадров. Сначала кинематографисты выбрали нужное выражение лица, потом создали трехмерную форму для головы, спроецировав на нее нужные кадры. Трехмерная форма позволила изменить артикуляцию губ для нового монолога.

Но только компьютерная графика сегодняшнего дня дала кинематографистам полную свободу в воссоздании почивших любимцев публики. Технологически ситуация упрощается тем, что перед каждым экшн-проектом всех участников съемочной группы обязательно сканируют в 3d в светоустановке Lightstage. Так получают точную трехмерную голову каждого актера, чтобы позже использовать ее для замены головы дублера или создания цифровой версии этого дублера (digital double) для особо опасных трюков. Поэтому в случае с Полом Уокером у кинематографистов был цифровой портрет, с помощью которого они могли завершить картину. Для этой работы продюсеры попросили помощи у братьев Уокера Коди и Калеба. Один из них похож на Пола пропорциями тела, а другой лицом, поэтому их комбинировали в зависимости от задач в каждом кадре. Кроме того, их сканировали для получения текстуры кожи высокого разрешения и понимания того, как эта кожа взаимодействует со светом разной цветовой температуры.

Всего в фильме 260 кадров с цифровым Полом Уокером. Это стало очень сложной задачей для студии WETA Digital. Проект заставил кинематографистов технологически проработать идею цифрового воскрешения артистов экрана и несомненно помог дальнейшим «воскрешениям» студии WETA. Сегодня такую же технологию используют и для омолаживания экранных персонажей.

Сегодня омолаживание и воскрешение отличаются только тем, что в первом случае свою роль отыгрывает актер, исполняющий ее в своем реальном возрасте.

Буквально год спустя после Пола Уокера на экранах появился Питер Кушинг — в фильме, который теоретически мог бы обойтись и без воскрешения — «Изгой-один: Звездные войны. Истории». Здесь уже не требовалось спасать проект, и появление в нем британского артиста, умершего еще в 1994 году, было всего лишь художественным решением и желанием создателей картины связать этот более поздний проект с оригинальным фильмом 1977 года («Звёздные войны IV: Новая надежда»).

Скан лица Кушинга был сделан по его слепку 1984 года, отлитому для создания пластического грима комедии «Совершенно секретно», так получили его цифровой портрет. Судя по всему, в кадрах с цифровым Полом Уокером, персонаж не говорил, а точки на лице дублера были нужны только для синхронизации движения цифровой головы с телом. Но Таркин должен был говорить. Эту роль на площадке сыграл британский актер Гай Хенри, имевший тот же типаж внешности, что и Кушинг.

Как это работает? На лице актера рисуют маркеры, а камеры на его шлеме снимают эти маркеры, захватывая их движение (motion capture). Потом эти маркеры переносят на цифровое лицо актера, и их движение передается новому образу. Но все не так просто. Сначала движение маркеров анализирует компьютер, который фильтрует погрешности захвата. Однако, вместе с погрешностями компьютер может отфильтровать микродвижения, которые сделал актер. Поэтому маркеры переносят на цифровой скан лица самого Гая Хенри. Это делается для того, чтобы убедиться, что данные захвата верны. Аниматор смотрит на игру реального актера и результат переноса. После чего он правит неточности захвата и фильтрации. И только после этого данные переносят на цифровое лицо Питера Кушинга.

Да, для создания артикуляции актера (в этом случае — Гая Хенри) снова сканируют. Но уже в другой установке — Medusa, где актер отыгрывает стандартные мимические позы. Это крайние выражения эмоций (гнев, радость, страх и тд), а также все артикуляционные положения (гласные и согласные звуки).

После чего эти формы используются для генерации движения цифрового лица. Компьютер просто заставляет записанные ранее формы «перетекать» из одной в другую для оживления персонажа, а управляют этими перетеканиями пермещения маркеров.

На создании Кушинга команда ILM применила свою технологическую находку — SnapSolver. Две независимые команды ILM, работавшие на фантастических боевиках «Черепашки-ниндзя» и «Варкрафт», открыли одну особенность. Дело в том, что стандартные мимические позы делаются в студийных условиях: человек сидит в световой установке и отыгрывает разные выражения лица. Но играть в мокап шлеме он будет совсем в иных обстоятельствах. Актер будет бегать, прыгать, двигаться и активно взаимодействовать со средой: ветром, дождем, и даже, возможно, драться с противником. А значит его мимика будет немного иной, пусть совсем на доли миллиметра, но это повлияет на убедительность. Команды объединили усилия, чтобы разработать систему, позволявшую переносить нюансы актерской игры с данных мокапа на стандартные позы, которые используются для генерации артикуляции. Потому что именно живая игра должна главенствовать в создании цифровых персонажей. Это открытие получило «технический» «Оскар», который киноакадемия вручает не за участие в отдельном проекте, а за вклад в индустрию в целом.

Но вернемся к воскрешению Питера Кушинга. Таркину в «Изгое-один» не пришлось бегать и прыгать. Однако, SnapSolver на нем все-таки использовали. Но это тоже не помогло. Как показывает видео ниже, аниматоры снова дорабатывали анимацию цифрового лица по референсам игры Питера Кушинга, собранным из других его проектов. Потому что, несмотря на одинаковую анатомию, мышцы каждого лица работают по-своему, уникально, поэтому захват мимики другого человека может вовсе не передавать мимику другого, хорошо известного артиста. И поэтому Таркин в новом фильме не совсем похож. И это только одна проблема работы с виртуальным воскрешением.

Вторая проблема в том, что в фильме «Изгой-один: Звездные войны. Истории» совсем другое освещение, да и динамика операторской работы сильно отличается от таковой в классической картине Джорджа Лукаса. Поэтому Таркин выглядит не таким, каким мы видели его в «Новой надежде». Ведь восприятие изображения, ко всему прочему, штука субъективная.

Теоретически, с помощью цифровой головы и технологии захвата движения сегодня можно воскресить практически любого артиста для любого проекта.

Но есть проекты, где эта технология не подходит по каким-то совсем другим причинам. Например, когда Кэрри Фишер, игравшая в «Звездных войнах» принцессу Лейю, скончалась, не успев сняться в третьем фильме новой трилогии, кинематографисты отказались от идеи воскрешать ее в виде цифровой головы. Вместо этого было решено «вырезать» ее лицо из существующего отснятого материала и создать для этого лица новую прическу с одеждой (фактически, это возвращение к первым опытам, где были использованы только съемочные элементы актера). Таким образом кинематографисты перенесли уже существующую игру Кэрри Фишер в новый фильм, одев принцессу иначе и поместив ее в другой антураж.

В нашем кино тоже есть подобные примеры. На проекте «СуперБобровы: Народные мстители» отечественным студиям пришлось воскрешать Владимира Толоконникова. У создателей фильма не было описанных выше технологий, ведь они требуют немалых вложений и времени разработки, и являются объектами авторского права. Поэтому артиста «оживляли» вручную. С помощью цифрового скульптора и аниматора. Скульптор «вылепил» цифровой портрет артиста в программе ZBrush, а потом эту скульптуру анимировали. Технология захвата мимики здесь не применялась. Владимир Толоконников очень талантливый актер, чья игра значительно варьируется в зависимости от роли. Поэтому решение об «игре» цифрового Толоконникова принималось коллегиально. Если команда решала, что Толоконников в принципе мог так сыграть, эту анимацию утверждали. Если вы посмотрите фильм, то увидите, что его показывают мало, а когда показывают, он старается прятаться за козырьком кепки или другими предметами. А в финале его вообще нет — он меняется суперспособностью с другой героиней и становится невидимым.

Да, до сих пор не было сказано ни слова про deepfake. Все дело в том, что эту технологию до последнего времени нигде и не применяли. Ведь метод ненадежен. Во-первых, он выдает непрогнозируемый результат, а во-вторых, изначальное лицо должно быть очень похоже на то, которое нужно создать, что не всегда можно обеспечить. Но мы видели множество видео на youtube, где влогеры с помощью deepfake творили настоящие чудеса. Как же они это делали? Просто производили процедуру deepfake замены «до победного», пока хоть какой-то фрагмент не получался здорово. Только тогда этот ролик выкладывали на всеобщее обозрение. По сути, это метод «для бедных», очень терпеливых «бедных». И только сейчас кинематографисты пытаются укротить технологию deepfake для своих нужд. Ее использовали на проекте «Главный герой» (для создания пары кадров с говорящим Ченнингом Татумом; в оригинальном материале он не говорил) и на сериале «Книга Бобы Фетта» (для создания молодого Люка Скайуокера). Но во втором случае это было только частью финального результата, его также дополнительно дорабатывали на этапе композитинга.

Российские кинематографисты воспользовались технологией deepfake для воскрешения Владислава Галкина для сериала «Диверсант». Эти кадры не лишены недостатков, но, в общем и целом, работают неплохо. Ведь проблемы скрываются движением камеры и объектов в кадре. Вы просто не успеваете их рассмотреть или подумать о том, что не так.

В 2019 году компания Worldwide XR, владеющая правами на образы 400+ знаменитостей из сфер кино, музыки и спорта, решила инициировать проект с участием цифрового Джеймса Дина (судя по всему, это самая большая знаменитость в пакете, поэтому начали именно с него). Как мы видели выше, оживление актеров прошлого — не новая идея в кинематографе. Вопрос в том, каким образом это планировалось сделать в данном случае. Создатели собирались собрать максимальное количество съемочного материала с участием Джеймса Дина. И хотя он сыграл крупные роли всего в трех фильмах, но до этого были телепроекты и множество интервью. После планировалось этот материал нарезать на части (лоб, глаза, рот и т.д.), чтобы все это можно было комбинировать, «скормить» этот материал нейросети вместе со сценарием.

Именно нейросеть должна была подобрать из этого весьма объемного набора заготовок эмоции, подходящие к тому или иному фрагменту сценария, создав таким образом игру актера в каждом нужном случае. После чего канадская студия Image Engine должна была создать цифровую голову Дина по его фото (возможно, где-то есть и слепок с актера, сделанный для фильма «Гигант», где ему накладывали возрастной пластический грим) и воссоздать на этой цифровой голове выбранные ИИ эмоции артиста. После чего голову бы осветили нужным образом, чтобы вписать ее в среду фильма, и отрендерили, получив фотореалистичное изображение. Так в результате создатели планировали отказаться от участия «промежуточного» актера для захвата движения в генерации нового персонажа в лицом Джеймса Дина. В PR материалах проекта говорилось о том, чтобы сохранить гениальную игру артиста, а не пользоваться игрой кого-то еще.

На вопрос, почему кинематографисты не могут найти подходящего для этой роли артиста из ныне живущих, они заявили, что их драматургический материал требует ни много ни мало именно Джеймса Дина. И никто из ныне живущих молодых артистов не справится с данной задачей. Картина называется «В поисках Джека» и повествует о приключения парня с собакой во время войны во Вьетнаме. Но Джеймсу Дину при этом была отпущена роль второго плана (надо думать, главная роль уготована собаке). Фильм планировали выпустить в прокат еще в 2020 году, но он пока так и не сделан, хотя о начале подготовительного периода было громко объявлено. Пока не известно, почему проект так задержался на своем пути к экрану. Было ли это вызвано неожиданными техническими сложностями, или все-таки создатели обдумали гнилые помидоры, прилетевшие в них со стороны актерской братии, и от проекта просто отказались? На сегодняшний день проекта не существует, хотя, по словам создателей, на момент объявления о начале работы они уже сделали весьма удачные тесты. На сегодняшний день фильм из базы данных IMDB.com тихо исчез, и, скорее всего, света так и не увидит.

Конечно же, юристам еще предстоит разработать законы, регулирующие подобные случаи, а философам найти баланс в вопросах этики: когда это можно делать, а когда уж нельзя, и где грань, за которой стоит остановиться?