Дмитрий Алексеев: «У нейросетей есть база знаний, но без человека они пока что не могут обойтись»

Нейросетевые технологии могут значительно ускорить процесс производства видеоконтента, оптимизируя практически все его этапы — от генерации сценариев до анимации персонажей, от написания музыки до цветокоррекции, от визуальных эффектов до анализа зрительских предпочтений. Для тех, кто хочет освоить самые передовые ИИ-инструменты и научиться их использовать в своём творчестве, в Школе дизайна открыт новый профиль бакалавриата «Искусственный интеллект и видеопродакшн». Мы поговорили с его индустриальным партнёром, режиссёром Дмитрием Алексеевым.

Я несколько лет работал на рекламных роликах, музыкальных клипах, небольших корпоративных видео, но всё для меня изменилось в конце 2022 года, когда я увидел, что нейросети развились до такого уровня, что можно создавать фотореалистичные изображения, которые не отличимы от настоящих фотографий, реальных кадров из фильмов или 3D-графики, сделанной людьми.

Осенью 2022-го я увидел, что вышла новая графическая модель Midjourney V4, и её уровень качества изображения, построение киноизображения был настолько потрясающим, что мне в голову пришла идея: а что, если соединить эти изображения с моими навыками работы в программе After Effects, в которой делаются различные спецэффекты, анимации и прочий постпродакшн, и попробовать из этого сделать фейк-трейлер? Так получилось, что на тот период у меня как раз отменился один проект, я был свободен от работы и придумал сам себе исследование, которому посвятил целый месяц. В течение 30 дней я по 4-6 часов сидел и придумывал, как можно использовать тот визуал, который генерирует нейросеть, как сделать его консистентным, как научиться делать нужные мне кадры. Всё это я исследовал на ходу, а параллельно придумывал идею, историю. Я решил, что это будет какой-то ретро-сайфай-хоррор в стиле американских фантастических фильмов 80-х. И начал, собственно, делать этот трейлер.

Я сам придумал идею, сам сгенерировал все кадры, заанимировал различными способами, какими только мог придумать. Мимику мою получилось при помощи нейросетевого инструмента перенести на статичное изображение. То есть я сыграл всех персонажей, всех озвучил, голос свой менял при помощи нейросетевых инструментов, которые были доступны на тот момент. И так получился мой первый проект House of Dreams. Мне казалось, что к тому времени, когда я его выпущу, все начнут делать подобные трейлеры, но этого не произошло. Когда я выложил свой ролик, он оказался одним из первых в мире, и многих моих знакомых из киноиндустрии он в целом даже напугал немного, потому что это выглядело как что-то непонятное. Местами это было похоже на настоящее красиво снятое кино, местами — на что-то среднее между компьютерной графикой и реалистичным изображением... Но по просмотрам и комментариям этот ролик здорово выстрелил.

А летом 2023 года мне пришла в голову новая идея: что, если соединить воспоминания нашего детства — всех, кто живет на постсоветском пространстве, и эстетику Хаяо Миядзаки, ведь его фильмы в нашей стране плотно ассоциируются с какой-то теплой ностальгией, с детством. Эта идея была навеяна музыкой, которую я нашел — симфоническим кавером на трек из моей юности — «Многоточие», «В жизни так бывает». Но в исполнении симфонического оркестра он звучал как саундтрек из мультика Миядзаки. Я пригласил своего друга Сергея Козлова, талантливого художника, с которым мы дружим много лет, чтобы он смог исправить огрехи и недочёты нейросети своими художественными навыками, добавить какую-то дополнительную анимацию. Так мы начали делать проект про воспоминания из детства в стиле Хаяо Миядзаки.​​​​​​​..

Не совсем! В середине проекта мне поступило предложение от шведской группы Pain, которая известна в России своим суперхитом Shut Your Mouth, когда-то гремевшим из каждого мобильного телефона. Я даже сначала не понял, что это та самая группа: они скромно сообщили, что видели мой первый трейлер и предложили сделать им клип — поскольку, по их словам, мой контент разительно отличался от всего остального, что они видели, им понравилось, что в моих роликах всегда была идея, история, а не просто какой-то сгенерированный безумный визуал. Поэтому им было интересно посотрудничать со мной.

И когда я услышал трек, который они прислали, и трек оказался очень крутым, кинематографичным, я сразу же придумал основную идею клипа — буквально в течение часа после того, как услышал песню. И понял, что с такой идеей — антиутопии про приключения мальчика, из которого пытаются высосать энергию молодости, ну, конечно же, нужно делать аниме. Я решил сделать клип-оммаж на анимационный фильм «Акира». Группа Pain приняла эту идею. И я предложил Сергею максимально быстро доделать ролик «Детство в стиле Миядзаки».

Мы его доделали, выкинули в сеть и начали разработку клипа для Pain. И вдруг через сутки после публикации мне начали писать со всех сторон, я буквально проснулся от вала сообщений и звонков. Оказалось, что мы попали во все каналы-миллионники, во все газеты, даже телеканалы снимали какие-то сюжеты про наш ролик. В общем, проект про тёплое ламповое детство очень сильно выстрелил. Хотя мы вообще ничего от него не ожидали, а просто кайфовали от того, что можно сделать какое-то такое визуальное воспоминание, слепок детства...  Потом мы так же вдвоём с Сергеем Козловым сделали и выпустили клип для Pain, который тоже оказался довольно революционным, потом работали над буктрейлером «Ур Торум» — уже с целой командой 2D-аниматоров...

Сначала Вадим Булгаков, с которым мы знакомы довольно давно, пригласил меня поучаствовать в круглом столе об использовании ИИ в видео. А потом рассказал о новом направлении, открывающемся в Школе дизайна — «Искусственный интеллект и видеопродакшн». И мне, как человеку, который плотно работает с нейросетями, разрабатывает новые подходы, методологии, показалось интересным то, чему и как Школа дизайна планирует учить ребят. Техническая информация зачастую лежит на поверхности, базовым навыкам работы с нейросетями можно бесплатно научиться на YouTube, но проблема в том, что это не даёт комплексных знаний — в области режиссуры, сценарных историй, арт-дирекшна. Красивых картинок сейчас переизбыток, а вот создавать по-настоящему крутые, уникальные проекты могут немногие. Как раз этому Школа дизайна и собирается учить, насколько я понимаю.

Я уже отчасти ответил на этот вопрос. Очень важно иметь комплексные знания при создании творческих, нарративных проектов, потому что чем больше развиваются нейросети, тем меньше будет дробления на различные департаменты и позиции при производстве проектов. И, на мой взгляд, самыми востребованными будут позиции авторов идей, которые могут сами, максимально быстро и качественно, их реализовывать при помощи нейросетевых инструментов. Работа с нейросетями позволит более регулярно (что очень важно для нынешнего времени!) производить высококачественный контент и больше заниматься непосредственно творческими процессами — продумыванием разных нюансов, аспектов и доведением проектов до ума.

У нейросетей есть база знаний, но без человека они пока что не могут обойтись — потому что мы эмоциональные существа, мы более тонко чувствуем, и ещё есть такой очень важный нюанс, как контекст. Это как с чувством юмора, которое даже многим людям недоступно, не то что машинам. Нейросети прекрасно воспроизводят различные элементы человеческой культуры, например, аудиовизуальные произведения, но контекстуальные взаимосвязи до сих пор не считывают.

Даже если говорить о художниках, которых якобы уже заменяет нейросети, то всё равно для меня работа художника — это не просто процесс рисования, это человек, который продумывает тонкие детали, нюансы, которые подходят определенному герою в определенных обстоятельствах в определенную эпоху и так далее. Это то, что отличает творца-человека от нейросети.

Нейросети иногда добавляют очень неожиданные и интересные детали, что позволяет посмотреть на предмет под другим углом, но опять же — под другим углом будет смотреть человек, и конечный результат зависит от его насмотренности: заметит ли он эти нюансы или нет? Ведь кто-то может увидеть в этом всего лишь ошибку бездушной машины, а кто-то — разглядеть новый творческий потенциал.

Лично я — не боюсь, потому что для меня нейросети — это как когда-то для художников фотоаппараты или для кинооператоров, которые снимали на пленку, цифровые камеры. Всегда резкие перемены вызывают отторжение и даже страх, но потом со временем приходит принятие. И понимание, что новые технологии только расширяют возможности для творчества.

Ну и, повторюсь, я не уверен, что в ближайшие годы ИИ сможет полностью заменить человека. Для того, чтобы понять все тонкости и нюансы человеческого мышления — я не знаю, каким должен быть искусственный интеллект. И будут ли подобные модели доступны нам, обычным пользователям.

На мой взгляд, это откровенное воровство чужих работ, конечно же. Хотя люди, кстати, этим злоупотребляют намного чаще, чем нейросети. Я знаю немало ситуаций, когда люди просто нагло воровали, чуть-чуть видоизменяя чужие работы и выдавая за своё оригинальное творчество, и вот это, конечно, история не очень... А когда художники выражают недовольство тем, что их работы берут для обучения нейросетей, потому что якобы потом кто-то будет использовать их творческие методы при генерации артов — для меня это странно. Многие авторы вдохновляются чужими произведениями и начинают свой путь с некоторого подражательства, подмешивая в свои работы какие-то приёмы других художников. Но на выходе у них получается всё равно что-то новое, отчасти напоминающее, но не являющееся копированием того, что они использовали. Что уж говорить про диффузионные модели, которые смешивают тысячи и миллионы работ художников, на которых их обучали... А так, в целом, каких-то границ при использовании видеопродакшна я не вижу. Этот вопрос лежит, скорее, в моральной плоскости. Что не стоит делать вообще, то не стоит делать и в видеопродакшне.

С этого начался наш разговор, и тремя проектами, о которых я рассказывал в его начале, я точно горжусь, потому что каждый из них повышал планку — после того, как на предыдущем проекте казалось, что повысить планку уже некуда. Очень люблю наш ролик «Детство в стиле Миядзаки» — потому что он подарил просто огромному количеству людей теплейшие воспоминания. А ведь основная задача любого творческого контента — это вызвать у людей эмоции. Что говорить — уже год с нашего релиза прошёл, уже даже студия Ghibli кинула страйк на наш ролик на YouTube, и его оттуда удалили, но до сих пор нам приходят какие-то отзывы, комментарии, даже кто-то писал письма мне на почту со словами благодарности — о том, как смотрел ролик, вспоминал своё детство... Это, конечно, безумно приятно! «Пейном» я тоже горжусь, потому что мы вдвоём с Сергеем сделали, можно сказать, анимационную короткометражку со своим миром и сюжетом буквально за два с половиной месяца! 

Ну и «Ур Торумом» последним горжусь — потому что у нас получилось создать потрясающую историю, промоутирующую повесть писательницы Крис Велрайт. Она сама обратилась к нам с предложением экранизировать повесть, хотя бы какой-то отрывок из неё. А я предложил сделать целый сюжетный трейлер, потому что мне безумно понравилась эта история, и я надеюсь, что когда-нибудь она воплотится в виде полноценного анимационного фильма или сериала.

А сейчас я занят разработкой большого анимационного нарративного проекта. Который, если всё сложится, станет уникальным прецедентом, когда нейросетевые технологии позволили запустить проект взрослой анимации. Сейчас в России взрослая анимация не очень актуальна — ввиду того, что это очень долго и дорого производить, а аудитория не такая широкая, как у детской или семейной анимации. А я всей душой люблю крутые анимационные проекты для взрослых, где рассказываются глубокие, драматичные, эмоциональные истории. Но так как я сам не аниматор, я раньше никогда не думал, чтобы самому делать анимацию, а сейчас вот уже несколько проектов за плечами в этом жанре, и я планирую только наращивать обороты — в том числе, используя возможности искусственного интеллекта.

Несмотря на всю реалистичность нынешних видеомоделей, которые позволяют создать иллюзию того, что это действительно живые люди, что это настоящее кино, всё равно там до сих пор присутствует «эффект зловещей долины». Когда что-то странное происходит с лицами, с мимикой... Я уверен, что со временем это исправится, но всё равно вижу гораздо больший потенциал в том, чтобы с помощью ИИ создавать интересные, атмосферные, фактурные, выдуманные анимационные миры. И любые ограничения превращать в художественную форму. Сейчас я вижу очень перспективную технологию, которую представила миру компания Adobe — когда прямо внутри их видеоредактора зашиты нейросети. Они могут расширять видеоклипы, дорисовывая кадры нейросетевым способом на основе отснятого материала. Это очень интересная, на мой взгляд, технология. И просто мечта всех продюсеров, потому что если ты не смог в заданные сроки за имещийся бюджет отснять необходимый материал, недостающие кадры можно будет дорисовать  нейросетями. И так, что никто этого не заметит! Это, конечно, очень сильно поможет кинематографу, потому что часто потенциально хорошие проекты страдают от различных производственных ограничений. И я считаю, что это очень круто.

Научиться делать крутое видео с использованием нейросетей можно, поступив в Школу дизайна НИУ ВШЭ на новый профиль «Искусственный интеллект и видеопродакшн». Хотите узнать, как это сделать? Приходите на День открытых дверей бакалавриата 22 марта! Вход — строго по регистрации.