Обучение генеративной нейросети — SCHIELE
Идея проекта
Эгон Шиле, «Девушка на коленях, опирающаяся на оба локтя», 1917 / «Обнимающаяся пара » 1917
Я не поддерживаю тренировку искусственного генеративного интеллекта на основе художников и художниц, которые против этого, и считаю это неэтичным. Поэтому я предпочла тренировать модель на том, чьи мои действия никак не затронут ни морально, ни действительно. В качестве базы изображений для обучения я собрала работы Эгона Шиле, так как нахожу его работы очень экспрессивными.
Эгон Шиле, «Автопортрет с физалисом», 1912 / «Портрет Валли», 1912
Сейчас начало весны и мне хотелось сосредоточиться на приятном чувстве, которое принесло за собой тепло. Поэтому серию мне захотелось посвятить маленьким ежедневным вещам, которые приносят счастье, ярким цветам, любви и взаимоотношению людей.
Обучение модели
После того, как были загружены все нужные библиотеки, я создала директорию, в которую добавила свою базу данных — а именно 74 картины Эгона Шиле.
Дальше шел этап обработки изображений и добавления к ним небольших описывающих подписей. После чего я проверила, что все мои данные правильно сохранились и отображаются
Самый важный и долгий этап являлся тренировкой модели. В общем счете обработка всех изображений заняло у меня более часа. После того как модель была создана, её оставалось только сохранить и запустить.
В конце я проверила, что получившаяся модель была рабочая. После небольших изменений во влиянии модели и Stable Diffusion на результат, я наконец-то приступила к написанию промптов.
Серия итоговых изображений обученной модели
Ежедневность. Изображения, сгенерированные обученной моделью.
1. Промпт: «person sitting under the tree» 2. Промпт: «two people on a date»
Что может быть приятней в простом дне, чем хорошая погода на улице и время с человеком, которого ты любишь? Эти два изображения посвящены ежедневности и его счастью.
Несмотря на то, что картины из базы данных содержали в себе в основном исключительно изображения людей, нейросети в целом удается повторить стилистические приемы для передачи окружающих предметов. При этом у нее получается это ни без изъяна: так, детали на дереве выглядят очень случайными и запутанными, что создает неприятное ощущение.
Объятья. Изображения, сгенерированные обученной моделью.
1. Промпт: «two people hugging» 2. Промпт: «mother with a child in her hands»
Любовь бывает разной: родительская, романическая, дружеская, семейная. При этом она является не менее важной и значимой для нас. Следующие четыре промпта акцентируются на взаимоотношениях между людьми.
Чисто людей, особенно обнаженных, у получившейся модели получается рисовать лучше всего. При этом на оригинальных картинах Шиле куда более активно задействует различные цвета в качестве подложки и акцентов, нейросеть же отдает предпочтение желтым и теплым оттенкам, почти что не используя цветовое разнообразие. Хочется также отметить, что огромное значение художник отдавал передаче эмоций и жизни лицам своих моделей, на сгенерированных изображениях люди выглядят больше безэмоционально или же в какой-то степени испугано.
Поцелуй. Изображения, сгенерированные обученной моделью.
Сон. Изображения, сгенерированные обученной моделью.
3-4. Промпт: «two people kissing» 5-6. Промпт: «two people sleeping»
По какой-то причине у модели оказалась проблема с пониманием количества людей, которое нужно изобразить. Так очень частой ошибкой становилось добавление лишнего человека, который при этом растет изнутри другого, что создает странное несколькоголовое существо.
Питомцы. Изображения, сгенерированные обученной моделью.
Любимое дело. Изображения, сгенерированные обученной моделью.
1. Промпт: «cat sleeping on a bed» 2. Промпт: «dog lying on a couch» 3. Промпт: «a man riding a bicycle» 4. Промпт: «girl playing chess»
Конечно любовь и счастье распространяется не только на людей. У нас есть наши дорогие домашние животные, и хобби, которые поднимают настроение в даже самый тяжелый день
С объектами и предметами у нейросети получается справляться куда лучше чем с животными. Если кот получился более менее правдоподобный с первого раза, то собаку мне пришлось переделывать несколько раз. Изображение же с велосипедом лучше всего отображает насколько сильно у нейросети отсутствует понимание линии и её стабильности.
Девушка в красном. Изображения, сгенерированные обученной моделью.
1. Промпт: «girl in red dress sitting» 2. Промпт: «woman lying with red scarf» 3. Промпт: «a woman in a beautifull dress with stripes» 4. Промпт: «a woman in a beautifull dress»
Самым частым объектом, что рисовал Шиле, являются девушки. В проекте мне хотелось передать также и то, что любил сам художник, что приносило ему счастье. Поэтому часть промптов посвящена именно женщинам и их красоте.
Девушка в платье. Изображения, сгенерированные обученной моделью.
1. Промпт: «Kneeling Girl, Resting on Both Elbows» 2. Промпт: «Pair embracing»
В конце ради интереса мне захотелось немного отойти от темы проекта и попробовать в качестве промптов предоставить названия картин, которые были представлены в начале презентации. В конце концов я только убедилась, что нейросеть даже близко не может передать чувства, которые создает человек, художник.
Картины. Изображения, сгенерированные обученной моделью.
Вывод
Модель способна повторить какие-то элементы и художественные приемы, которые использовал Шиле. Однако она не способна заменить самого автора, так как ей не хватает оригинальности, экспрессивности и эмоциональности.
