Обучение генеративной сети под стиль Unfins
Идея проекта
Для обучения генеративной нейросети я решила взять работы Unfins, автора комикса «Вампирская семейка».
Работы Unfins очень выразительны, благодаря совмещению абсурдных ситуаций и жутких лиц героев история наполняется множеством невероятно забавных моментов.
Лица героев Unfins часто пугающие, а потому, по моим предположениям, некоторые «осечки» нейросети не испортят результат, а усилят его.
Примеры исходных изображений:
Результат
Сначала я просила обученную нейросеть генерировать лица людей, как в комиксе Unfins. Я использовала такие промты, как «girl and boy laughing», «girl with flower smiling». Смысл в том, что запрос выглядит обычно и безобидно, а нейросеть создаёт из этого нечто криповое, работая как скример.
Затем я решила поэкспериментировать и создать портреты животных в этом стиле. В итоге совершенно случайно получилась серия по-настоящему жутких зверей.
промт «girl in the forest»
промт «two girls»
промт «two girls laughing in the forest»
промт «boy laughing in front of the other boy»
промт «girls having lunch at school»
промт «girl in a white dress»
промт «boy looking in the mirror»
промт «portrait of a cat smiling»
промт «white rabbit smiling in the forest»
промт «big wolf smiling»
промт «white goat smiling»
промт «black horse smiling»
Можно сделать вывод, что нейросеть смогла отразить следующие особенности стиля Unfins:
- цветовая палитра - выражения лиц персонажей - особенности лайна и штриховки
Хоть нейросеть и не смогла в полной мере отразить исходный стиль Unfins и многие картинки с людьми вышли слишком кривыми, результирующие изображения все равно получились выразительными и своей цели добились: они жуткие, пугающие, и совмещение стиля Unfins с неидеальной работой нейросети эти качества усилили.
Кроме того, этот стиль отлично лёг на портреты животных, что породило неожиданную и удачную серию работ: они схожи с оригиналом, но являются чем-то новым.
Для обучения нейросети я использовала 50 изображений 512×512 пикселей.
Сначала я импортировала необходимые библиотеки, затем загрузила сами изображения во внутреннюю папку гугл колаба.
Затем я сгенерировала подписи к изображениям с помощью BLIP, добавила токен для входа в систему Hugging Face, после чего начала обучение модели.
В конце я загрузила получившуюся модель на Hugging Face и приступила к генерации изображений.
В проекте использовались: - Stable Diffusion - Google Colab - Hugging Face
