Обучение генеративной нейросети под стиль Justine Cunha
О художнице
Justine Cunha это французская художница, автор комикса «In Lya’s eyes» и арт-директор в Dreamworks.
Работая с известным изданием Dupuis, она создает иллюстрации, которые привлекают внимание своим очарованием и глубиной.
Цель проекта
Я вдохновился ее стилем и решил создать, запрограммировать модель нейросети для генерации иллюстраций в ее стиле.
Целью было проверить, считает ли нейросеть ключевые особенности стиля художницы: округлые формы, яркую палитру.
По этому промпту нейросеть рисует только портреты, даже если в промпте их нет (portrait in justinecunha style, new york city, 8k).
Это связано с тем, что на всех изображениях она распознала людей.
Библиотека изображений
Библиотека изображений, взятых с ее социальных сетей и портфолио.
Сгенерированные изображения
ЛОРА: justinecunha_style_LoRA prompt: «portrait in justinecunha style,»
1. portrait in justinecunha style 2. portrait in justinecunha style 3. portrait in justinecunha style, blonde-haired young girl, black background, 8k 4. portrait in justinecunha style, blue-haired woman, 8k, winter
1. portrait in justinecunha style, corean man, blue background, 8k 2. portrait in justinecunha style, corean woman, blue background, 8k
1. portrait in justinecunha style, happy man pirate on the boat 2. portrait in justinecunha style, happy pirate on the boat, 8k
1. portrait in justinecunha style, new york city, 8k
1. portrait in justinecunha style, red-haired man at the street at winter, 8k 2. portrait in justinecunha style, red-haired man, 8k, angry 3. portrait in justinecunha style, red-haired man, angry, 8k
1. portrait in justinecunha style, scared princess at the middle of a sea, 8k 2. portrait in justinecunha style
Библиотека сгенерированных изображений
Библиотека изображений, которые я создал на основе стиля художницы.
Некоторые иллюстрации я генерировал без каких-либо особых пояснений по изображению, ограничиваясь «portrait in justinecunha style», чтобы нейросеть смогла через время выделить главные черты и повсеместно их использовать.
Описание применения генеративной модели
Вся разработка проекта заняла около 3 часов, так как первоначально процесс был произведен в Kaddle, однако из-за проблем с сервисом, решением было перенести все в Google Colab.
Использованная модель: Stable Diffusion XL (SDXL) с дообученной LoRA-адаптацией.
Датасеты для обучения LoRA: Изображения собраны вручную из портфолио с ArtStation Justine Cunha
Сам процесс был настроен на закрепление в модели основных черт художницы в изображениях и их дальнейшее использование в генерациях уже созданных через Google Colab.
Для адаптации генеративной модели к стилю Justine Cunha был создан специализированный набор данных.
Итог
После написания нейросети и ее обучения, я сделал вывод что общие черты стиля она понимает, однако в точности обучить машину копировать стиль весьма трудоемкий и долгий процесс, в том числе в котором от основы (Stable Diffusion) зависит многое.
Основа как может изменить стиль до неузнаваемости, так и привнести много нового, сохранив отличительные черты в первую очередь.
Блокнот
Источник изображений
