Обучение генеративной модели под стиль Art Nouveau
Концепция
На данный момент я работаю над коммерческим проектом и разрабатываю метафорические карты. Заказчик обратился ко мне с запросом разработать дизайн карт, вдохновлённый эстетикой Ар-нуво, так как этот стиль богат символами и метафорами, его воздушность, орнаменты и разнообразие декоративных форм идеально подходят для создания атмосферы, способствующей глубокому самоанализу. Поэтому я решила обучить генеративную модель под этот стиль, чтобы создать серию изображений в данной эстетике для своего проекта.
Создание датасета
Пример изображений для обучения модели под стиль Ар-нуво
Датасет состоит из 40 изображений. Изображения отбирались по принципу характерных черт стиля. Я старалась сохранить общую стилистику, чтобы нейросети было проще проходить обучение и результат также выглядел консистентным.
Процесс обучения
Для обучения модели я использовала среду Google Colab, Stable Diffusion XL, DreamBooth и LoRA. С помощью DreamBooth я добавила стиль с названием Art Nouveau.
На подготовительном этапе была проведена проверка GPU, а также установлены необходимые для обучения модели библиотеки и скрипты.
Далее я создала директорий для хранения изображений, которые затем были выгружены на платформу.
Для обучения были использованы изображения в формате 1:1, максимальное количество шагов — 500 с чекпоинтом в 250 шагов, разрешение — 512.
Всего обучение заняло около 40 минут. После этого я приступила к генерации изображений.
Результат
Я сгенерировала три серии изображений: с предметами, с животными и с персонажами.
Промпты: — an old book next to which lie pomegranates and flowers pastel colors floral ornaments on background by Art Nouveau style — a lock without a key with flowers sticking out of the keyhole pastel colors floral ornaments on background by Art Nouveau style — antique mysterious gothic style castle at night in fog against the backdrop of stars, there are harmonious combination of intricate patterns, elegant lines pastel colors pictures by Art Nouveau style
Нейросеть попыталась воспроизвести изображения в стиле Ар-нуво. Получились очень нежные, воздушные иллюстрации, можно увидеть характерные элементы этого стиля: орнаменты, завитки и цветочные мотивы.
Промпты: — lonely swan on a lake with a four-pointed star and a moon in the background pastel cold colors pictures by Art Nouveau style — a snake against the background of a round flower arch in the corners of the painting four large peony buds soft cold blue colors picture by Art Nouveau style — red fox with a voluminous fluffy tail with curls and harmonious combination of intricate patterns, elegant lines pastel colors pictures by Art Nouveau style — a red mysterious sinister dragon that guards the treasure chest pastel colors pictures by Art Nouveau style
Промпты: — miniature bird in flower garden with round arch a background with large peony buds in the corners of the painting picture by Art Nouveau style — horse with wings against the background of a round flower arch in the corners of the painting four large peony buds soft cold blue colors picture by Art Nouveau style — a dark crow with an antique scroll in its beak pastel colors pictures by Art Nouveau style
Серия с животными получилась ещё лучше — здесь можно увидеть больше характерных элементов стиля, добавились арки, узоры стали более крупными и чёткими, а объекты стали более детализированными.
Промпты: — young woman against a round arch background with large peony buds in the corners of the painting picture by Art Nouveau style — a wise old man in a robe with a lantern and a cane picture by Art Nouveau style — couple of young lovers in a floral round arch background with large rose buds in the corners of the picture warm pleasant colors picture by Art Nouveau style
Лучше всего получилась серия с персонажами, так как в датасете для обучения большую часть составляли изображения с людьми. Но на мой взгляд, в предыдущих сериях нейросеть также со своей задачей справилась.
К сожалению, на некоторых изображениях с людьми нейросети не удалось верно отобразить кисти рук.
Промпты: — emperor sitting on throne with crown against round arch background with floral ornament in the corners of the painting picture by Art Nouveau style — young woman sitting on throne with flower crown against round arch background with large peony buds in the corners of the painting picture by Art Nouveau style — man sitting on throne with crown against round arch background with floral ornament in the corners of the painting picture by Art Nouveau style — a young man on a horse with short curly hair in beautiful armor floral motifs pastel dark blue background pictures by Art Nouveau style
К моему удивлению, нейросеть хорошо изобразила персонажей мужского пола, несмотря на отсутствие подобных картинок в датасете для обучения.
Промпты: — young woman swith flower crown against round arch background with large peony buds in the corners of the painting picture by Art Nouveau style — young woman with an elegant jug against a round arch background with large peony buds in the corners of the painting picture by Art Nouveau style — young guy playing the flute against a round arch background with large peony buds in the corners of the painting picture by Art Nouveau style
Вывод
Мне удалось обучить нейросеть подражать эстетике Ар-нуво, большинство полученных изображений очень близки к исходным. У меня получилось несколько серий иллюстраций в едином стиле и цветовой гамме.
Нейросеть смогла обучиться всем характерным чертам стиля: воздушность, нежные и женственные образы, гармоничная композиция, пастельные цвета, мягкие и изящные черты лиц, сложные орнаменты и цветочные мотивы, арки. Stable Diffusion показала хорошие результаты в работе со стилем как с персонажами, так и с предметами, с животными.
У нейросети плохо получилось изобразить кисти рук персонажей, но думаю, что это возможно исправить последующей обработкой.
На мой взгляд, цель выполнена и данную серию изображений можно использовать для моего проекта в дальнейшем.
Описание применения генеративной модели
Модель для до-обучения и создания изображений — Stable Diffusion Составление промптов — DeepSeek Chat
