Нейросеть для создания изображений в стиле witch house
Описание проекта
Визуальная эстетика witch-house известна своей особой мрачной атмосферой, которая безусловно отражает сам музыкальный жанр. Такие группы, как SALEM, Crystal Castles, oOoOO, Crim3s являются представителями данного жанра. Считается, что во всей совокупности витч-хаус несёт в себе нигилистические, деструктивные и «мрачные» настроения, неотъемлемой частью которых являются дух упадка, депрессии и меланхолии, «размышления о смерти и бессмысленности бытия». Однако, оккультные элементы этого жанра используются скорее как эстетическая эксплуатация: для провокации и подчёркивания общей «мрачности» музыкального жанра. Это хорошо прослеживается в визуальной эстетике, присущей витч-хаусу и его почитателям.
Визуальная составляющая мистических, пугающих лиминальных пространств породила целую эстетику, на которой построилась и субкультура витч-хауса. Также атмосфера данного жанра дополняется использованием аналоговых фотографий, глитч и VHS эффектов. Психоделические видео, нецензурные, выходящие за всякие рамки фотографии, тоже являются объектом визуализации эстетики жанра witch house. За основной референс я взяла эстетику лиминальных пространств, мрачных и жутких лесов, чему в основном и обучала ИИ.
Я решила воссоздать этот стиль с помощью нейросети, чтобы автоматизировать процесс генерации подобных изображений. Цель проекта — разработать инструмент, с помощью которого можно воссоздать столь сложную и «мрачную» эстетику, используя навыки ИИ. Таким образом, проект открывает новые горизонты для целой субкультуры и помогает усовершенствовать уже существующий стиль для более широкой аудитории.
Исходные изображения для обучения
Результирующая серия изображений
Итоговая серия из 14 изображений отражает визуальную эстетику witch-house через мрачные, депрессивные и провокационные сцены, вдохновлённые нигилистическими настроениями жанра. Основной акцент сделан на лиминальных пространствах леса, где разворачиваются сюжеты с засвеченными девушками в белых платьях, могилами, горящими домами, виселицами и наркотиками. Эти элементы подчёркивают дух упадка и размышления о смерти, а оккультные мотивы (например, ведьмин дом, туманные силуэты) используются как эстетическая провокация
Результаты полностью соответствуют моей идее — создать инструмент для генерации сложной эстетики witch-house. Модель уловила мрачную атмосферу исходных изображений и адаптировала её к новым сюжетам, сохранив ключевые черты: тьму, депрессию и аналоговую текстуру
Детали генерации
Модель: Stable Diffusion XL с LoRA, обученной на 72 изображениях из папки референсов. Обучение длилось 200 шагов с max_train_steps=200, train_batch_size=1, gradient_accumulation_steps=2 и learning_rate=1e-4. Промпты: Составлены вручную с упоминанием глитч- и VHS-эффектов, хотя нейросеть интерпретировала их через текстуры и искажения, а не как постобработку. Дополнительные методы: Не использовались (например, нет ручной доработки в Photoshop), чтобы показать чистую работу ИИ. Обработка исходных данных: Нейросеть обобщила мрачные лесные сцены и текстуры из референсов, перенеся их на новые сюжеты.
Для проекта я использовала Google Colab с GPU. Процесс включал:
Подготовка данных: 72 изображения из папки референсов (ссылка) были загружены в /content/drive/MyDrive/witchforest/. Обучение LoRA: Использовала скрипт train_dreambooth_lora_sdxl.py на базе Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0) с VAE madebyollin/sdxl-vae-fp16-fix. Параметры: resolution=512, mixed_precision=fp16, max_train_steps=200, checkpointing_steps=100. Обучение заняло около 10 минут, результат сохранён как pytorch_lora_weights.safetensors в /content/drive/MyDrive/witchforest_output/. Генерация: Код с использованием diffusers библиотеки генерировал изображения с промптами, отражающими эстетику witch-house (30 шагов, guidance_scale=7.5).
Ссылка на ноутбук
! accelerate launch /content/drive/MyDrive/train_dreambooth_lora_sdxl.py
--pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0»
--pretrained_vae_model_name_or_path="madebyollin/sdxl-vae-fp16-fix»
--instance_data_dir="/content/drive/MyDrive/witchforest»
--output_dir="/content/drive/MyDrive/witchforest_output»
--instance_prompt="dark witch house forest scene»
--mixed_precision="fp16»
--resolution=512
--train_batch_size=1
--gradient_accumulation_steps=2
--gradient_checkpointing
--learning_rate=1e-4
--snr_gamma=5.0
--lr_scheduler="constant»
--lr_warmup_steps=0
--use_8bit_adam
--max_train_steps=200
--checkpointing_steps=100
--seed="0»
Я использовала Grok Для: Помощи в написании экспликации и описаний изображений. Корректировки кода и отладки (например, перемещение файлов, настройка параметров).
