Обучение генеративной нейросети под стиль cyberpunk
Концепция
Итоговая серия изображений — это портреты персонажа, стилизованные в киберпанк-эстетике. Они генерировались на основе промтов с использованием уникального токена sks, который в процессе обучения DreamBooth был связан с конкретным визуальным образом, заданным через датасет.
Исходные изображения для обучения
Модель Stable Diffusion
Модель Stable Diffusion основана на латентных диффузионных процессах. Она использует вариационный автоэнкодер (VAE) для сжатия изображений в компактное латентное пространство, а затем U-Net для пошагового удаления шума, превращая случайный шум в осмысленное изображение. Текстовое описание обрабатывается CLIP-текстовым энкодером, что позволяет условно генерировать изображения на основе заданных промтов.
Результирующая серия изображений
prompt: a futuristic cyberpunk portrait of sks with neon lights, high-tech accessories, and an urban background
prompt: cyberpunk character, detailed portrait with vibrant colors and neon reflections, sks style
prompt: portrait of sks in a dystopian cyberpunk world with cybernetic enhancements and glowing elements
Эксперименты и доработка
- Вариации позы и выражения лица: Хотя базовая поза примерно одинакова, нейросеть варьирует угол наклона головы, взгляд, мимику, что делает каждое изображение уникальным. - Различия в аксессуарах и окружении: В одной генерации персонаж может носить кибер-очки, в другой — иметь встроенные элементы на шее или лице, в третьей — быть обрамлённым голографическими интерфейсами. - Фон: Иногда фон практически отсутствует, чтобы сосредоточить внимание на портрете, а иногда добавляется городской пейзаж с яркими огнями.
Таким образом, вариативность сохраняется в рамках общего стиля, а не выходит за его пределы.
Вывод
Итоговые изображения демонстрируют, что модель успешно интегрировала заданный персонаж в разные вариации киберпанк-среды, сохраняя узнаваемость образа и эстетику жанра. Это подтверждает, что процесс обучения и генерации прошёл корректно, а результат отвечает исходной задумке проекта.
Описание применения генеративной модели
Использовала ChatGPT для создания 3 примеров для промтов, чтобы наглядно показать, что делает модель.
Как — описала свою идею, попросила составить примерные промты для своей AI и после чего выбрала 3 лучших
Итоговый код
