Обучение генеративной модели Stable Diffusion под стиль мемов
Идея
Как активный пользователь соц сетей я люблю использовать различные мемы с забавными лицами для передачи эмоций в, например, переписке. Именно поэтому я решила обучить нейросеть на датасете из мемных картинок со смешными лицами и кривыми котами.
Исходные изображения
Большинство картинок намеренно исполнены в неаккуратно: «волосатый» лайном, преимущественно черно-белая палитра с каким-то цветовым — розовым, желтым или голубым — акцентом, мыльные тени и грязная штриховка — всё для преувеличения карикатурности передаваемых эмоций.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Google Colab — выполнение кода и генераций
Обучение нейросети было проведен с помощью предоставленного нам учебного шаблона кода. В первую очередь установились необходимые модели и библиотеки.
Затем я вручную собрала 17 изображений c Pinterest для датасета и загрузила их, собрав в локальную папку
После установки необходимых данных я начала обучение модели в генерации картинок in memes style
После окончания тренировки я начала генерацию изображений.
Итоговая серия изображений
Итак, в первую очередь я попыталась сгенерировать разных персонажей в стиле вышеупомянутых мемов. Далее какой-то кот, Хатсуне Мику и Сейлор Мун.
У персонажей определенно прослеживаются черты схожие с оригиналом. Например, довольно четкое попадание в глуповатые глаза и лица с закосом на аниме стиль, а так же неаккуратный лайн, близкая к чб палитра и даже попытка в штриховку.
Далее я попыталась создать немного забавных картинок. Стилистически и тематически они схожи с датасетом. Прослеживаются знакомые неаккуратный лайн, глуповатость и карикатурность.
Итог
Во всех сгенерированных изображениях действительно прослеживаются общие черты. Эти черты в том числе прослеживаются и у оригинальных картинок: грязноватая штриховка, кривой лайн, мыльный покрас, чб тона с редкими цветовыми акцентами, а так же карикатурные лица и характерные глаза. Это всё создает определенное непринужденное настроение картинок, какое характерно для несерьезных переписок и создания мемов.
В общем и целом, мне кажется, что нейросеть хорошо справилась с задачей.
