В данной библиотеке представлены методы генеративной обработки векторной графики.
Ссылка на статью.
Перенос нейронного стиля привлекает внимание многих научных исследователей, дизайнеров и художников, но ранее интерес был сосредоточен только лишь на растровых изображениях. Существуют различные модели для генерации растровых изображений с предварительно обученными стилями и даже для произвольных стилей. Однако перенос стиля между векторными изображениями практически не рассматривался. Наше исследование показывает, что применение стандартных функций потерь стиля и контента незначительно меняют стиль рисования векторных изображений, поскольку структура векторных примитивов сильно отличается от пикселей. Чтобы справиться с этой проблемой, мы вводим новые функции потерь. Предлагаемое нами решение, VectorNST, основанное на дифференцируемой растеризации, использует эти новые функции потерь и может изменять параметры цвета и формы изображения содержимого так, чтобы соответствовать изображению стиля. Качественные эксперименты демонстрируют эффективность предложенного метода VectorNST по сравнению с современными подходами переноса стиля для растровых изображений и единственным существующим подходом для стилизации векторных изображений DiffVG.
Ссылка на статью.
В работе предлагается создание онлайн-сервиса для генерации векторных обложек музыкальных композиций. Существующие решения по созданию растровых обложек имеют недостатки, связанные с плохим качеством, отчасти поэтому векторная графика становится предпочтительным форматом изображений. Мы предлагаем модель, основанную на условной генеративно-состязательной сети, которая обучается на датасете растровых обложек и создает векторные обложки, учитывая музыкальные признаки и эмоции. Также реализована возможность добавления надписи с информацией об исполнителе и названии трека на обложку.
Диффузионные модели генерируют реалистичные результаты для растровых изображений, однако генерация векторных изображений не так успешна из-за существенных различий в структуре изображений. В отличие от растровых изображений, векторные изображения состоят из фигур, которые описываются своими координатами, цветом и шириной обводки. Количество необходимых для генерации фигур заранее неизвестно. Мы решаем проблему синтеза векторных изображений, разрабатывая новую архитектуру модели на основе диффузии и трансформеров, которую мы назвали VectorWeaver. Для обучения модели мы собрали набор данных векторных изображений из общедоступных ресурсов, однако его размер был недостаточным. Чтобы обогатить и увеличить его, мы предложили новые операции аугментации, специфичные для векторных изображений. Для обучения модели мы разработали специальную функцию потерь, которая позволяет генерировать объекты с плавными контурами без артефактов. Качественные эксперименты демонстрируют превосходство и вычислительную эффективность предложенной модели по сравнению с существующими методами генерации векторных изображений.
Реализовано при финансовой поддержке Фонда поддержки проектов Национальной технологической инициативы в рамках реализации "дорожной карты" развития высокотехнологичного направления "Искусственный интеллект" на период до 2030 года (Договор № 70-2021-00187)
This research is financially supported by the Foundation for National Technology Initiative's Projects Support as a part of the roadmap implementation for the development of the high-tech field of Artificial Intelligence for the period up to 2030 (agreement 70-2021-00187)