• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений

Энди Уорхол. Диптих Мэрилин, 1962г.

Энди Уорхол. Диптих Мэрилин, 1962г.
crossarea.ru/art

Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024. 

Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.

Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи. 

Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений. 

Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии. 

Денис Бобков

«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков. 

Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях. 

Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.

Рис. 1. Сравнение работы StyleFeatureEditor (SFE) с другими методами на наборе лиц с большим числом деталей.
© Высшая школа экономики

В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз. 

Айбек Аланов

«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI. 

Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ. 

Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.

Вам также может быть интересно:

Стартовала регистрация школьников на Всероссийскую олимпиаду по ИИ

Открылась регистрация на пятый сезон Всероссийской олимпиады по искусственному интеллекту. В этом году организаторы ожидают увеличения числа участников — соревнование получило международный статус, и теперь принять участие могут школьники 8–11-х классов не только из России, но и из других стран. Олимпиаде присвоен II уровень в перечне РСОШ — ее призеры и победители получат льготы при поступлении в вуз.

В НИУ ВШЭ обсудили глобальные тренды ИИ на международной форсайт-сессии

В Высшей школе экономики прошла международная форсайт-сессия по искусственному интеллекту (ИИ). Российские и иностранные ученые обсудили тренды и вызовы, которые возникают в связи с быстрым развитием ИИ.

Больше не одинокий гений: как сохранить идентичность ученого в эпоху ИИ

Сегодня профессия ученого требует новых навыков, зачастую не связанных с наукой — от умения находить гранты до успешной продажи продукта своего труда. Огромным вызовом стал ИИ, который справляется со многими задачами быстрее человека. Центр научной интеграции НИУ ВШЭ организовал вебинар «Ученые и искусственный интеллект», посвященный профессиональной идентичности исследователя в условиях стремительной цифровизации и технологических трансформаций. Подробнее — в материале HSE Daily.

Вышка доверит ИИ рутинную работу по созданию программ ДПО

НИУ ВШЭ совместно с EdTech-компанией CDO Global запускает AI-конструкторы для оптимизации разработки курсов дополнительного профессионального образования (ДПО). Новый сервис позволит автоматизировать подготовку учебных материалов и оценочных средств, значительно сократив время и ресурсы, затрачиваемые преподавателями и методистами.

ВШЭ и Московский аналитический центр объединят усилия в сфере ИИ

НИУ ВШЭ подписал соглашение о сотрудничестве с ГБУ «Московский аналитический центр». Документ закрепил намерение сторон развивать совместные исследования и внедрять технологии искусственного интеллекта в управление городским хозяйством.

Руководители «Билайна» прокачивают навыки работы с ИИ на базе НИУ ВШЭ

В Центре непрерывного образования факультета компьютерных наук НИУ ВШЭ стартовала программа повышения квалификации для руководителей компании «Вымпелком» «Лаборатория ИИ: Вместе быстрее». В ее работе примут участие сотрудники компании из разных городов страны, которые будут повышать компетенции по внедрению ИИ в бизнес-процессы.

Вузы разделились на шесть лагерей в отношении к искусственному интеллекту

Каким должно быть образование в эпоху ИИ? Чтобы разобраться, какие есть точки зрения и какие решения уже формируются, команда Института образования ВШЭ весной 2025 года провела серию интервью с проректорами российских университетов. Об итогах этого исследования рассказывает директор института Евгений Терентьев.

НИУ ВШЭ стал абсолютным лидером рейтинга вузов по подготовке кадров для ИИ

Альянс в сфере искусственного интеллекта опубликовал обновленный рейтинг вузов по качеству подготовки специалистов в области ИИ. В него вошли 203 российских университета из 68 регионов. Высшая школа экономики первой получила наивысшую категорию А++.

ВШЭ и МТС будут вместе бороться с дипфейками и научат искусственный интеллект создавать новое видео под запросы пользователей

НИУ ВШЭ и компания МТС Web Services (MWS) объявили о запуске серии совместных исследовательских работ в области технологий искусственного интеллекта, направленных на развитие инновационных решений в сфере кибербезопасности, мультимодальной генерации контента и анализа больших данных. Основным исполнителем проекта является Московский институт электроники и математики им. А.Н. Тихонова НИУ ВШЭ при общей координации Центра искусственного интеллекта ВШЭ.

11 вузов России стали участниками проекта ВШЭ и «Яндекса» по применению ИИ при подготовке дипломных работ

Эксперты «Яндекс Образования» и факультета компьютерных наук НИУ ВШЭ научили студентов и научных руководителей использовать нейросеть YandexGPT в трудоемких задачах — для анализа источников, структурирования информации, визуализации данных и работы с текстом в процессе подготовки дипломов.