В МГУ провели международный челлендж по устойчивости детекторов дипфейков

Ученые Центра искусственного интеллекта МГУ вместе с коллегами из лаборатории компьютерной графики и мультимедиа ВМК и Института искусственного интеллекта разработали платформу для оценки устойчивости алгоритмов детекции синтетических изображений — дипфейков — к распространённым методам маскировки, таким как сильное сжатие.

Проект проводится в рамках набора соревнований NTIRE (New Trends in Image Restoration and Enhancement) на конференции CVPR.

Цель инициативы — проверить, насколько детекторы сохраняют точность после того, как изображения проходят через соцсети и мессенджеры, где их повторно сжимают, обрезают и корректируют цвет, контраст и резкость. В реальных условиях такие трансформации часто ухудшают работу моделей по сравнению с лабораторными тестами.

Для оценки собрали набор данных с изображениями, созданными 42 генеративными моделями. В процессе тестирования применялись 18 типов цифровых преобразований, в том числе алгоритмы сжатия JPEG 2000 и JPEG AI. Итоговый рейтинг формируется по результатам после наложения этих искажений, что позволяет судить о стойкости алгоритмов к разным видам изменений и о поведении каждого детектора в отдельности.

«В лабораторных условиях детекторы демонстрируют высокую точность, однако при многократной пересылке изображений в соцсетях, мессенджерах, СМИ их часто пережимают до полного замыливания. Наше соревнование было ориентировано, в первую очередь, на такие сложные случаи, включая такие нетривиальные и новые, как сжатие по стандарту JPEG AI, который был принят только в сентябре прошлого года», — отметил Дмитрий Ватолин, старший научный сотрудник Центра искусственного интеллекта МГУ, руководитель лаборатории «Интеллектуальный анализ видео» Института искусственного интеллекта МГУ.

По словам Александра Крайнова, директора по развитию технологий ИИ в Яндексе, «Возможность генерации изображений открывает новые горизонты для технологий, однако в ряде задач принципиально важно уметь отличать синтетический контент от реального. Для этого необходимы как надежные методы оценки качества работы алгоритмов, так и репрезентативные датасеты для их обучения.

Именно поэтому мы поддерживаем коллег из МГУ в организации международного челленджа и высоко оцениваем достигнутые результаты».

В рамках соревнования опубликован усложнённый набор данных (Hard Validation) для проверки способности моделей к генерализации и снижению риска переобучения на конкретный тестовый набор. Также организаторы ограничили число ежедневных отправок решений, чтобы повысить объективность финальной оценки.

В конкурсе приняли участие более 500 команд со всего мира, суммарное количество отправленных решений превысило 3400. Наборы данных размещены на платформе HuggingFace (deepfakesMSU). Первые два места заняли команды Ant Group (Китай), третье — ChinaTelecom (Китай), четвёртое — INTSIG Information Co (Китай, авторы CamScanner), пятое — молодой аспирант (Китай), шестое — команда University of Electronic Science and Technology of China (Китай), седьмое — Reagvis Labs (Индия).

Работа выполнена с использованием суперкомпьютера МГУ-270. Результаты будут представлены в статье на CVPR, посвящённой сравнительной оценке устойчивости алгоритмов детекции дипфейков к различным типам цифровых преобразований. Существенно более крупный датасет, претендующий на первое место в мире среди доступных наборов для тренировки и тестирования детекторов, уже собран и будет опубликован до конца года.

Информация предоставлена пресс-службой МГУ

Источник фото: ru.123rf.com

В МГУ провели международный челлендж по устойчивости детекторов дипфейков • Опубликовано на FiNE NEWS