Представление ИИ-инструмента CGVQM от Intel
Intel анонсировала новый инструмент на основе искусственного интеллекта под названием CGVQM, который предназначен для объективной оценки качества изображений в современных видеоиграх. Этот инструмент анализирует искажения, возникающие в процессе использования технологий масштабирования и улучшения графики, таких как апскейлинг, генерация кадров и другие методы рендеринга.
Проблемы традиционных метрик
Традиционные метрики, такие как PSNR, не всегда подходят для оценки качества игровой графики. Это связано с тем, что они изначально разработаны для анализа сжатого видео и не учитывают специфические артефакты, которые возникают при использовании технологий, таких как:
- Апскейлеры
- Трассировка лучей
- Динамическое затенение
В процессе обработки изображений могут возникать различные искажения, включая:
- Мерцание
- Гостинг (ghosting)
- Ступенчатость
- Разрывы объектов
Метрика CGVQM и ее разработка
Новая метрика, названная Computer Graphics Visual Quality Metric (CGVQM), использует искусственный интеллект для анализа видеоряда и выявления дефектов, вызванных современными методами обработки изображений. Исследователи из Intel, включая Акшая Джиндал, Набиля Садака и Антона Соченова, предложили двухэтапный подход к созданию CGVQM.
Сначала команда собрала датасет CGVQD, который включает в себя:
- Нейросетевое шумоподавление
- Апскейлинг
- Интерполяцию кадров
- Адаптивное затенение
На основе этого датасета была обучена нейросеть CGVQM, способная оценивать качество изображения аналогично тому, как это делает человек. Для калибровки модели группе добровольцев показали видеоролики из набора данных и попросили оценить артефакты по шкале от «незаметных» до «сильно раздражающих». Эти данные легли в основу обучения 3D-свёрточной нейросети (3D-CNN) на базе архитектуры ResNet-18, которая позволяет анализировать как пространственные, так и временные искажения, что критически важно для видео.
Результаты тестирования CGVQM
В итоге, в тестах CGVQM продемонстрировала превосходство над большинством существующих метрик, особенно при работе с собственным набором данных. Модель версии CGVQM-5 показала результаты, близкие к человеческим оценкам, в то время как более простая версия CGVQM-2 заняла третье место среди протестированных систем.
Кроме того, CGVQM способна анализировать и сторонний контент, который не входил в обучающую выборку, что делает её универсальным инструментом для оценки качества изображений.
Будущее CGVQM
В будущем, как сообщается в издании Tom’s Hardware, исследователи рассматривают возможность перехода на архитектуру трансформеров для повышения производительности CGVQM. Также в метрику могут быть добавлены методы анализа оптического потока, что позволит осуществлять более детальную оценку качества изображений.
