Ученые Самарского университета им. Королёва разработали новую технологию увеличения точности цветопередачи цифровых камер

Нейросетевые методы впервые обошли классические в задаче точной обработки цвета.

Ученые Института искусственного интеллекта Самарского университета им. Королёва разработали новую технологию увеличения точности цветопередачи цифровых камер. Работа выполнена совместно с коллегами из Москвы, Вюрцбурга (Германия) и Йорка (Канада). Для автоматической обработки получаемых с камеры изображений ученые впервые в мире применили сети Колмогорова-Арнольда (KAN) – это новый класс нейронных сетей, который позволил нейросетевым методам обойти классические по качеству обработки цвета.

Разработанная технология была протестирована на нескольких классах задач, связанных с обработкой цветных изображений. Результаты тестирования показали, что данная разработка, получившая название cmKAN, значительно превосходит различные методы улучшения цветопередачи, применяемые сейчас в мире производителями смартфонов и цифровых камер.

"В современном мире используется множество различных камер, так в современных смартфонах, как правило, используются три типа камер – телекамера, основная и широкоугольная. Разные камеры по-разному отображают цвет, при переходе между камерами цвета на снимках существенно различаются, более того, эти различия камер носят нелинейный характер, что затрудняет и восприятие, и автоматическую обработку изображений. Несмотря на впечатляющие успехи нейросетевых методов практически во всех сферах компьютерного зрения, точная обработка цвета до настоящего времени оставалась вотчиной классических алгоритмов. По всей видимости, это связано с высокой чувствительностью человеческого восприятия цвета, а также с тем, что современные нейростевые подходы недостаточно хорошо отрабатывают специфику преобразования цвета. Нам удалось преодолеть разрыв между классическими и нейросетевыми алгоритмами обработки цвета и разработать универсальный нейросетевой подход сопоставления цветов cmKAN, который позволяет более точно сравнивать и корректировать в автоматическом режиме цвета изображения. Процесс работы нейросети похож на этапы работы оператора программы цветовой коррекции, например, Photoshop или Lightroom. Оператор строит нелинейные кривые преобразования цветов и задает области их применения: так, на светлом небе правила преобразования цветов одни, в тени зданий другие, вблизи источников света – третьи. Наш подход работает схожим образом. Нам удалось теоретически показать, что сети Колмогорова-Арнольда максимально хорошо отражают нелинейные преобразования цвета, а параметры этих преобразований в разных частях изображения задаются сетью-генератором", – рассказал профессор Артем Никоноров, директор Института искусственного интеллекта и руководитель Центра "Интеллектуальная мобильность многофункциональных беспилотных авиационных систем" Самарского университета им. Королёва.

Сети Колмогорова-Арнольда (KAN) – это новый тип архитектуры нейронных сетей, он основан на теореме представления Колмогорова-Арнольда, разработанной советскими математиками Андреем Колмогоровым и Владимиром Арнольдом. Этот тип архитектуры нейросетей был разработан в 2024 году и может стать альтернативой для традиционных нейросетей MLP (многослойный перцептрон), широко используемых сейчас в системах компьютерного зрения и в больших языковых моделях.

Для обучения и тестирования cmKAN разработчики подготовили и опубликовали внушительный набор данных – Volga2K, содержащий более двух тысяч пар снимков с различных камер камер, в различных местах и условиях съемки.


Автор фото: Олеся Орина