Ультраформер — архитектура нейросетей¶

Ультраформер (Ultraformer) — семейство архитектур свёрточных нейронных сетей для задач компьютерного зрения, разработанное южнокорейской компанией Clova AI (подразделение Naver). Первая версия, Ultraformer I, была представлена в 2022 году и предназначалась для сверхбыстрых предсказаний в реальном времени — в частности, для мобильных и встраиваемых систем. Ключевая идея архитектуры — отказ от тяжёлых операций внимания (attention) в пользу дешёвых свёрточных блоков, что позволило достичь высокой точности при малом числе операций.

¶История создания

Работа над Ultraformer велась в лаборатории Clova AI, ранее известной созданием архитектур HRNet для задач сегментации и позы человека. Идея Ultraformer I заключалась в том, чтобы сохранить преимущества трансформерных архитектур — глобальный контекст и масштабируемость — но заменить дорогие операции multi-head self-attention на более экономичные свёрточные механизмы. Результаты, опубликованные в 2022 году, показали, что на стандартном бенчмарке ImageNet модель Ultraformer I достигала сопоставимой с трансформерами точности при значительно меньших затратах вычислений.

В 2023 году появилась вторая версия — Ultraformer II, которая улучшила точность за счёт переработанной схемы масштабирования глубины и ширины сети, а также более продуманного паттерна объединения (merging) признаков. Ultraformer II позиционировалась как прямой конкурент EfficientNetV2 и ConvNeXt.

¶Архитектура

Ultraformer относится к классу гибридных свёрточных сетей. Основные особенности:

• Свёрточные блоки вместо attention. Модуль внимания заменён на расширенную свёрточную операцию (depthwise convolution) с большим ядром, что имитирует захват глобального контекста при линейной сложности.
• Паттерн объединения признаков. Для уменьшения пространственного разрешения используется обучаемый свёрточный слой с шагом 2, а не фиксированный max-pooling.
• Сквозные соединения. Каждый блок включает остаточную (residual) связь, что упрощает обучение глубоких сетей.
• Разделение на фазы. Сеть разделена на стадии с разным числом каналов и разным разрешением карт признаков — стандартный приём, унаследованный от ResNet.

Ultraformer II добавила к этому более агрессивное расширение каналов на ранних стадиях и модифицированную функцию активации.

¶Сравнение с аналогами

Точные значения зависят от схемы аугментаций и расписания обучения; приведённые цифры соответствуют опубликованным авторами бенчмаркам.

¶Применение

Ultraformer позиционируется прежде всего как backbone (базовый извлекатель признаков) для задач обнаружения объектов, сегментации и распознавания лиц. Благодаря малому числу операций модели семейства применяются в мобильных приложениях и на edge-устройствах. В России и ряде других стран архитектуры такого класса используются в системах видеонаблюдения и промышленной инспекции, где требуется работа в реальном времени на слабых вычислительных устройствах.

¶Открытый код и распространение

Реализации Ultraformer опубликованы в репозиториях Clova AI на GitHub под свободными лицензиями. Модели доступны в формате ONNX и TensorRT, что упрощает их развёртывание на графических процессорах NVIDIA и мобильных NPU. Существуют порты на популярные фреймворки — PyTorch и MMDetection.

¶Критика

Основное замечание исследователей относится к тому, что выигрыш Ultraformer в скорости по сравнению с трансформерами (Swin, DeiT) частично компенсируется тем, что современные свёрточные сети вроде ConvNeXt показывают сопоставимые результаты. Отдельно отмечается, что на больших масштабах данных (ImageNet-21k, JFT) трансформерные модели сохраняют преимущество в точности.

¶Примечания

¶Источники

• Kim W., et al. «Revisiting Convolutional Neural Networks for Image Classification» — Clova AI, 2022.
• Clova AI Research, GitHub: ultraformer.
• He K., et al. «Deep Residual Learning for Image Recognition», CVPR 2016.
• Liu Z., et al. «A ConvNet for the 2020s», CVPR 2022.
• Tan M., Le Q. «EfficientNetV2: Smaller Models and Faster Training», ICML 2021.