Обсуждение статьи "Нейросети — это просто (Часть 77): Кросс-ковариационный Трансформер (XCiT)"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 77): Кросс-ковариационный Трансформер (XCiT):

В своих моделях мы часто используем различные алгоритмы внимание. И, наверное, чаще всего мы используем Трансформеры. Основным их недостатком является требование к ресурсам. В данной статье я хочу предложить Вам познакомиться с алгоритмом, который поможет снизить затраты на вычисления без потери качества.

Трансформеры демонстрируют большой потенциал при решении задач анализа различных последовательностей. Операция Self-Attention, которая лежит в основе трансформеров, обеспечивает глобальные взаимодействия между всеми токенами в последовательности. Что позволяет оценивать взаимозависимости в пределах всей анализируемой последовательности. Однако это сопровождается квадратичной сложностью по времени вычислений и использованию памяти, что затрудняет применение алгоритма к длинным последовательностям.

Для решения этой проблемы авторы статьи "XCiT: Cross-Covariance Image Transformers" предложили "транспонированную" версию Self-Attention, которая действует через каналы признаков, а не через токены, где взаимодействия основаны на матрице кросс-ковариации между ключами и запросами. Результатом является кросс-ковариационное внимание (XCA) с линейной сложностью по количеству токенов, что позволяет эффективно обрабатывать большие последовательности данных. Кросс-ковариационный трансформер изображений (XCiT), основанный на XCA, сочетает точность обычных трансформеров с масштабируемостью сверточных архитектур. В авторской статье экспериментально подтверждается эффективность и общность XCiT. Представленные эксперименты демонстрируют отличные результатах на нескольких визуальных бенчмарках, включая классификацию изображений, обнаружение объектов и сегментацию экземпляров.

Автор: Dmitriy Gizlyk