Обсуждение статьи "Нейросети — это просто (Часть 89): Трансформер частотного разложения сигнала (FEDformer)"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 89): Трансформер частотного разложения сигнала (FEDformer):

Все рассмотренные нами ранее модели анализируют состояние окружающей среды в виде временной последовательности. Однако тот же временной ряд можно представить и в виде частотных характеристик. В данной статье я предлагаю Вам познакомиться с алгоритмом, который использует частотные характеристики временной последовательности для прогнозирования будущих состояний.

Долгосрочное прогнозирование временных рядов является давней проблемой в решении различных прикладных задач. Модели на основе Transformer показывают многообещающие результаты. Однако высокая вычислительная сложность и требования к памяти затрудняют применение Transformer для моделирования длинных последовательностей. Это дало толчок многочисленным исследованиям, которые были посвящены снижению вычислительных затрат Transformer.

Несмотря на прогресс, достигнутый методами прогнозирования временных рядов на основе Transformer, в некоторых случаях они не могут уловить общие характеристики распределения временного ряда. Попытка решения данной проблемы была предпринята авторами статьи "FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting". Они сравнивают реальные данные временного ряда с его прогнозными значениями, полученными от ванильного Transformer. Скриншот из авторской статьи представлен ниже.

Легко заметить, что распределение прогнозного временного ряда сильно отличается от истинного. Несоответствие между ожидаемыми и прогнозируемыми значениями можно объяснить точечным вниманием в Transformer. Поскольку прогноз для каждого временного шага делается индивидуально и независимо, вполне вероятно, что модель не может сохранить глобальные свойства и статистику временных рядов в целом. Для решения этой проблемы авторы статьи эксплуатируют 2 идеи.

Первая заключается в использовании подхода декомпозиции сезонных тенденций, который широко используется в анализе временных рядов. Авторы статьи представляют специальную архитектуру модели, которая эффективно приближает распределение прогнозов к истинному.

Вторая идея — внедрить анализ Фурье в алгоритм Transformer. Вместо применения Transformer к временному измерению последовательности предлагается анализировать её частотные характеристики, что помогает Transformer лучше улавливать глобальные свойства временных рядов.

Объединение предложенных идей реализовано в модели Frequency Enhanced Decomposition Transformer или сокращенно FEDformer.

Автор: Dmitriy Gizlyk