Discussão do artigo "Redes neurais de maneira fácil (Parte 89): Transformador de decomposição por frequência do sinal (FEDformer)"

[MetaQuotes]

Novo artigo Redes neurais de maneira fácil (Parte 89): Transformador de decomposição por frequência do sinal (FEDformer) foi publicado:

Todos os modelos que analisamos anteriormente examinam o estado do ambiente na forma de uma sequência temporal. No entanto, a mesma série temporal pode ser representada por suas características de frequência. Neste artigo, proponho que você conheça um algoritmo que utiliza as características de frequência da sequência temporal para prever estados futuros.

A previsão de longo prazo de séries temporais é um problema antigo ao resolver diversas tarefas aplicadas. Modelos baseados em Transformerdemonstram resultados promissores. No entanto, a alta complexidade computacional e os requisitos de memória dificultam o uso de Transformer para modelar sequências longas. Isso impulsionou diversas pesquisas voltadas para a redução dos custos computacionais do Transformer.

Apesar dos avanços alcançados pelos métodos de previsão de séries temporais baseados em Transformer, em alguns casos, eles não conseguem capturar as características gerais da distribuição da série temporal. A tentativa de resolver esse problema foi feita pelos autores do artigo "FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting". Eles comparam dados reais da série temporal com os valores previstos, obtidos pelo Transformer padrão. Uma captura de tela do artigo dos autores é apresentada abaixo.

Легко заметить, что распределение прогнозного временного ряда сильно отличается от истинного. Несоответствие между ожидаемыми и прогнозируемыми значениями можно объяснить точечным вниманием в Transformer. Поскольку прогноз для каждого временного шага делается индивидуально и независимо, вполне вероятно, что модель не может сохранить глобальные свойства и статистику временных рядов в целом. Для решения этой проблемы авторы статьи эксплуатируют две идеи.

Первая заключается в использовании подхода декомпозиции сезонных тенденций, который широко используется в анализе временных рядов. Авторы статьи представляют специальную архитектуру модели, которая эффективно приближает распределение прогнозов к истинному. 

Вторая идея — внедрить анализ Фурье в алгоритм Transformer. Вместо применения Transformer к временному измерению последовательности предлагается анализировать её частотные характеристики, что помогает Transformer лучше улавливать глобальные свойства временных рядов.

Объединение предложенных идей реализовано в модели Frequency Enhanced Decomposition Transformer или сокращенно FEDformer.

Autor: Dmitriy Gizlyk