Обсуждение статьи "Нейросети — это просто (Часть 86): U-образный Трансформер"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 86): U-образный Трансформер:

Мы продолжаем рассмотрение алгоритмов прогнозирования временных рядов. И в данной статье я предлагаю Вам познакомиться с методов U-shaped Transformer.

Прогнозирование долгосрочных временных рядов имеет большое значение для трейдинга. Архитектура Transformer, которая была представленные в 2017 году, продемонстрировала впечатляющую производительность в областях обработка естественного языка (NLP) и компьютерное зрение (CV). Использование механизмов Self-Attention позволяет эффективно захватывать зависимости на длинных временных интервалах, извлекая ключевую информацию из контекста. И вполне естественно, что довольно быстро было предложено большое количество различных алгоритмов для решения задач в области временных рядов с использованием этого механизма.

Однако недавние исследования показали, что простые сети многослойного персептрона (MLP) могут превзойти точность моделей на основе Transformer на различных наборах данных временных рядов. Тем не менее архитектура Transformer доказала свою эффективность в нескольких областях и даже нашла практическое применение. Следовательно, её репрезентативная способность должна быть относительно сильной. И должны быть механизмы её использования. Одним из вариантов совершенствования алгоритма ванильного Transformer является работа "U-shaped Transformer: Retain High Frequency Context in Time Series Analysis", в которой представлен алгоритм U-shaped Transformer.

В процессе итерационного обучения мне удалось получить модель, способную генерировать прибыль как на обучающей, так и на тестовой выборке.

За период тестирования модель совершила 26 сделок. И 20 из них были закрыты с прибылью, что составило 76.92%. При этом профит-фактор составил 2.87.

Полученные результаты многообещающие, но период тестирования в 1 месяц довольно мал для оценки стабильности работы модели.

Автор: Dmitriy Gizlyk