Обсуждение статьи "Нейросети — это просто (Часть 84): Обратимая нормализация (RevIN)"

MetaQuotes 2024.04.05 11:20

Опубликована статья Нейросети — это просто (Часть 84): Обратимая нормализация (RevIN):

Мы давно уже усвоили, что большую роль в стабильности обучения модели играет предварительная обработка исходных данных. И для online обработки "сырых" исходных данных мы часто используем слой пакетной нормализации. Но порой возникает необходимость обратной процедуры. Об одном из возможных подходов к решению подобных задач мы говорим в данной статье.

Я хочу напомнить, что с подобной проблемой мы уже сталкивались при обучении различных моделей автоэнкодеров. Тогда мы нашли выход в использовании исходных данных после нормализации в качестве целей. Однако в данном случае нам нужны данные описания последующих состояний окружающей среды, которые отличны от исходных данных. Один из методов решения данной проблемы был предложен в статье "Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift".

Авторы статьи предлагают простой, но эффективный метод нормализации и денормализации — обратимая инстантная нормализация (RevIN), который сначала нормализует исходные последовательности, а затем денормализует выходные последовательности модели для решения проблем прогнозирования временных рядов, связанных со сдвигом распределения. RevIN симметрично структурирована для возвращения исходной информации о распределении к выходу модели путем масштабирования и сдвига выхода в слое денормализации на величину, эквивалентную сдвигу и масштабированию исходных данных в слое нормализации.

RevIN — это гибкий, обучаемый слой, который может быть применен к любым произвольно выбранным слоям, эффективно подавляя нестационарную информацию (среднее и дисперсию экземпляра) в одном слое и восстанавливая ее в другом слое практически симметричного положения, например, входных и выходных слоев.