記事「ニューラルネットワークが簡単に(第84回):RevIN (Reversible Normalization)」についてのディスカッション

 

新しい記事「ニューラルネットワークが簡単に(第84回):RevIN (Reversible Normalization)」はパブリッシュされました:

入力データの前処理がモデル訓練の安定性に大きく寄与することは、すでに広く知られています。オンラインで「生」の入力データを処理するために、バッチ正規化層が頻繁に使用されますが、時には逆の手順が求められる場合もあります。この記事では、この問題を解決するための1つのアプローチについて解説します。

これまでにも、様々なオートエンコーダーモデルを訓練する際に、同様の問題に直面してきました。その際は、正規化後のオリジナルデータをターゲットとして使用することで解決しましたが、このケースでは、入力データとは異なる環境のその後の状態を記述するデータが必要になります。この問題を解決する方法の1つが、論文「Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift」で提案されています。

この論文の著者は、シンプルで効果的な正規化と非正規化の方法であるReversible Instant Normalization (RevIN)を提案しています。このアルゴリズムでは、まず入力系列を正規化し、次にモデルの出力系列を非正規化することで、分布シフトに関連する時系列予測の問題を解決します。RevINは、正規化層でのシフトとスケーリングに相当する量を、非正規化層で逆にスケーリングおよびシフトする対称的な構造で、元の分布情報をモデル出力に戻します。

RevINRevINは柔軟かつ訓練可能な層で、任意の層に適用可能です。ある層で非定常な情報(インスタンスの平均と分散)を効果的に抑制し、入力層や出力層など対称的な位置にある別の層で復元します。

"Neural Networks Made Easy (Part 84): Reversible Normalization (RevIN)"

<

作者: Dmitriy Gizlyk