記事「ニューラルネットワークが簡単に(第20部):オートエンコーダ」についてのディスカッション

 

新しい記事「ニューラルネットワークが簡単に(第20部):オートエンコーダ」はパブリッシュされました:

教師なし学習アルゴリズムの研究を続けます。読者の中には、最近の記事とニューラルネットワークの話題の関連性について疑問を持つ人もいるかもしれません。この新しい記事では、ニューラルネットワークの研究に戻ります。

一般的な場合、オートエンコーダは2つのエンコーダとデコーダのブロックからなるニューラルネットワークです。エンコーダの元データ層とデコーダの結果層は同じ数の要素を含んでいます。その間に、通常、元データより小さい隠れ層があります。学習過程で、この層のニューロンは、元データを圧縮した形で記述できる潜在的な(隠れた)状態を形成します。


これは、「主成分分析」手法で解決したデータ圧縮の問題と似ていますが、後述するように、これらのアプローチには違いがあります。

前述したように、オートエンコーダはニューラルネットワークで、バックプロパゲーション方式で訓練されます。ラベルのないデータを使うので、コツは、まずエンコーダを使ってデータを潜在状態のサイズに圧縮するようにモデルを訓練することです。そして、復号器では、このモデルによって、情報の損失を最小限に抑えながら、データを元の状態に復元します。

作者: Dmitriy Gizlyk