このセクションの00:05:00では、講演者は、ベルヌーイ、ポアソン、ガンマなどの多くの有名な分布を含む指数関数族について説明します。このファミリは、積密度関数が指数関数を持ち、指数がシータの線形項、X の一部の項、およびシータと X の他の項を持つため、指数関数と呼ばれます。ファミリ内のさまざまな分布の鍵は、正確な関数です。 X の T、シータの a、および X の B。この族の利点は、その中の分布をシグモイド ロジスティック関数の形式で書き換えられることです。この特性により、話者は確率的識別モデルを導入することができます。このモデルでは、ノイズによって摂動されたデータを仮定して、関連する分布のパラメータを推定するのではなく、ロジスティック関数のパラメータを直接推定することが目的です。
00:10:00このセクションでは、ロジスティック回帰について学びます。これは、特定のデータセットの事後をモデル化する最適なロジスティック関数を適合または見つけるために使用される手法です。複数のクラスがある場合、事後分布はソフトマックス分布に従います。与えられたデータから事後関数を最大化する W を見つけたいと考えています。この最適化問題は、負の符号を導入することによって最小化問題に変換されます。目標は、ほとんどのデータ ポイントで正しいクラス Y の確率ができるだけ高くなるようにする最適な W を見つけることです。
00:15:00このセクションでは、インストラクターがロジスティック回帰と、それを分類問題に使用する方法について説明します。目標は、主観を最小化する W を見つけることですが、この手法はロジスティック回帰と呼ばれていますが、実際には分類問題であることに注意することが重要です。ただし、数値である X が与えられたクラスの事後確率を推定しようとしているため、ロジスティック回帰は回帰の一種であるという考え方です。講師は続けて、閉形式の式内の変数を分離する方法がないため、この最適化問題を解決するには反復手法が必要であると説明しました。
00:20:00講義のこのセクションでは、講師はロジスティック回帰における非線形方程式の扱い方について説明します。ロジスティック回帰の目的関数は凸関数であることが示されており、大域的最適値を見つけることが容易になります。インストラクターは、勾配降下法やニュートン法などの反復法を使用して目的関数の最小値を見つけることができると説明します。勾配降下法も使用できますが、効率的ではなく、適切なステップ サイズを決定するのが困難です。 Newton の方法ははるかに高速で、必要な手順が少ないため、最適化の一般的な選択肢となっています。
00:25:00講義のこのセクションでは、講演者はロジスティック回帰のニュートン法と呼ばれる方法について説明します。これは、勾配降下法を改良したものです。ニュートン法では、W の初期推定値から開始し、ヘッセ行列の逆数と最後の関数の勾配を乗算した値を W から減算します。この方法は基本的に 3 つの重み付き最小二乗法を反復し、直線ではなく二次関数で目標を近似するため、より適切な曲線の近似とより高速な収束が可能になります。この方法の利点は、二次関数を近似するたびに最小値を閉じた形で最適に解くことができ、ステップ長を計算する必要がなくなることです。
00:50:00このセクションでは、イベントの発生確率が 0.5 以上である 2 つのクラスの分類問題にロジスティック回帰をどのように使用できるかを講師が説明します。複数のクラスがある場合は、クラス K ごとにベクトル W を使用してソフトマックス分布を使用できます。講師は、ロジスティック回帰ではドット積の計算のみが含まれるため予測が簡単になり、これはスパース性を利用することで効率化できることを強調しています。そして一部の計算を麻痺させます。
01:00:00このセクションでは、教授はロジスティック回帰に対するニュートン法の限界と過剰適合の問題について説明します。 Newton の方法は高速な最適化手法ですが、大規模なデータセットや数百万の特徴に対しては拡張性がありません。ロジスティック回帰は、データにあまりにもよく適合する全体的な最適値を見つける凸最適化のため、簡単に過適合する傾向があります。過学習によりヘッセ行列に特異点が発生し、ニュートン法を適用できなくなる可能性があります。ロジスティック回帰のシグモイド関数は 0 から 1 に変化しますが、漸近的に 1 に到達することはありません。そのため、1 に近い確率を達成するには、W transpose X bar を任意に大きくする必要があり、その結果、過学習が発生します。
01:05:00このセクションでは、講師がロジスティック回帰モデルの過学習の問題について説明します。彼らは、W transpose X bar が無限大になると、W の大きさも無限大になり、その結果、重みが任意に大きくなる可能性があると説明しています。さらに、ヘッセ行列はシグモイド関数によりゼロになる傾向があり、ヘッセ行列の逆関数を数値的に計算することができないため、ニュートン法の適用が困難になります。講師は、過学習を防ぐために、重みの大きさを最小限に抑えるためにペナルティ項を追加する正則化を使用することを提案しています。これは特異点の問題を防ぐのにも役立ちます。
01:15:00このセクションでは、講演者が非線形回帰と一般化線形モデルを使用して関数を近似する方法について説明します。このアイデアは、各入力 X を新しい特徴にマッピングする Phi で示されるマッピング関数を使用して、元の空間から新しい空間にデータをマッピングすることです。マッピング関数は、ユーザーが元の空間から新しい空間に移動して非線形にすることを可能にするマッピングを定義することによって、非線形性を捉えることができる基底関数を指します。目標は、最適な関数とその仮説空間を取得するための重みなどの係数を見つけることです。最終的に、この手法を使用することで、元の空間の非線形性を暗黙的に捉えながら、線形回帰または分類を実行できます。
01:25:00このセクションでは、ロジスティック回帰と一般化線形モデルに使用できる基底関数とその型について講師が説明します。講師はまず、多項式基底関数を紹介します。多項式基底関数は、X のすべてのべき乗をある程度まで取得することで、多項式関数にまたがるのに使用できるからです。次に、講師は非線形基底関数の 2 つの例、ガウス関数とシグモイド関数を紹介します。ガウス基底関数は、mu と s を変更することで使用できます。ここで、mu は x 軸上のバンプの位置を示し、s はバンプの幅を示します。シグモイド関数は非線形関数ですが、確率分布ではないため、基底関数として X マイナス mu J を s で割った値に適用されるシグマ ハットとともに使用できます。基底関数として使用できる他の非線形関数には、ウェーブレット、サイン、コサインなどがあります。
01:30:00講義のこのセクションでは、講演者は非線形回帰と分類を暗黙的に実行するために線形モデルを一般化する方法について説明します。入力変数 X を新しい空間への入力である X のファイに置き換えることで、さまざまな非線形関数を利用することができます。ファイ関数は、元の入力 X のさまざまな部分に適用でき、多項式やガウス関数などの基底関数のセットを使用して基礎となる関数を取得するために使用できます。これでこのトピックは終了し、非線形ロジスティック回帰と一般化線形モデルの基本的な理解を提供します。
00:40:00このセクションでは、教師は、しきい値関数を通過するユニットを処理するために使用されるパーセプトロン学習アルゴリズムを説明します。このアルゴリズムは、ネットワークの計算が正しければ重みを同じに保つことができるという非常に単純なルールを適用しますが、出力が正しくない場合は、単に入力 X を重みに加算するか減算することによって調整を行う必要があります。 、出力に応じて。目標は、出力が正であると想定される場合は入力と重みの線形結合を増加し、負であると想定される場合は入力と重みの線形結合を減少させて、パーセプトロンが出力を計算して正解に近づけることです。重要なのは、ゴミ箱保持関数は線形結合が正の場合は 1 を返し、負の場合は 0 を返すという事実を利用することです。
00:45:00このセクションでは、スピーカーはパーセプトロン アルゴリズムの重みを最適化するための勾配降下の使用について説明します。損失関数は誤分類誤差として定義され、すべてのデータ ポイント X および Y について、YW 転置 X の積が負である場合に誤分類とみなされます。ポイントは、クラス 1 に属している場合は正、クラス -1 に属している場合は負であることが期待されます。誤って分類されたポイントが合計されて、最小化できる目標が得られます。次に、最適化のために勾配の反対方向にステップを実行するために、目的に関して勾配が計算されます。
00:05:00このセクションでは、インストラクターは、パーセプトロンとその閾値活性化関数、シグモイド活性化関数を含む線形モデルをレビューします。インストラクターは、直線ではなく曲線である関数に対応するために、線形モデルを非線形モデルに拡張できると説明します。これを達成するために、マッピング関数 Phi of X を使用してデータを新しい空間にシフトする非線形回帰が導入されます。講師はまた、非線形回帰の適応基底関数を提供する多層ニューラル ネットワークについても紹介し、これらを一般化線形回帰モデルに関連付けます。最後に、インストラクターは一般化された非線形分類について説明します。
00:10:00このセクションでは、講師はカーネル手法に焦点を当てます。カーネル手法は、新しい空間内の点のペア間のドット積を計算し、それらのドット積を計算するコストを大幅に安くして、より良いスケーリングを実現する方法を見つけることを目的としています。アルゴリズム。したがって、ドット積はカーネル関数として名前変更され、すべての点のペアについてこれらのカーネルの出力を決定できれば、カーネルを定義するためのキーである X のファイによって定義される基礎となる特徴空間を計算する必要がなくなります。これは評価が速く、X のファイに関して計算を必要としません。一例として線形回帰が使用され、講師は、W が実際にはデータ ポイントの線形結合であることを示しました。データ ポイントは、X n の係数とファイの積です。 W を別の式、Phi と A の積で置き換えます。ここで、Phi は、新しい空間へのすべての点の行列です。
00:30:00このセクションでは、カーネルの構築方法について講師が説明します。アイデアは、複雑さを制御できる新しいカーネルを構築し、それが新しい空間に依存しないようにすることです。講師は、有効な新しいカーネルを作成するためのカーネルを構成するための 10 のルールを説明します。また、関数が有効なカーネルでない場合は、それらを組み合わせてより複雑なカーネルを取得するのに役立つ基本的な構成要素があります。講義ではさらに、元の空間の内積をいくら乗して、X のエントリのすべての M 次積として特徴空間を生成する多項式カーネルなど、実際に使用される一般的なカーネルを紹介します。講義は続きます。次のクラスでガウス カーネルについて説明します。
00:35:00このセクションでは、計算コストを支払わずに回帰または分類モデルの柔軟性を実現するには、高次元性が必要であり、それが問題になる可能性があると講師が説明します。この問題を回避するには、新しい空間内の点のペア間のドット積を示す関数を指定するカーネルが使用されます。次に、多項式カーネルが共通カーネルとして導入され、元の空間の内積を M 乗したものになります。講師は、カーネルの具体例を 2D 空間に示し、それを拡張して、対応する内積を 2D 空間に示します。 3D空間。
00:40:00このセクションでは、入力空間を、元の空間にないクラスであっても線形分離可能な高次元空間に暗黙的に変換するために使用されるカーネル メソッドについて説明します。この講義では、この方法がどのようにして任意の高乗 M に一般化され、本質的に M 個の可能な特徴のすべての組み合わせである新しい特徴が作成されるかについて説明します。ただし、これにより、指数関数的に大きな需要スペースが発生し、画像では計算上不可能になります。これを回避するには、定数 C をカーネルに追加して、M までの次数のすべての特徴を考慮することができます。
00:55:00ビデオのこのセクションでは、講師はさまざまなルールを使用して、X から X を引いた素数を引いたものを 2 シグマの 2 乗で割った e に等しい XX 素数の K が有効なカーネルであることを示します。 。講師は、ルール 1、2、4、および 8 を使用して、それが有効なカーネルであることを示す前に、X マイナス X 素数を展開し、項をさまざまな指数に分割します。使用されるルールには、a を恒等行列で置き換えること、X 転置 X 素数をシグマ二乗で割ったもの、および e を X 転置 X 素数をシグマ二乗で割ったものが有効なカーネルであることを示すことが含まれます。
00:30:00このセクションでは、サポート ベクター マシンの最適化問題をラグランジアンを使用して書き換えて、制約のない同等の問題を生成する方法を講演者が説明します。この新しい目標には、違反した制約ごとにペナルティ項が含まれます。これは、違反が発生したときに必ず正でゼロより大きい新しい変数 a に依存します。ラグランジアンの最小値を最大化するようにこの変数 a を設定すると、新しい問題は制約のある元の問題と数学的に等価になります。この手法は、最適化プロセスを簡素化し、より効率的にするのに役立ちます。
00:35:00このセクションでは、講師はサポート ベクター マシンの最適化問題におけるペナルティ項と制約の使用について説明します。彼らは、点間の距離を制限する制約をペナルティ項に置き換えることができ、係数を選択することで最適化できると説明しています。ただし、この最適化問題は、解決が容易ではない最大の問題をもたらします。これを解決するために、講師は、閉じた形式で内部最小化問題を計算し、W が新しい特徴空間内のデータ点の線形結合である解に到達する方法を説明します。ゼロとは異なる係数 (サポート ベクター) が W の値を決定します。
00:05:00このセクションでは、スラック変数を導入することで、誤って分類されたポイントやマージン内のポイントを許容する方法として、ソフト マージンの概念が導入されています。スラック変数の使用を規制し、スラック変数ペナルティが確実に最小化されるようにするために、ペナルティ項も最適化問題に追加されます。これは重み C によって制御され、誤差の最小化とモデルの複雑さの間のトレードオフも制御されます。通常、スラック変数の合計が誤分類数の上限となります。重み C は、誤差の最小化とモデルの複雑さの間のトレードオフを調整する正則化係数と考えることができ、C が無限大になると、元のハード マージン分類器が回復されます。
CS480/680 講義 6: NLP のモデル圧縮 (Ashutosh Adhikari)
CS480/680 講義 6: NLP のモデル圧縮 (Ashutosh Adhikari)
このビデオでは、発表者が NLP のモデル圧縮の概念と、ディープ ニューラル ネットワークの数と深さが増加するにつれての処理時間とメモリ要件の課題について説明します。モデル圧縮技術を分類し、最も古い方法であるパラメーターの枝刈りと共有を紹介します。講演者はさらに、NLP におけるモデル圧縮のための生徒と教師のシステムの概念と、精度を維持しながらより大きなモデルをより小さな生徒モデルに圧縮するために目的関数がどのように使用されるかについて詳しく説明します。最後に、大規模な NLP モデルの開発に関する最近の研究に関連して、モデルを圧縮することの潜在的な重要性が強調されています。
CS480/680 講義 7: ガウスの混合
CS480/680 講義 7: ガウスの混合
ガウスの混合に関するこの講義では、講演者は、クラスごとに事前分布を構築することでモデルを分類にどのように使用できるかを説明します。これにより、ベイズの定理を使用して、特定のクラスの確率を推定する確率モデルを構築できるようになります。データポイント。この講義では、データ ポイントが特定のクラスに属する可能性を計算するプロセスと、これを使用してクラス予測を決定する方法についても説明します。講義ノートでは、ソフトマックス関数とアーク マックス分布の関係と、ガウスの形状と境界が共分散行列によってどのように決定されるかについて説明します。最後に、最尤学習のプロセスと、それを使用して混合ガウス モデルの平均および共分散行列を推定する方法について詳しく説明します。
CS480/680 講義 7: ガウスの混合
CS480/680 講義 7: ガウスの混合
ガウスの混合に関するこの講義では、講演者は、クラスごとに事前分布を構築することでモデルを分類にどのように使用できるかを説明します。これにより、ベイズの定理を使用して、特定のクラスの確率を推定する確率モデルを構築できるようになります。データポイント。この講義では、データ ポイントが特定のクラスに属する可能性を計算するプロセスと、これを使用してクラス予測を決定する方法についても説明します。講義ノートでは、ソフトマックス関数とアーク マックス分布の関係と、ガウスの形状と境界が共分散行列によってどのように決定されるかについて説明します。最後に、最尤学習のプロセスと、それを使用して混合ガウス モデルの平均および共分散行列を推定する方法について詳しく説明します。
CS480/680 講義 8: ロジスティック回帰と一般化線形モデル
CS480/680 講義 8: ロジスティック回帰と一般化線形モデル
「CS480/680: ロジスティック回帰と一般化線形モデル」に関する講義のこの最初の部分では、指数分布族の考え方と、分類問題に使用される強力な手法であるロジスティック回帰との関係を紹介します。この講義では、ロジスティック回帰は、特定のデータセットの事後をモデル化する最適なロジスティック関数を適合させることを目的としており、少数の次元と重みの問題については、ニュートン法を使用して目的関数 (凸) の最小値を見つけることができることを説明します。関数。講師はまた、レコメンダー システムと広告掲載におけるロジスティック回帰の重要性についても強調しています。この手法はシンプルで効率的であるため、ユーザーの特性や行動に基づいてパーソナライズされた推奨を行うのに最適です。
この講義では、ロジスティック回帰と一般化線形モデルのトピックも取り上げます。講師は、任意の大きな重みによって引き起こされる過剰適合の問題やヘッセ行列の特異点の問題など、ロジスティック回帰に対するニュートン法の限界について説明します。過学習を防ぐために、正則化が推奨されます。インストラクターは、非線形セパレーターを効率的に操作するために使用できる一般化線形モデル (GLM) を紹介します。 GLM には、マッピングが非線形である限り、線形回帰と分類を非線形方法で実行できる新しい空間への入力のマッピングが含まれます。この講義では、非線形回帰と分類を実行するために使用できる基底関数とその型についても説明します。
CS480/680 講義 9: パーセプトロンと単層ニューラルネット
CS480/680 講義 9: パーセプトロンと単層ニューラルネット
この講義では、分類用の線形分離器を生成する基本タイプであるパーセプトロンに焦点を当ててニューラル ネットワークを紹介します。この講義では、アクティベーション関数を通過して出力を生成する入力の線形結合を計算するために重みを使用する方法と、AND、OR、NOT ゲートなどの論理ゲートを近似するためにさまざまな重みを使用する方法について説明します。講師は、フィードフォワード ニューラル ネットワーク、パーセプトロン学習アルゴリズムをバイナリ分類に使用する方法、勾配降下法で重みを最適化する方法について説明します。データを分離するための線の使用の制限について説明し、ロジスティック シグモイド アクティベーション関数を使用して重みをトレーニングする方法に焦点を当てて、ロジスティック シグモイド アクティベーション関数を可能な解決策として紹介します。
パーセプトロンと単層ニューラル ネットに関するこの講義では、二乗誤差を最小限に抑えるためのロジスティック シグモイド活性化関数の使用と、逐次勾配降下法における重要なパラメーターとしての学習率の導入について説明します。また、講師は、ゴミ保持関数を使用して任意の関数に任意に近似するために複数の層を持つニューラル ネットワークを構成する方法と、任意の関数を学習するためにネットワークをトレーニングするためにバックプロパゲーションを使用する方法を示します。講師はニューラル ネットワークの多用途性と効率性を強調し、音声認識、コンピューター ビジョン、機械翻訳、単語の埋め込みなどのさまざまな問題の解決にニューラル ネットワークが広く使用されていると述べています。
CS480/680 講義 10: 多層ニューラル ネットワークとバックプロパゲーション
CS480/680 講義 10: 多層ニューラル ネットワークとバックプロパゲーション
多層ニューラル ネットワークとバックプロパゲーションに関するこの講義では、線形モデルの限界と、多層ニューラル ネットワークなどの非線形モデルの必要性について説明します。講師は、ニューラル ネットワークで使用できるさまざまな活性化関数と、それらの関数によって非線形基底関数がどのように可能になるかについて説明します。講義では、バックプロパゲーション アルゴリズムを使用して、ニューラル ネットワークのすべての重みに対する誤差の勾配を計算する方法について説明します。自動微分ツールは、ニューラル ネットワークでデルタと勾配を効率的に計算する方法としても説明されています。全体として、この講義では、幅広い機能を近似する際のニューラル ネットワークの柔軟性と能力を強調します。
このビデオの講師は、収束の遅さ、局所最適化、非凸最適化、過学習など、ニューラル ネットワークの最適化の問題について説明します。収束の遅さを克服するには、正則化やドロップアウトなどの手法を使用できます。さらに、講演者は最適化のための勾配降下の動作について説明し、効率を向上させるためにステップ サイズを最適化する必要性を強調します。 DES グラント アルゴリズムは、各次元の学習率を個別に調整するソリューションとして提案されています。講演者は、以前の勾配の加重移動平均である RMSProp も紹介します。最後に、講演者は Adam について説明します。これには、勾配自体の加重移動平均を取得することが含まれており、これが SGD Nesterov などの他の手法よりも優れていることが示されています。
CS480/680 講義 11: カーネルメソッド
CS480/680 講義 11: カーネルメソッド
この講義では、非線形関数を使用して 1 つの空間から新しい空間にデータをマッピングすることにより、一般化線形モデルをスケールアップする方法としてカーネル法の概念を紹介します。デュアル トリックまたはカーネル トリックは、追加コストを支払わずに高次元空間での作業を可能にする手法として説明されており、新しい空間内の点のペアの内積を計算するカーネル関数の使用につながります。多項式カーネルやガウス カーネルなど、カーネルを構築するためのさまざまな方法について説明します。これらの方法は、データ ポイント間の類似性の測定に使用でき、分類タスクに役立ちます。複雑さを制御できる新しいカーネルを構築するために、カーネルを構成するためのルールも導入されています。この講義では、グラム行列は正の半定値であり、ゼロ以上の固有値を持つ必要があるため、ファイ転置ファイと対応する関数を選択することの重要性を強調しています。
カーネル法に関するこの講義では、講演者はカーネルを、行列とその転置を掛けた行列に分解できる正の半定値関数として定義します。文字列、セット、グラフなどのさまざまなタイプのデータを比較するための、多項式やガウスなどのさまざまなタイプのカーネルとそのアプリケーションについて説明します。講演者はまた、部分文字列の長さを増やし、動的プログラミングを使用することで、部分文字列カーネルが単語間の類似性を迅速に計算する方法についても説明します。さらに、サポート ベクター マシンは、ロイターのニュース記事を使用した文書分類の実行に効果的であることが示されています。
CS480/680 講義 13: サポート ベクター マシン
CS480/680 講義 13: サポート ベクター マシン
この講義では、分類に使用されるカーネル手法の一種であるサポート ベクター マシン (SVM) について説明します。 SVM は、データ量が少ない場合の問題に対して依然としてよく使用されており、データのサブセットを処理し、残りを無視できるため、スパースであると考えられています。講演者は、決定境界に最も近いデータ ポイントであるサポート ベクトルの概念と、マージンを最大化しながらクラスを分離するための線形分離器を見つける SVM の視覚的な例について説明します。 SVM とパーセプトロンの違いについて説明します。SVM は独自の最大マージン線形セパレータを採用しており、過剰適合が起こりにくいです。 SVM の最適化問題は、ラグランジアンを使用して書き直すことができ、制約のない同等の問題が得られます。ラグランジアンから得られた解を代入して戻すと、カーネル関数を含む式が得られ、二重問題の最適化が可能になります。データ ポイントのペア間の類似性を計算するカーネル関数を使用して二重空間で作業する利点についても説明します。 SVM は、クエリ ポイントとすべてのサポート ベクターの間の類似度を計算して、最も類似したものを決定します。議論は、サポート ベクターの数とそれがポイントの分類に与える影響についても展開します。
このビデオでは、ドキュメントが単語数のベクトルとして表現される、テキスト分類におけるサポート ベクター マシン (SVM) の概念について説明します。 SVM は最悪の場合の損失を最小限に抑えるのに効果的で、異なるデータセットであっても分類器をあらゆるサンプルに適したものにします。研究者は、二重表現とカーネル マッピングを備えた SVM を使用して、精度を失ったりスケーラビリティを犠牲にしたりすることなく、データをさらに高次元の空間にマッピングしました。この講義では、データセットから関連ドキュメントを取得し、精度と再現率のバランスをとるための SVM の使用法についても説明します。このビデオは、データの線形または非線形分離器を提供する SVM の機能と、マルチクラス分類および非線形分離可能データに関連する課題についてのディスカッションで終わります。
CS480/680 講義 14: サポート ベクター マシン (続き)
CS480/680 講義 14: サポート ベクター マシン (続き)
講義のこのセクションでは、サポート ベクター マシン (SVM) を使用する際に、スラック変数を導入し、ソフト マージンを考慮することで、非線形分離可能なデータと重複するクラスを処理することに焦点を当てます。講演者は、スラック変数を使用すると、分類エラーを引き起こすことなくマージン内の点を分類できる方法について説明します。ペナルティ項が最適化問題に追加され、スラック変数の使用を規制します。重み C によって制御され、誤差の最小化とモデルの複雑さの間のトレードオフが調整されます。講演者は、1 対すべて、ペアごとの比較、連続ランキングなど、マルチクラス分類問題に SVM を使用するさまざまなアプローチについても説明します。後者は、複数のクラスを持つ SVM に対する事実上のアプローチです。さらに、マルチクラス マージンの概念が導入されます。これには、クラスの各ペアの重みベクトルの差によって定義される、線形セパレータの周囲のバッファが含まれます。
CS480/680 講義 15: ディープ ニューラル ネットワーク
CS480/680 講義 15: ディープ ニューラル ネットワーク
このビデオでは、ディープ ニューラル ネットワークの概念、勾配消失問題、画像認識タスクにおけるディープ ニューラル ネットワークの進化など、ディープ ラーニングの基本について説明します。講師は、ディープ ニューラル ネットワークを使用して関数をより簡潔に表現する方法と、ネットワークが深くなるにつれてより高レベルになる特徴をどのように計算するかについて説明します。勾配消失問題の解決策には、修正線形単位 (ReLU) やバッチ正規化の使用が含まれます。この講義では、最大出力ユニットと、複数の線形部分を可能にする ReLU の一般化としてのその利点についても説明します。
ディープ ニューラル ネットワークに関する講義では、効果的なディープ ラーニングのために解決が必要な 2 つの問題、つまり、多層ネットワークの表現力による過学習の問題と、複雑なネットワークをトレーニングするための高い計算能力の要件について説明します。講師は、トレーニング中の正則化やドロップアウト、計算中の並列コンピューティングなどのソリューションを提案します。この講義では、入力ユニットと隠れユニットの大きさをスケーリングすることによって、テスト中にドロップアウトを使用する方法についても詳しく説明します。最後に、音声認識、画像認識、機械翻訳におけるディープ ニューラル ネットワークの画期的なアプリケーションをいくつか紹介して講義を終了します。