機械学習とニューラルネットワーク - ページ 26

[MetaQuotes]

講義 5. 正定行列と半正定行列

5. 正定行列と半正定行列

このビデオでは、スピーカーは固有値、行列式、ピボットなど、線形代数の以前の講義のハイライトをまとめています。これらはすべて、正定行列のテストを提供します。次にスピーカーは、正定行列と不定行列の関係、固有値と行列式との関係、および行列のベクトル X のエネルギーを計算する方法を説明します。スピーカーは、ディープ ラーニング、ニューラル ネットワーク、機械学習、およびエネルギーの最小化の概念についても説明します。凸関数の概念に触れ、深層学習でどのように使用できるかを説明しています。最後に、スピーカーは、正定行列と半正定行列の演習を紹介し、特異値分解の今後のトピックについて簡単に言及します。

• 00:00:00 このセクションでは、固有値、行列式の転置、およびピボットを含む線形代数の前の 5 つの講義のハイライトを要約します。これらはすべて、正定行列のテストを提供します。彼は、正定行列は対称行列の中で最も優れており、固有値が正であると説明していますが、固有値以外にも追加のテストがあります。スピーカーは、正の固有値、正の行列式、正のピボットを持つかどうか、または特定の方法で因数分解できるかどうかを尋ねることによって、2 行 2 列の行列が正定かどうかを判断する方法を示します。
  
  
• 00:05:00 このセクションでは、スピーカーは正定行列と不定行列、および固有値と行列式との関係について説明します。行列式は、固有値の積であるため、固有値に関連付けられます。行列式が負の場合、少なくとも 1 つの負の固有値が存在します。不定行列は、対角要素を調整することで正定値にすることができ、先頭の行列式 (左上隅にある部分行列の行列式) は、正定性を保証するためにテストに合格する必要があります。スピーカーはまた、ピボットを決定要因と排除に結び付けます。最終的に、話者は正定値行列をエネルギー テストに合格するものとして定義します。
  
  
• 00:10:00 このセクションでは、スピーカーは行列のベクトル X のエネルギーを計算する方法を示し、正定行列のエネルギーがゼロより大きいことを示します。この場合、エネルギーは純粋な二次関数であり、トレーニング データと得られた数値の差を最小限に抑えるためにディープ ラーニングで使用される損失関数である可能性があります。行列 3 と 6 の対角数は対角部分を与え、負になる可能性がある交差項は 8 X Y を与えます。
  
  
• 00:15:00 このセクションでは、スピーカーはディープ ラーニング、ニューラル ネットワーク、機械学習、およびエネルギーの最小化の関係について説明します。講演者はボウルにたとえて、ニューラル ネットワークが問題の最小二次方程式を見つける方法と、非線形項があると問題がより複雑になる方法を視覚的に示します。次に、100,000 を超える変数を含む複雑な関数を最小化する必要があるため、大規模な問題の機械学習では計算に 1 週間以上かかることを説明します。スピーカーは、凸関数のアイデアにも触れ、深層学習でどのように使用できるかを説明します。
  
  
• 00:20:00 このセクションでは、深層学習、ニューラル ネットワーク、および機械学習で使用される主要なアルゴリズムである勾配降下の概念について説明します。アルゴリズムは、サーフェス上の最初の点から開始して、関数の導関数を計算して最も急な傾斜または勾配の方向を決定し、最小値に達するか上向きになるまでこのパスをたどります。このアルゴリズムでは、必要なレベルの精度が達成されるまで、各ステップで勾配を再計算します。
  
  
• 00:25:00 このセクションでは、最適化のために機械学習で一般的に使用される勾配降下の概念について説明します。多数の変数の二次導関数の計算は複雑になる可能性があるため、通常は最適化のために一次導関数のみが計算されることが述べられています。ただし、勾配降下には、狭い谷を下る場合など、制限があります。正定値行列は、最適化のためにボウルのような形状を与えるため重要ですが、固有値が大きく離れていると、問題が発生する可能性があります。最後に、会話は宿題に移ります。
  
  
• 00:30:00 このセクションでは、スピーカーは正定行列と半正定行列の演習を紹介します。話し手は、正定行列 S と正定行列 T の例を示し、それらの加算 S + T が正定行列かどうかを尋ねます。スピーカーは、エネルギー テストを使用してこの質問に答え、方程式を 2 つの部分に分けて、実際に正定であることを示します。スピーカーは、最初のテストを使用して、sin の逆数の陽性についても説明します。スピーカーは、マトリックスが実固有値を持つ前に対称でなければならず、さらに質問を受けることができることに注意します。
  
  
• 00:35:00 このセクションでは、スピーカーは正定行列の概念について説明し、半正定行列のアイデアを紹介します。正定行列は、すべての固有値が正である対称行列です。スピーカーは、直交行列が正定値行列でその転置をどのように時間をかけ、対称行列を与えるかを示します。次に、同様の行列が同じ固有値を持つこと、およびこの新しい対称行列が実際に正定であることを説明します。次にスピーカーは、ゼロ以上の固有値を持つ半定値行列の概念を紹介します。彼らは、半正定行列がゼロの行列式を持ち、ゼロの固有値が 1 つある可能性があることを説明していますが、それらのトレース値は正の数を与えます。
  
  
• 00:40:00 このセクションでは、正定行列の概念を拡張して、正定行列の端にある正半正定行列を含めます。すべてが 1 の行列の固有値は、3、0、および 0 になるように計算され、正の半正定行列になります。 0 以上の固有値とエネルギーのテストは同じままですが、従属列が許可されるようになりました。行列は対称でなければならず、ランクが 1 のみの場合は正定値にはなりませんが、固有値が正の場合は半正定値になります。
   
  
• 00:45:00 このセクションでは、スピーカーは、次のセクションのトピックは特異値分解 (SVD) になると簡単に述べています。彼らはまた、正定行列と半正定行列をカバーしたことにも注目しており、線形代数のより高度なトピックに移行していることを示しています。

[MetaQuotes]

講義 6. 特異値分解 (SVD)

6. 特異値分解 (SVD)

このビデオでは、行列を 3 つの行列に因数分解するために使用される特異値分解 (SVD) の概念について説明します。中央の行列は対角であり、特異値が含まれています。 SVD は、A、シグマ、および V の関係を理解するのに役立ち、最終的に方程式を解くのに役立ちます。このビデオでは、SVD における直交ベクトル、固有ベクトル、固有値の重要性について説明し、A 行列と V 行列の直交性を強調しています。このビデオでは、SVD プロセスのグラフィカル表現と行列の極分解についても説明しています。最後に、ビデオでは、SVD を使用して大きなデータ マトリックスの最も重要な部分を抽出するプロセスについて説明します。

• 00:00:00 このセクションでは、インストラクターは、固有値に似ていますが、矩形行列に適用できる特異値分解 (SVD) の概念について説明します。固有ベクトルは複素数であるか、または直交していないため、固有値は四角行列には適していません。 SVD は、固有ベクトルと固有値の代わりに、特異ベクトルと特異値の 2 つのセットをそれぞれ導入します。 SVD の鍵は、転置 a が正方行列であり、長方形の行列の積を表す優れた行列であるということです。 SVD を実行するための最初のステップは、任意の行列を u × シグマ × V 転置に因数分解できることを示すことです。
  
  
• 00:05:00 このセクションでは、スピーカーは行列 A 転置 A の因数分解について説明し、固有ベクトルと固有値の概念を紹介します。行列には正定の固有値があり、平方根の計算に使用されます。この行列の固有ベクトルは、正方、対称、および正定値です。結果の行列の固有値は同じですが、固有ベクトルは異なります。次にスピーカーは、A の因数分解について話します。ここでは、直交ベクトル U のセットを取得するために A を乗算できる直交ベクトル V のセットを探します。これらのベクトルは、特異値分解 (SVD) を計算するために使用されます。 ）。 SVD の目標は、A を 3 つの行列に因数分解することです。ここで、中央の行列は対角であり、A の特異値を含みます。
  
  
• 00:10:00 このセクションでは、出力空間における V の直交特性の概念を、空間が列空間、ヌル空間などに分割される線形代数の全体像で調べます。 V に a を掛けると、結果の使用も直交し、V が特別になることが示されています。方程式の行列形式が提示され、転置 a を見ることによって、直交および正規直交の使用法を見つける問題を単純化できることが明らかになります。転置 a は対称で、正定値であり、V の性質を示す対角形式を持つと結論付けられます。
  
  
• 00:15:00 このセクションでは、スピーカーは特異値分解 (SVD) の概念について説明します。 SVD の V は、A の転置の固有ベクトルです。シグマ転置シグマは、A 転置 A の固有値です。SVD は、2 重または 3 重の固有値の固有ベクトルを理解する最終ステップを実行することによって確立されます。 SVD は、A、シグマ、および V の関係を理解するのに役立ちます。これは、最終的に、A × A 転置 × X = B のような方程式を解くのに役立ちます。
  
  
• 00:20:00 このセクションでは、選択した基底ベクトル U が直交していることを証明する特異値分解 (SVD) プロセスの最終ステップについてスピーカーが説明します。そうするために、スピーカーは、U1 と U2 の内積がゼロに等しいことを示します。 U1 は AV1/Sigma1 であり、U2 は AV2/Sigma2 であるため、分数の分母が相殺され、V1 転置に行列 V2 を掛けたもの、つまり Sigma2 転置 V2 が残ります。 V2 は A 転置 A の固有ベクトルであるため、U1 と U2 の間の内積はゼロに等しく、基底ベクトル U が直交することが証明されます。
  
  
• 00:25:00 このセクションでは、スピーカーは、特異値分解 (SVD) における A 行列と V 行列の直交性、および固有ベクトルとの関係について説明します。 A 行列と V 行列は、それぞれ列と行の空間で互いに直交することが示されています。次にスピーカーは、データ マトリックスにおけるこの関係の発見の歴史と重要性について説明します。話者は、SVD の計算に A 転置 A を使用しないように警告します。これは、計算コストが高く、丸め誤差に対して脆弱である可能性があるためです。最後に、話者は図を使用して、SVD 要因が一連の回転とストレッチとしてどのように考えられるかを説明します。
  
  
• 00:30:00 このセクションでは、特異値分解 (SVD) の概念を、プロセスをグラフィカルに表現して説明します。このビデオでは、直交行列が単位ベクトルをどのように回転させ、シグマがそれらをどのように伸ばして楕円になるかを示しています。最後に、楕円を回転させる直交行列 U が適用されます。行列が正定かつ対称である場合、U は V と同じであり、最初に入力として与えられた S は A 出力と同じです。このビデオでは、因数分解のパラメーターをカウントする方法についても説明しています。
  
  
• 00:35:00 このセクションでは、スピーカーは、特異値分解 (SVD) における左辺と右辺の数値の一致について、2 x 2 の例を使用して説明します。 SVD の回転には 2 つのパラメーターが必要ですが、ストレッチには 2 つのパラメーターが必要です。合計すると、SVD の 4 つの数値に一致する合計 4 つのパラメーターになります。さらに、スピーカーは 3 x 3 行列の SVD の計算について話し、3D 空間での回転には 3 つのパラメーター、つまりロール、ピッチ、ヨーが必要であることを示唆しています。最後に、スピーカーは、テキストで提示された SVD の例が特定の行列用であることに言及し、固有値と特異値に関するいくつかの事実を紹介します。
  
  
• 00:40:00 このセクションでは、スピーカーは、SVD 積の行列式が特異値の積に等しいことを説明します。使用された例は、シグマの積も行列式に等しいことを示しています。ただし、引数の平方根を取らなければならないため、SVD の例を計算するには時間がかかります。講演者は、SVD の最も重要な部分が次のセッションで使用されることを強調します。これには、ゼロ以外の値で構成され、それぞれヌル スペースの要素を説明する、より小さい SVD 形状とより大きい SVD 形状が含まれます。
  
  
• 00:45:00 このセクションでは、スピーカーは行列の極分解を紹介します。これは、任意の行列を対称行列に直交行列を掛けたものに因数分解します。これは工学と幾何学で有名な因数分解で、SVD からすぐに取得できます。 ID を入れてわずかにシフトすることで、S と Q を SVD から読み取って行列のこの分解を復元できます。これは、機械工学の言語では、任意の歪みを対称的なストレッチと内部のねじれとして記述できることを示しています。 .
  
  
• 00:50:00 このセクションでは、マトリックスの一部はノイズであり、一部は信号であるため、データ サイエンスが実行しなければならない、大きなデータ マトリックスの最も重要な部分を抽出するプロセスについてスピーカーが説明します。信号の最も重要な部分を見つけるために、スピーカーは u シグマ Vtranspose を調べて、最も重要な数であるシグマ 1 を選び出します。この数は、その列と行とともに、行列の最も重要な部分を形成します。最も実質的なランク 1 であり、したがって分散が最も高い行列の一部です。次のステップは、これら 3 つの要素を計算して、データをより完全に理解することです。

[MetaQuotes]

講義 7. Eckart-Young: A に最も近いランク k 行列

7. Eckart-Young: A に最も近いランク k 行列

この YouTube ビデオでは、講師が主成分分析 (PCA) の概念を説明しています。これは、データのマトリックスを理解し、そこから意味のある情報を抽出するために使用されます。最も重要な情報を含む行列の最大 k 個の特異値の重要性が強調され、特異値分解の最初の k 個の部分がランク k 行列の最良の近似を提供するという Eckart-Young の定理が強調されます。 、紹介されています。スピーカーは、l2、l1、および無限大のノルムを含む、ベクトルと行列のさまざまなタイプのノルムについても説明します。 Netflix のコンペティションと MRI スキャンにおけるフロベニウス ノルムの重要性が、A に最も近いランク k 行列の概念とともに強調されます。スピーカーは、元の行列のプロパティを維持するための直交行列の使用についても説明し、その概念を紹介します。特異値分解 (SVD) とそれが PCA にどのように関係するかについて説明します。最後に、長方形行列 A とその転置を含む連立方程式を解くことの重要性と、特定のデータセットの年齢と身長の最適な比率を見つける際の SVD 法の使用について説明します。

• 00:00:00 このセクションでは、データのマトリックスを理解するために使用されるツールである主成分分析 (PCA) の概念について講師が説明します。彼は、データをすべてコピーするのではなく、データから意味のある情報を抽出することの重要性を強調しています。彼は、行列の最大の k 個の特異値に最も重要な事実が含まれており、K がランク K 行列の最良の近似値であると説明しています。特異値分解の最初の K 個を使用することがランク K 行列の最良の近似値であるという Eckert-Young の定理が紹介され、講師は行列のノルムのさまざまな尺度について説明します。
  
  
• 00:05:00 このセクションでは、スピーカーはベクトルと行列のさまざまな種類のノルムについて説明します。 l2 ノルム、または最大特異値は、行列の重要なノルムです。話者は、l1 ノルムを使用して関数を最小化する場合、勝者のベクトルはまばらであるか、ほとんどが 0 成分で構成されており、信号処理とセンシングに役立つと説明しています。 l1 ノルムは基底追跡とも呼ばれ、勝利ベクトルの構成要素を解釈できるため重要です。 l2 ノルムと l1 ノルムが比較され、話者は無限大ノルムも紹介します。
  
  
• 00:10:00 このセクションでは、スピーカーは 3 つの重要なマトリックス基準について説明します。 1 つ目は 2 つのノルムで、ベクトルの長さに似ており、三角形の不等式を満たします。 2 つ目はフロベニウス ノルムで、行列のエントリを長いベクトルのように扱い、それらの平方和の平方根をとります。 3 つ目は、行列の特異値の合計である核ノルムです。これらのノルムはすべて、行列に最も近いランク K 近似をその最初の K 個の特異値から見つけることができるという Eckart-Young のステートメントを満たすため、重要です。
  
  
• 00:15:00 このセクションでは、スピーカーは行列の L2 ノルムとフロベニウス ノルムが特異値のみに依存する方法について説明します。フロベニウス ノルムは、参加者がエントリのない映画ランキングの大規模なマトリックスを完成させなければならなかった Netflix のコンペティションで使用され、マトリックスの最高の核ノルム完成のための正しいノルムであることが判明しました。このマトリックス補完の方法は現在、データが欠落している MRI スキャンに使用されており、不完全なデータでも優れた画像を生成できます。
  
  
• 00:20:00 このセクションでは、スピーカーは A に最も近いランク k 行列の概念について説明します。核の規範。与えられた例はランク 4 の行列であり、ランク 2 の最良の近似値を見つけるために、話者は 4 と 3 を 2 つの最大値として選択します。他の行列 B は、この選択された行列よりも A から離れていますが、ノルムに依存するため明らかではありません。定理の要点は、A に最も近いランク k 行列を見つけるのは容易ではなく、証明が必要であるということです。
  
  
• 00:25:00 このセクションでは、スピーカーは対角行列が見た目ほど特別ではないことを説明し、特定の行列の両側で乗算するために使用できる直交行列の概念を紹介します。話し手は、行列の特異値に直交行列を掛けるとどうなるかという問題を提起し、特異値は変わらないことを説明します。講演者はまた、ベクトルのノルムは直交行列によって変更されないことを説明し、直交行列は元の行列の特性を維持するという点で対角行列と同じくらい優れていると結論付けています。
  
  
• 00:30:00 このセクションでは、マトリックス QA のコンテキストで特異値分解 (SVD) の概念を説明しました。行列 QA の SVD は、その右側の対角行列シグマで構成されます。シグマの右側に V 転置。 Q u は直交行列です。このセクションでは、主成分分析 (PCA) の概念を紹介し、データ ポイントから意味のある洞察を抽出する方法について説明しました。 PCA の最初のステップは、各コンポーネントのデータ ポイントの平均値を差し引いて平均ゼロを取得することでした。このセクションでは、結果の値を使用してコンポーネント間の線形関係を見つける方法についてさらに説明しました。
  
  
• 00:35:00 このセクションでは、スピーカーは主成分分析 (PCA) と最小二乗法との違いについて説明します。最小二乗は点と線の間の誤差を測定しますが、PCA は線からの点の垂直距離を測定し、それらの二乗を合計してそれらを最小化します。したがって、この問題の解決策には、通常の線形代数に見られる方程式ではなく、特異値分解 (SVD) シグマが含まれます。話者は、PCA で最適な線形関係を見つける問題と最小二乗解を見つける問題を区別します。前者の問題は非線形データを線形にモデル化することを目的としているためです。
  
  
• 00:40:00 このセクションでは、スピーカーは、長方形行列 A とその転置を含む線形連立方程式を解くことの重要性について説明します。これは 1806 年の基本的なアプリケーションですが、これは統計学者が長い間適用してきた主成分分析 (PCA) と同じではないことにスピーカーは注意します。彼は、平均と分散を含む共分散行列またはサンプル共分散行列が、そのような統計アプリケーションで大きな役割を果たしていることに注目しています。特に、サンプル共分散行列はサンプルから計算され、データ ポイントの数によって正規化されます。これは、まさにトレーニング aa 転置です。
  
  
• 00:45:00 このセクションでは、スピーカーは、特定のデータセットの年齢と身長の最適な比率を見つけることに関する問題を紹介します。目的は、与えられたデータと解の間の距離を最小限にすることです。話者は、答えは正しい方向を指すベクトルを見つけることにあると示唆しています。これは対称正定行列の主成分である可能性があります。この問題の解決策として SVD 法が提案されている．

[MetaQuotes]

講義 8: ベクトルと行列のノルム

講義 8: ベクトルと行列のノルム

この講義では、L1 ノルムや最大ノルムを含むベクトルと行列のノルムの概念と、圧縮センシングや信号処理などの分野への応用について説明します。講義では、ノルムにおける三角不等式の重要性、s ノルムの形状、ベクトルと行列の L2 ノルムの関係についても説明します。さらに、この講義では、ニューラル ネットワークを最適化するための推測として残っているフロベニウス ノルムと核ノルムを探り、学生と一緒に教え、学ぶことの重要性を強調します。

• 00:00:00 このセクションでは、スピーカーは、MIT のスローン スクールの教職員による、人々がコイン トスの結果を推測する方法に関する興味深い観察について説明します。理論的には、最適な戦略は一貫して表を当てることですが、表が出る確率ははるかに高いにもかかわらず、人や動物は約 4 分の 1 の確率で尻尾を当てることになると彼は説明します。スピーカーが説明を聞くのに十分な時間がなかったため、この理由は説明されていません。講演者はまた、ノルムの概念と、ベクトル、行列、テンソル、および関数のサイズを測定する際の重要性についても簡単に紹介します。
  
  
• 00:05:00 このセクションでは、ベクトルと行列のノルムの概念について説明します。講師は、圧縮センシングと信号処理の分野で不可欠な L1 ノルムや最大ノルムなどのさまざまな種類のノルムを紹介します。彼は、P ノルムは、P 乗と P 乗をここで P に等しくすると説明しています。ここで、P 乗と P ルートを取得すると、V のノルムと比較して 2 倍の係数を持つ 2 つの V のノルムが得られます。さらに、ゼロノルムが導入され、ゼロでない成分の数が行列とベクトルのスパース性の尺度を与えます。ただし、同じ数の非ゼロ成分が同じノルムを持つというルールに違反しているため、それはノルムではなく、適切なノルムが存在する1と無限の間の数学論文が議論されています。
  
  
• 00:10:00 このセクションでは、講師がベクトルと行列のノルムについて説明します。ノルムの単位球は、方程式 v1 の 2 乗と v2 の 2 乗が 1 に等しい円です。 l1 ノルムの単位球は、v1 と v2 の直線グラフが正の象限の 1 に等しいひし形です。最大ノルムの単位球も点 0、+/- 1、および +/- i が最大値に等しくプロットされ、境界の残りの部分を理解するには少し考えなければなりません。数 p が変化すると、ノルムはひし形で始まり、p が 2 に等しいところで円に膨らみ、p が無限大に等しいところで正方形になります。最後に、0 ノルムは含まれず、非ゼロが 1 つだけのポイントが軸上にあります。
  
  
• 00:15:00 このセクションでは、講師は、L1 またはマンハッタン ノルム、L2 またはユークリッド ノルム、正定対称行列のノルムである s-ノルムなど、さまざまなタイプのノルムについて説明します。講師は、p が 1 未満の Lp ノルムを使用する場合など、特定の場合に破られる、ノルムにおける三角形の不等式の重要性に注意します。さらに、s-ノルムは、ノルムのルールに違反する特定のノルムによって所有されていない、凸性プロパティを満たす特定の形状を持つことが示されています。
  
  
• 00:20:00 このセクションでは、講師がベクトルと行列に適用できるさまざまな種類のノルムについて説明します。行列 S が単位行列の場合は L2 ノルムが使用されますが、別の行列 S を使用するとノルムの形状が変わります。典型的なケースは S が 3 に等しい場合で、楕円で表される加重ノルムが作成されます。すべてのベクトル ノルムは、P の値が異なる L2 ノルムのバリエーションです。講師は、それぞれの L1 ノルムと L2 ノルムを使用した基底追跡問題とリッジ回帰についても簡単に説明します。
  
  
• 00:25:00 このセクションでは、講師が最適化におけるノルムの概念、特に L1 および L2 ノルムについて説明します。最小の L2 ノルムと最小の L1 ノルムを持つ直線上の点を見つける例を使用して、講師は、最小の L1 ノルムを持つ点が勝者であり、最も多くのゼロを持ち、スパース ベクトルになることを強調します。これは、より高い次元に拡張され、L1 ノルムを特別なものにする重要な事実です。全体として、この講義では、ニューラル ネットワークと一般的な生活を最適化する際の規範のニュアンスと適用について詳しく説明します。
  
  
• 00:30:00 このセクションでは、スピーカーは L1 ノルムの勝者と、2 番目のコンポーネントで非ゼロを増加させるため、ラインをさらに上に行くことがどのように推奨されないかについて説明します。彼らはまた、行列の 2 ノルムの概念と、それがブローアップ係数 (X の 2 つのノルムに対する AX の 2 つのノルムの最大比率) を介してベクトルの 2 つのノルムにどのように接続されるかを紹介します。行列のノルムは、すべての X に対する最大ブローアップ係数として定義されます。
  
  
• 00:35:00 このセクションでは、講師が行列のノルムと、行列の適切なノルムを見つける方法について説明します。彼は、2 つのノルムによって得られる比の最大値をシグマ 1 と呼ぶと説明しています。この値を使用すると、特異ベクトルをすべて見つけなくても、特異ベクトルを特定できます。さらに、他のマトリックス ノルムは、そのベクトル ノルムのブローアップ ファクターを最大化することによって取得できます。特異ベクトルはノルムを見つける方法であるため、対称でない行列を扱う場合、固有ベクトルは機能しない場合があります。
  
  
• 00:40:00 このセクションでは、講師が行列のフロベニウス ノルムについて説明します。フロベニウス ノルムは大文字の F で表され、すべての行列要素の二乗和の平方根に相当します。このノルムは、SVD の特異値の 2 乗であるシグマに関連しています。さらに、講義では、直交行列とフロベニウス ノルムがどのように結び付けられているか、および核ノルムが深層学習の最適化アルゴリズムとどのように関連しているかを探ります。
  
  
• 00:45:00 このセクションでは、講師は、モデルの状況では、勾配降下による最適化が核ノルムを最小化する重みを選択するという推測について説明します。核ノルムは、行列の特異値の合計であり、ベクトルの L1 ノルムに似ています。この推測は証明されていませんが、このアイデアにはディープラーニングと圧縮センシングへの潜在的な応用があります。講師は、自分の仕事は生徒を採点することではなく、生徒と一緒に教えて学ぶことだと強調しています。講義は、セクション 8 と 9 のノートを使用する宿題 3 の発表で終了します。

[MetaQuotes]

講義 9. 最小二乗問題を解く 4 つの方法

9. 最小二乗問題を解く 4 つの方法

このビデオでは、インストラクターが最小二乗法の概念とそれにアプローチするさまざまな方法について説明します。彼は最小二乗法の重要性を強調しています。最小二乗法は線形代数の本質的な問題であり、コース全体をまとめる接着剤として機能するからです。このビデオでは、行列の疑似逆行列、可逆行列と非可逆行列の SVD、ガウスの計画や直交列など、最小二乗問題を解くためのさまざまな方法について説明します。このビデオでは、L2 ノルムの 2 乗を使用して ax + b と実際の測定値との間の距離を最小化するという考え方と、それが線形回帰と統計にどのように関連するかについても説明しています。さらに、ビデオは、機械学習や深層学習などの分野に焦点を当てた、コースで学習した資料を使用するプロジェクトへの洞察を提供します。

• 00:00:00 このセクションでは、インストラクターが最小二乗法の重要性と、最小二乗法が線形代数においていかに重要な問題であるかについて説明します。彼は、最小二乗法にアプローチするにはさまざまな方法があり、この主題がコース全体をまとめる接着剤であると述べています。彼はまた、最終試験やテストはありませんが、代わりに、コースで学んだ資料を使用するプロジェクトを奨励すると述べています.プロジェクトには、機械学習やディープ ラーニングなどのさまざまな領域が含まれます。プロジェクトの詳細については、時期が来たらメッセージを送ります。
  
  
• 00:05:00 このセクションでは、スピーカーは行列の疑似逆行列の概念を説明します。逆行列が存在する場合は、それを乗算して元のベクトルに戻しますが、逆行列のない行列の場合は、疑似逆行列を使用します。これは、マトリックスが長方形である場合、固有値がゼロである場合、またはヌル スペースがある場合に関係します。話者は、行と列のスペースの図を使用して、画像のどの部分が反転可能で、どの部分が不可能かを説明します。疑似逆行列は、行列が可逆でない場合に問題を解決するために使用され、適切な解決策を提供します。
  
  
• 00:10:00 このセクションでは、行列を反転できない状況で行列の疑似逆行列を定義する方法をスピーカーが説明します。彼らは、行列のヌル空間を処理する方法と、その場合に疑似逆行列が何をすべきかについて議論しています。話者は、列空間と誰もそれを打っていない直交空間で疑似逆数が何をすべきかについての計画を提供します。 SVD を使用して、行列を単位行列の上半分とゼロの下半分に射影する疑似逆行列の式を提供します。
  
  
• 00:15:00 このセクションのビデオでは、可逆行列の SVD (特異値分解) について説明しています。ここで、SVD は V を U に、またはその逆に戻します。マトリックスが可逆でない場合、その SVD では、長方形のシグマ マトリックスを疑似逆マトリックスに置き換える必要があります。このビデオは、2 つの独立した列を持つ行列の例を示しています。ここで、シグマには非ゼロが 2 つしかなく、残りはゼロであり、完全な特異な状況を表しています。結果として、最適なオプションは、シグマ逆数の代わりにシグマの疑似逆数を使用することです。
  
  
• 00:20:00 このセクションでは、シグマの疑似逆数であるシグマ プラスの概念が、反転できない長方形行列のソリューションとして紹介されています。疑似逆行列は、式 ax が B に等しいが、a が可逆でない最小二乗問題を解くために使用されます。この問題は、測定値またはノイズが多すぎる場合に発生します。シグマ プラス行列は、列空間のベクトルを取得するために使用されますが、直交空間のベクトルは解けないと見なされます。最小二乗問題を解く最初の方法は、シグマ プラス行列を使用して解を求めることです。
  
  
• 00:25:00 このセクションでは、スピーカーは線形方程式系を使用して、ノイズの多い測定値に直線を適合させる最小二乗問題について説明します。彼らは、測定値が線上にある場合、線形システムには解があると説明していますが、一般的にはそうではありません。次に、L2 ノルムの二乗を使用して、ax + b と実際の測定値との間の距離を最小化するというアイデアを紹介します。この手法は Gauss によって提案され、測定値に最も近い直線を表す方程式 Cx + D で C と D の最良の値を見つけるために使用されます。
  
  
• 00:30:00 このセクションでは、スピーカーは最小二乗法の概念と、それを使用して線形回帰と統計で解決できない問題を解決する方法について説明します。二次損失関数を最小化することにより、ガウスのアドバイスに従って、最終的に最良の答えを与える一次方程式のシステムが生成されます。最良の X は、式 a 転置 a × X が転置 B に等しいという式を解くことによって見つけられます。これにより、最小値が得られます。次にスピーカーはグラフを描き、A の列空間の概念と、B が列空間にないこと、および平方と正規方程式がどのように最適な AX につながるかを説明します。
  
  
• 00:35:00 このセクションでは、スピーカーは最小二乗問題を解くさまざまな方法について説明します。方法 2 では、MATLAB で行列を使用して正規方程式を解きます。ただし、行列にほぼ特異な列がある場合、この方法は機能しない場合があります。方法 3 では、ガウスの計画を使用します。これは、行列が独立した列を持つ場合、つまり行列が可逆である場合にのみ機能します。疑似逆法は、行列が可逆ではなく、独立した列を持つ場合にも使用できます。マトリックスの可逆性の重要性は、セクション全体で強調されています。
  
  
• 00:40:00 このセクションでは、話者は、ヌル スペースがゼロの場合、疑似逆法からの答えは、転置 a 逆 a 転置 B の方法から得られる答えと同じであると説明します。スピーカーは、転置のヌル空間は可逆ではないが、転置 a は可逆であることに注意します。さらに、スピーカーは、行列 aa 転置が逆になるように最善を尽くしているが、十分に近いものではないと説明しています。疑似逆数は、ランクが等しい場合に機能することが示されています。
  
  
• 00:45:00 このセクションでは、スピーカーは最小二乗問題を解くためのさらに 2 つの方法について説明します。 3 番目の方法では、最初に直交列を取得する必要があります。これにより、問題がより簡単になります。 Gram-Schmidt 手順は、自然な方法で直交ベクトルを取得する 1 つの方法です。最小二乗問題を解決する最後の 4 番目の方法については詳しく説明しませんが、実際のデータはしばしばまばらであるという事実を利用する必要があります。スピーカーは、最小二乗法は新しい概念ではなく、正当な理由で引き続き使用されることに注意して締めくくります。

[MetaQuotes]

講義 10: Ax = b の難しさの調査

講義 10: Ax = b の難しさの調査

数値線形代数に関するこの講義では、Ax=b 形式の線形方程式を解くことの難しさについて説明します。これらの問題は、行列 A がほぼ特異であり、その逆行列が不当に大きくなる場合、および実行可能な時間内に解くことが不可能な巨大な行列では問題が大きすぎる場合に発生します。講師は、問題を解決するためのいくつかの可能性を概説します。これは、簡単な通常のケースから、劣決定方程式の非常に難しいケースにまで及びます。ランダム化された線形代数、反復法、および SVD の使用について説明し、特にディープ ラーニングを使用して、テスト データで機能するソリューションを見つけることの重要性について説明します。さらに、講師は、SVD がマトリックスの問題を診断するための最良のツールであることを強調しています。

• 00:00:00 このセクションでは、講師は、方程式 Ax = B を解こうとするときに発生する可能性のある問題について説明します。彼は、問題がさまざまなサイズとランクで発生する可能性があり、ほぼ特異である場合とほぼ特異でない場合があることに注意します。彼は、合理的な条件数を持つ正方行列の簡単な通常のケースから、劣決定方程式の非常に難しいケースまで、問題を解決するためのいくつかの可能性を概説しています。後者の場合、講師は問題が深層学習では一般的であり、複数の解決策が存在する可能性があることに注意します。
  
  
• 00:05:00 このセクションでは、講師が Ax = b の難しい問題とそのアプローチ方法について説明します。これらの問題は通常、行列の列がほぼ従属関係にある場合に発生し、特定の行列の列 a1、a2 から an までを受け入れることが困難になります。これに対する解決策は、Gram-Schmidt を使用し、列を直交化して固定することにより、その列空間で正規直交列ベクトルを見つけることです。講師は、Gram-Schmidt の議論を次の講義に保存しますが、列の並べ替えを可能にする列のピボットの重要性をプレビューします。これは、排除にも適用できる概念です。
  
  
• 00:10:00 このセクションでは、講師は Ax=b 形式の線形方程式を解く際の難しさについて説明します。これには、行列がほぼ特異であり、その逆行列が不当に大きくなる可能性も含まれます。講師は逆問題についても話します。これは通常、システムの出力はわかっているが、ネットワークの構造または入力を決定する必要がある問題です。これらの問題は多くの場合、ほぼ特異な行列を与えるため、問題を最小限に抑えるためにペナルティ項を追加せずにシステムを正確に解くことは困難です。 Leu と QR の世界、行交換、および Gram-Schmidt 直交化についても言及されています。
  
  
• 00:15:00 このセクションでは、Ax=b 法を使用して一次方程式を解く際の困難について学びます。そのような問題の 1 つは、行列 A の条件が悪く、ベクトルがゼロに近づき、転置 a の巨大な逆数になる場合です。これに対抗するには、A にペナルティを課す必要があります。これにより、A はより適切に調整されますが、問題はどれだけペナルティを課すかを決定することにシフトします。もう 1 つの方法は、共役勾配法などの反復法です。この方法では、正確な答えが十分に近づくまで、正確な答えにどんどん近づいていきます。問題が大きすぎて実現可能な時間内に解くことが不可能な巨大な行列の場合、ランダム化された線形代数を使用して行列の列と行をサンプリングし、サンプルから答えを提供します。
  
  
• 00:20:00 このセクションでは、講師がランダム化された線形代数を使用して、行列が妥当な場合に難しい問題の解を決定する方法について説明します。解が正しいという保証はありませんが、不等式の確率を使用すると、問題の適切な解が得られる可能性があります。反復法とランダム化アルゴリズムは、SVD の使用とともに、解を見つける方法として説明されています。講師は、テスト データ、特にディープ ラーニングで機能するソリューションを見つけることの重要性を強調し、この問題で発生する深い数学的問題について説明します。 SVD は、行列がほぼ特異である場合の潜在的な解として説明されています。
  
  
• 00:25:00 このセクションでは、教授は、大きな逆数が存在する場合に、ax から B の 2 乗を引いた最小和を見つける問題を正則化する方法について説明します。正のデルタを含む追加のペナルティ項で最小二乗問題を使用することにより、この値がゼロになったり、おかしくなったりしても、問題は解決可能であり、関数は特異点から離れていることが保証されます。デルタがゼロになると、結果の動作が大幅に変化します。この要因は、システム内のノイズのレベルに依存する場合があります。
  
  
• 00:30:00 ビデオのこのセクションでは、スピーカーは特定のデルタのソリューションについて議論し、ソリューションがいつ存在するかを分析しています。焦点は、ペナルティ付き最小二乗問題の最小値を見つけることを含む、1 つずつ問題を解決することにあります。方程式は微分をゼロに設定することで解かれ、得られた X 値を使用して、デルタがゼロになる限界を決定します。 2 つの可能性は、シグマがゼロではなく解がシグマの逆数に近づくか、シグマがゼロで解が存在しないことです。
  
  
• 00:35:00 ビデオのこのセクションでは、スピーカーは、ペナルティ項がゼロになったときのペナルティ スクエア アプローチの動作について説明します。スピーカーは、この場合、システムが奇妙な方法で動作し、ゼロと非ゼロの境界が突然分岐することに注意します。この制限は疑似逆数として識別され、デルタがどんどん小さくなるにつれて、システムの解は疑似逆数に近づきます。これは、システムにとって常に正しい解です。スピーカーは、実際のケースでは、このアプローチは、電気回路の抵抗やインダクタンスなど、システムの未知のパラメーターを見つけるのに役立つことに注意しています。
  
  
• 00:40:00 このセクションでは、講師は、問題 Ax=b の解は、問題を正則化するためにペナルティ項を追加することによって達成できると説明しています。ペナルティ項は、L1 ノルムを使用して導入できます。これにより、答えに小さなコンポーネントが多くない疎解が得られます。また、ピボットの有無にかかわらず、従来の線形代数とグラム-シュミットにおける反復法の重要性についても説明しています。しかし、彼は次の講義でそれらのトピックをカバーすることにしました。
  
  
• 00:45:00 このセクションでは、講師は、SVD が行列に関することを証明するための効果的なツールである方法について説明します。乱雑な問題を中間の対角行列シグマに関する問題に単純化します。これが、行列の問題を診断するのに役立つ理由です。さらに、講師は、シグマを対角行列として使用して、問題の特殊なケースの式を提供します。これは、特に各対角エントリでのシグマの動作を理解することが、そのようなケースを追求する上で不可欠であることを意味します。講師が強調する SVD は、依然としてこのための最良のツールです。最後に、講師は、この講義は数値線形代数が扱うものを概観するものであり、まだすべてのトピックがカバーされているわけではありませんが、残りのセッションで説明されることを強調しています.

[MetaQuotes]

講義 11: 最小化 ‖x‖ 条件 Ax = b

講義 11: 最小化 ‖x‖ 条件 Ax = b

この講義では、スピーカーは数値線形代数に関連するさまざまなトピックを扱います。彼らは、Ax=b を解くときに発生する可能性のある問題について議論することから始め、次に、空間の直交基底を見つけるためのグラム-シュミット法、および Ax = b を条件として「x」を最小化するための修正されたグラム-シュミット法に移ります。 .講演者はまた、より専門的なグラム シュミット アルゴリズムにおける列交換または列ピボットの概念を紹介し、行列 A の列を正規化するための標準的なグラム シュミット プロセスの改善について説明します。また、クリロフ空間の考え方にも触れます。問題 Ax=b を解くため、および Ax = b の条件で ‖x を最小化するための適切な基礎を持つことの重要性。最後に、彼らは、Ax=b を前提として x を最小化する問題を終了し、非常に大きな行列を扱う問題に取り組んでいると述べています。

• 00:00:00 このセクションで、講師は 3 つのことを述べています。まず、A が大きすぎてコアに収まらないが他の方法が利用できる場合など、Ax=b を解くときに発生する可能性がある問題。第二に、彼は自分の本の 2 ページのラフな最初のドラフトを示し、それを完成させ、改善するために彼が経験した 2 年間のプロセスを説明しています。 3 番目に、彼は、L1、L2、L 無限大ノルムの違いを視覚的に表現して、満たされた方程式の制約で解く条件について、L1 または L2 または max L 無限大ノルムなどのさまざまなノルムを最小化することについて説明します。
  
  
• 00:05:00 このセクションでは、スピーカーは、L1、L2、および L 無限を含む、さまざまなノルム空間でのさまざまな単位球の勝利点について説明します。彼は、それぞれの場合で勝利点、つまり最初にラインに触れる点を見つける方法を示しています。それから彼は、その日のトピックである Gram-Schmidt を紹介します。これは、直交しながら同じ空間にまたがる異なるベクトルのセットを見つけることによって、非直交行列を直交にする方法です。彼は、Gram-Schmidt の一般的な事実を概説し、それが線形代数コースで教えられる標準的なトピックであると述べています。
  
  
• 00:10:00 このセクションでは、教授がグラム-シュミット法について説明します。このプロセスは、行列の全体像を開き、直交行列である列 Q1 から Qn を含む直交行列を取得します。行列 R は、Q がどのような組み合わせで構成されているかを示すために使用されます。逆に、A が最終的な Q にどのように関連しているかを示すために使用されます。R の方程式は Q 転置時間 A であり、R のエントリは Q の内積です。アスと。教授は、直交行列 Q があるため、R について不思議なことは何もないことを示しています。MATLAB コマンドは、A の Lu ではなく、A の QR になります。
  
  
• 00:15:00 このセクションでは、空間の直交基底を見つけるためのグラム-シュミット法について説明します。講義は非直交基底集合から始まり、目的は直交基底集合を構築することです。このプロセスは、最初の列ベクトルを最初の基底ベクトルとして開始し、次に 2 番目のベクトルを取得して、これを最初のベクトルと直交化します。次のステップでは、最初の 2 つのベクトルに直交する 3 番目のベクトルを作成します。これは、基底セット全体が直交して構築されるまで続きます。最後に、各ベクトルをそのノルムで除算して、各基底ベクトルを単位ベクトルにします。 Gram-Schmidt は、非直交基底セットを使用して、射影法に適した直交セットを生成します。
  
  
• 00:20:00 このセクションでは、スピーカーは、Ax = b を条件として 'x' を最小化するための修正された Gram-Schmidt 法について説明します。彼らは、ベクトルから Q1 と Q2 のコンポーネントを減算し、結果のベクトルが直交していることを確認するプロセスを説明しています。彼らはまた、消去中に行を順番に取得する危険性に対処し、修正されたグラム-シュミット法を使用して計算エラーを回避することを提案しています。
  
  
• 00:25:00 講義のこのセクションでは、スピーカーは、より専門的なグラム シュミット アルゴリズムにおける列交換または列ピボットのアイデアについて説明します。消去法と同様に、gram-schmidt では、列の新しい部分が小さすぎると、削除できない丸め誤差が生じる可能性があります。したがって、アルゴリズムがピボットのサイズをチェックし、必要に応じて行を交換することが不可欠です。カラム交換の背後にある主なアイデアは、次のステップを決定する前に、カラムの新しい部分を他のすべての潜在的な可能性と比較して、最大のコンポーネントを見つけることです.このプロセスは、結果の精度に影響を与える可能性のある丸め誤差を回避する上で重要です。
  
  
• 00:30:00 このセクションでは、スピーカーは、行列 A の列を直交正規化するための標準的なグラム シュミット プロセスの改善について説明します。新しい各列を直交正規化します。話者は、必要なすべての減算がとにかく早く計算されるため、これは標準的な方法よりも手間がかからないと主張します。改善は、残りの最大の列を選択することに依存しており、ガウス消去法で最大のピボットを選択するのと似ています。
  
  
• 00:35:00 このセクションでは、講師がクリロフ空間の考え方を紹介して、大きな行列問題 Ax=b を解きます。クリロフ空間は、空間にまたがるベクトルの組み合わせであり、講師はこれらのベクトルの組み合わせを使用して、その空間における最小二乗解 XJ を見つけます。クリロフ空間は、A に J ベクトル (最大 A^k-1B) を掛けることによって決定されます。講師は、問題 Ax=b を解決するために、この空間で最適解を探します。ただし、この方法にはまだ落とし穴があります。
  
  
• 00:40:00 このセクションでは、スピーカーは、Ax = b を条件として「x」を最小化するための適切な基礎を持つことの重要性について説明します。計算を容易にするためには、基底を直交化する必要があります。ここで、ノルデとランのショーが貢献します。直交基底は射影に最適であり、スピーカーは計算を容易にする方程式を説明します。 Q が直交している場合、係数 C は、与えられたベクトル X と各 Q の内積を計算し、次に Q 転置を適用することによって簡単に見つけることができます。これにより、問題を効率的に解決できます。
  
  
• 00:45:00 講義のこのセクションでは、スピーカーは、基底の概念と、グラム-シュミットまたはクリロフ ベクトルを使用して適切な基底を見つける方法について説明します。講演者は、この場合はグラム-シュミット法を使用することが望ましいことを指摘し、数値線形代数に関する本のセクション 2.1 にも言及します。このセクションには、クリロフ、アーノルディ、ランチョスなどの分野で一般的な手法がまとめられています。彼は、このトピックについてさらに学びたい人のための優れた教科書として、Golub と van Loan による「Numerical Linear Algebra」を推奨しています。
  
  
• 00:50:00 ビデオのこのセクションで、講演者は、Ax=b を前提として x を最小化する問題が終了し、非常に大きな行列を処理する問題に取り組んでいると述べています。

[MetaQuotes]

講義 12. 固有値と特異値の計算

12. 固有値と特異値の計算

このビデオでは、固有値と特異値を計算するための QR 法が紹介されています。このプロセスでは、目的の行列から開始し、それを QR に因数分解して、非直交基底を直交基底に接続する上三角行列 R を作成します。このプロセスは対角要素が小さくなるまで繰り返され、その時点でそれらを使用して固有値を近似できます。講演者は、固有ベクトルを計算してプロセスを高速化するためのシフト法についても説明します。対称行列に MATLAB を使用する利点も強調されています。このビデオでは、大きな行列の固有値問題を解くためのクリロフ ベクトルの概念についても触れています。

• 00:00:00 このセクションでは、教授が行列の固有値と特異値を計算するための QR 法を紹介します。 QR 法では、固有値が必要な行列から開始し、それを QR に因数分解します。行列の列は、それらを直交化し、非直交基底を直交基底 (上三角) と接続する行列 R を作成することにより、直交基底に変換されます。次に、この方法では順序を逆にして同じことを繰り返して、次の行列を生成します。教授は、固有値は変換の前後で同じであり、行列は類似していると主張しています。これは、行列の特異値を計算するのに役立ちます。
  
  
• 00:05:00 このセクションでは、教授が QR 分解を使用して固有値を計算するプロセスを説明します。このプロセスでは、結果の行列の対角要素が非常に小さくなるまで、QR 分解を複数回繰り返します。この時点で、対角要素は元の行列の実際の固有値に近くなり、それらを近似するために使用できます。教授はまた、非対角エントリが 3 乗されて急速にゼロに近づき、メソッドが非常に正確になるという、メソッドの高速収束も強調しています。
  
  
• 00:10:00 このセクションのビデオでは、固有ベクトルを計算するためのアルゴリズムの改善について説明しています。これには、シフトの導入が含まれます。行列 A を使用する代わりに、行列 A - siI を使用します。ここで、si は単位行列の倍数です。これは、行列 A のすべての固有値を si だけシフトします。次に、このシフトされた行列を処理し、グラム-シュミット プロセスを実行し、順序を逆にして A にできるだけ近い行列を取得します。最後に、シフトを元に戻して、新しい行列 A1 を取得します。 A1 は依然として A に似ていますが、計算時間はより高速です。
  
  
• 00:15:00 このセクションでは、教授が行列の固有値を計算するための QR 法について説明します。彼は、QR 法を使用して行列の下三角部分が消え始め、固有値が対角線上に現れ始めることを示す不完全な例を示しています。次に教授は、元の行列のゼロを利用して QR 法の効率を改善する方法について説明します。ゼロを含む余分な対角線がある場合、QR 因数分解プロセスのいくつかのステップをスキップすることで、メソッドを高速化できます。
  
  
• 00:20:00 このセクションでは、スピーカーは固有値と特異値を計算する方法について説明します。下三角部分全体をゼロにすることは不可能であるため、すべての固有値を取得することはできません。これにより、固有値が得られます。これは、固有値が n 次の方程式を解くためであり、何世紀も前に、簡単な手順で瞬時の方程式を解くことは不可能であることが証明されていました。さらに、ラムダや特異値を見つける簡単な式はありません。ただし、QR 法を続けて、行列を 1 つの三角形ともう 1 つの対角線を含むヘッセンベルグ形式に縮小することで、好きなだけ近づけることができますが、ゼロがたくさんあります。 MATLAB およびその他の行列システムは、la pack および Linpack を使用してこれらの値を計算します。
  
  
• 00:25:00 ビデオのこのセクションでは、講演者が MATLAB を使用する利点について説明し、対称行列の特性についての洞察を提供します。彼は、行列が対称である場合、主対角線の上に対角線が 1 つしかないことを安全に予測できるため、3 対角行列になると説明しています。これにより、N^2 ではなく 2n の数値を処理するだけで済むため、QR 計算の実行時間が大幅に短縮されます。話し手は特異値についても簡単に触れ、それらは転置行列の固有値であると述べていますが、行列式を使用してそれらを計算しないように警告します。遅く、条件が悪く、情報の損失につながるからです。
  
  
• 00:30:00 このセクションでは、スピーカーは直交行列を使用して対称行列を単純化し、固有値を簡単に見つけられるように三重対角にするという概念について説明します。次に、スピーカーは、特異値を変更しないで単純化するために、一般行列に何ができるかという問題を提起します。スピーカーは、この質問を SVD に結び付け、直交行列による乗算など、特定の操作の下での特異値の不変性について説明します。特異値を不変のままにする他の操作は何かという問題は、聴衆が検討するために未解決のままです。
  
  
• 00:35:00 このセクションでは、講師は直交行列 Q を特異値を持つ対角行列に乗算する効果について説明します。対角行列に Q を掛けても特異値は変わらず、異なる直交行列を使用して方程式の両側で行うことができることが示されています。この柔軟性の向上により、行列を 3 対角から 2 対角に減らすことができ、アルゴリズムが各ステップを進むにつれて高速になります。講師は、行列の乗算を単純化する上での双対角行列の有用性についても説明します。
  
  
• 00:40:00 このセクションでは、スピーカーは固有値と特異値の計算、特に最大 1000 次数の行列について説明します。 SVD では、行列の転置を調べます。これは三重対角になります。特異値を見つけるには、行列の転置を行うことができますが、その固有値を見つけるには、対称で三重対角である必要があります。この方法は、一定のサイズまでの行列に対して有効であり、それを超えると、スパース行列に対して Krylov の方法を使用できます。クリロフの方法では、行列を特定のサイズ (通常は 100 × 100) に制限し、その空間で固有ベクトルを見つけます。
  
  
• 00:45:00 このセクションでは、講演者は、大きな行列の固有値問題を解くために使用できるクリロフ ベクトルと呼ばれるアプローチについて説明します。元の行列よりも次元が小さいクリロフ ベクトルに行列演算を適用することで、より小さな固有値問題を作成して解くことができます。正確な固有値を提供するわけではありませんが、クリロフ ベクトルは特定の問題に対して適切な近似値を提供できます。講演者はまた、大きな行列のランダム サンプリングのアイデアを紹介し、これについては次の講義で説明することに言及しています。

[MetaQuotes]

講義 13: ランダム化された行列の乗算

講義 13: ランダム化された行列の乗算

このビデオ講義では、ランダム化された行列乗算の概念について説明します。これには、行列 A の列と対応する行列 B の行を、合計が 1 になる確率でサンプリングすることが含まれます。無作為標本の平均値を計算して正しい答えを得ることができますが、それでも分散があります。講義では、平均と分散の概念と、分散を最小化する最良の確率を選択する方法について説明します。このプロセスでは、ラムダと呼ばれる未知の変数を導入し、それに関する導関数を取得して最適な PJ を見つけます。次に、行列のどの列が大きいか小さいかを調べるときに、確率をどのように重み付けするかという問題に焦点が移ります。講師は 2 つの可能性を提案します: ノルムの 2 乗に従って確率を重み付けするか、行列の列を混合して等しい確率を使用します。全体として、このビデオでは、ランダム化された行列の乗算と、最小の分散を得るために確率を最適化するプロセスについて詳しく説明しています。

• 00:00:00 ビデオのこのセクションでは、スピーカーは、ランダム化された行列乗算の概念を説明します。これは、ランダム化された線形代数に該当するアイデアです。この方法は、行列 A の列と対応する行列 B の行をサンプリングすることによって大きな行列に使用されますが、それらすべてではありません。代わりに、合計 1 になる確率でさまざまなピースがランダムにサンプリングされます。無作為標本の平均値を計算することにより、正しい答えを得ることができますが、それでも分散があります。目標は、分散を最小化する最良の確率を選択することです。講義では、平均と分散の概念について説明し、例を使って練習します。
  
  
• 00:05:00 このセクションでは、スピーカーは行列乗算のランダム化されたサンプリング プロセスについて説明します。このプロセスでは、確率がそれぞれ半分の 2 つの列を取得し、それらを加算してから、それらをサンプリングした回数で割ります。次に、2 つのサンプルの平均を計算する式を使用して、ランダム化されたマトリックスの平均が計算されます。分散は 2 つの方法のいずれかを使用して計算されます。1 つは異なる出力値の 2 乗の確率を加算する方法で、もう 1 つは平均値から平均距離を 2 乗する方法です。
  
  
• 00:10:00 ビデオのこのセクションでは、スピーカーは統計における平均と分散の概念と、それらがランダム化された行列乗算の分散を計算する現在の例とどのように関連しているかについて説明します。彼は、分散は平均の両側にある点間の二乗和の測定値であり、彼の例では、出力と平均の差の二乗を合計していると説明しています。次に、彼は特定の例の分散を計算します。これには、2 つの可能な結果とそれぞれの確率が含まれます。
  
  
• 00:15:00 このセクションでは、スピーカーは分散の計算について説明し、確率と平均二乗からの距離を使用した分散の新しい式を紹介します。スピーカーはまた、線形代数におけるランダム化されたサンプリングの概念と、B が A よりもはるかに大きい場合に、確率を調整することが分散を減らすのにどのように役立つかについても説明します。これについては、今後さらに議論する予定です。最後に、スピーカーは、確率と出力の 2 乗からの距離を含む分散の 2 番目の公式に言及します。
  
  
• 00:20:00 このセクションでは、スピーカーは確率の平均と分散について説明し、平均を引くときに平均二乗を計算する 2 つの方法を示します。次に、行列のどの列が大きいか小さいかを調べるときに、確率をどのように重み付けするかという問題に焦点が移ります。話者は 2 つの可能性を提案します。1 つはノルムの 2 乗に応じた重み付け確率、もう 1 つは行列の列を混合して等しい確率を使用する方法です。スピーカーは最初のアプローチを支持し、ノルムの二乗に比例する確率を使用する方法を説明します。
  
  
• 00:25:00 このセクションでは、講師が、合計が 1 になるように確率を再スケーリングする方法を説明します。次に、特定の確率で行列と列行 J を選択する計画と、それらをどのように乗算するかについて説明します。彼の近似、近似 aB は、S 個のサンプルにわたるこれらすべてのサンプルの合計になります。講師はまた、計画は総分散を最小化するように PJ を選択することであり、平均が正しいことにも言及しています。
  
  
• 00:30:00 このセクションでは、ランダム化された行列乗算でサンプルの分散を計算する方法を講師が説明します。すべてのサンプルの合計の平均は、1 つのサンプルの平均にサンプル数を掛けることによって計算されます。これは、分散の計算の難しい部分につながります。分散の計算は、サイズに応じた確率で選択された P1 から PR までのピースに依存します。ランク 1 であるため、各サンプルは確実に間違っています。そのため、分散を計算すると、絶対にゼロにはなりません。サンプルの分散は、AJ AJ 転置確率の 2 乗の合計になります。この計算から平均二乗を差し引いて、完全な分散を取得します。
  
  
• 00:35:00 このセクションでは、スピーカーは PJ の値を代入し、分母を JP j bj ノルムの JPG の合計に単純化します。最初の累乗を合計して C を取得することにより、話者は分散の式を取得します。 s 個のサンプルを取得してそれらを組み合わせた後、分散は固定数になります。これは、小さくしたい C です。話者は、a の長さと B の長さの積に基づいて確率の重みを選択することにより、これが最良の選択であることを示したいと考えています。
  
  
• 00:40:00 このセクションでは、スピーカーは、行列 A の行または列と行列 B の行の確率 P1 から PR を最適化する最終ステップについて説明します。ただし、これらの合計が 1 になるという制約が適用されます。最適な PJ を選択して分散式を最小化することです。講演者は、最適な PJ を見つけるために、ラムダと呼ばれることが多い未知の数を導入することによって関数に制約を組み込むラグランジュのアイデアを紹介します。このセクションでは、ランダム化されたサンプリングの説明を終了し、最後のサブ問題に進みます。
  
  
• 00:45:00 このセクションでは、講師は確率を 1 に追加するという条件の下で確率を最適化するというラグランジュのアイデアの概念について説明します。このプロセスでは、方程式を関数に組み込み、未知の変数であるラムダに関する導関数を取得します。導関数をゼロに設定して解くと、最終的な推奨される答えが得られます。これは、P に関する導関数を取得することで検証できます。また、講師は、ラグランジュ乗数が方程式を 1 に等しくするための正しい数であると説明しています。
  
  
• 00:50:00 このセクションでは、ランダム化されたシステムで最小の分散を得る確率を選択するプロセスについて教授が説明します。彼は、列が大きいほど理想的な確率が高くなるため、無作為抽出の前に列の長さを見つけることが前提条件であると述べています。分散を計算するのは少し難しいかもしれませんが、将来は確率をより真剣に使用するようになるため、学生がよりよく理解できるように、ノートをゆっくりと読み、式を再検討することを奨励しています。

[MetaQuotes]

講義 14. A の下位変化とその逆数

14. A の下位変化とその逆数

このビデオでは、低ランク行列の概念と関数行列におけるそれらの重要性、特に単純な 1 行 1 列の行列に関して N 行 n 列の行列の逆を求める逆行列式について説明します。この式は、摂動のランクが低い行列の逆行列を見つけるのに役立ち、逆行列を見つけるプロセスを簡素化できます。スピーカーは、2 番目のマトリックスの式を提示することで式がどのように機能するかを示し、答えに到達するために同じロジックがどのように適用されたかを示します。このビデオでは、特に最小二乗問題とカルマン フィルターにおける、この式の実用的なアプリケーションについても説明します。

• 00:00:00 このセクションでは、低ランク行列の概念と関数行列におけるその重要性について教授が説明します。焦点となるトピックは、逆行列の公式と呼ばれる有名な公式であり、A の下位変化とその逆行列としても知られています。この式は、UV 転置を使用し、それを 1 から V × U の転置を引いたもので割った、より単純な 1 行 1 列の行列に関して、N 行 n 列の行列の逆行列を求めます。摂動をランク付けし、逆数を見つけるプロセスを簡素化するために使用できます。教授は、この式がどのように機能するか、およびその実用的なアプリケーションについて説明します。
  
  
• 00:05:00 このセクションでは、スピーカーは行列をランク 1 で変更すると、逆行列がランク 1 でどのように変化するかについて説明します。彼が提示する式は、1 x 1 の逆数に関して N x n の逆数を計算します。これは非常に便利です。次に、スピーカーは、要求された逆行列を元の行列で乗算し、恒等行列を取得することを期待して、式を確認する方法を示します。スピーカーは、2 番目のマトリックスの式を提示することで式がどのように機能するかを示し、答えに到達するために同じロジックがどのように適用されたかを示します。
  
  
• 00:10:00 行列 A の下位変化とその逆の式。この式は、N × n 行列の逆数をとることを含みますが、恒等行列の摂動が小さい K × K 行列に切り替えることができます。この式はチェックによって真であることが示され、行列 A を摂動するのに役立ちます。この式を発見した個人の名前もリストされています。
  
  
• 00:15:00 このセクションでは、スピーカーは、低ランクの行列 A の逆行列を取るときに発生する変化について議論しています。彼らは代数操作を使用して、A の逆行列を取るときに、特定の項があることを示します。省略され、簡略化された表現につながります。スピーカーは、公式が恒等行列を生成することを確認することで公式を証明できる一方で、そもそも公式がどのように導き出されるかを検討することが重要であることに注意します。彼らは、式を使用して、最小二乗法で新しい測定値または観測値を使用して線形システムを解くことを提案しています。
  
  
• 00:20:00 このセクションでは、スピーカーは、最小二乗問題を解くときに新しい測定値を処理する方法を説明します。方形行列 A を使用して、もう 1 つの測定点またはデータ ポイントを解に追加すると、新しい行列と右辺が求まります。ただし、行列の乗算 A^TA を再計算する代わりに、スピーカーは行列を新しい測定値で拡張し、転置し、それを使用して更新された解を計算する方法を説明します。既に計算されたものを使用することで、最小二乗問題をより計算効率よく解くことができます。
  
  
• 00:25:00 このセクションでは、スピーカーは摂動 A とその逆関数を新しいデータで説明します。これにより、A 転置 A でランク 1 の変化がもたらされます。この概念は最小二乗問題に適用でき、カルマン フィルターはこのアプローチを使用する再帰的最小二乗法。カルマン フィルターは、新しいデータを追跡し、ソリューションを更新することによって、ミサイルや衛星の誘導に利用されます。これは、この概念の実際の重要なアプリケーションです。
  
  
• 00:30:00 ビデオのこのセクションでは、スピーカーは、Sherman-Morrison-Woodbury の式を適用して、A の下位変化とその逆数を計算する方法を説明しています。彼らは、動的最小二乗法に使用されるカルマン フィルターには、考慮される 2 つの追加要素、共分散行列と状態方程式があると述べています。共分散行列は誤差がどのように相関しているかを扱い、状態方程式は衛星 (例では) がどれだけ移動する必要があるかを示します。カルマン フィルターは、大きな部分を変更せずに測定値の変更を処理する、再帰的二乗法の改良版です。
  
  
• 00:35:00 このセクションでは、スピーカーは、線形システムを解く際の低ランク更新式の使用について説明します。この式には、解かれた問題の行列をランク 1 で摂動させ、元の行列の逆数を使用して新しい問題をすばやく解くことが含まれます。このアプローチは、新しい問題を解決するために必要な時間を大幅に短縮することができ、従来の消去法では時間がかかる大規模な行列に特に役立ちます。
  
  
• 00:40:00 このセクションでは、スピーカーは、さまざまな問題のソリューションを組み合わせて逆行列を見つける方法を説明します。行列 A を Lu に因数分解することにより、難しい作業はすべて左側で行われ、さまざまな右側の解を見つけるには、逆代入のみが必要です。 Sherman-Morrison-Woodbury の式を使用すると、解 W と Z を組み合わせることで答え X を得ることができます。この式は、Sherman-Morrison Woodbury に由来する項によって解 W を変更し、分子の項は の倍数です。 Z×X。
  
  
• 00:45:00 このセクションでは、スピーカーは行列 A の低ランクの変更がその逆にどのように影響するかについて説明し、K x K 行列を切り替えて反転することで N x N 行列を反転する式を提供します。この式には、反転のコピーを減算し、他のいくつかの部分を追加することが含まれ、最終的に元の反転に対してランク K の変更が行われます。講演者は、この式には実際的な応用があることに注意し、後で参照できるように視聴者に書き留めるよう勧めています。
  
  
• 00:50:00 このセクションでは、スピーカーは K 行 K 列の行列の逆数について説明し、前の 1 時間と 50 分で説明された式が豊富であることを認めます。このセクションは、メモがいくつかのアプリケーションをカバーし、低ランクの他の側面に対処することに移ることを述べて締めくくります。