Philipp Hennig は、機械学習の数値に関する彼のコースを紹介しています。このコースは、機械学習アルゴリズムがボックス内でどのように機能するか、および学習機械を改善するためにそれらをどのように適応または変更できるかを探求することを目的としています。数値アルゴリズムと機械学習アルゴリズムの高度な専門知識は、研究者や業界の専門家から非常に求められています。このコースは、理論とコーディング作業で構成され、課題はバイナリ システムで採点されます。 Hennig は、機械学習における数値アルゴリズムの重要性を強調し、9 人のインストラクターによるこのユニークな教育実験に学生を招待しています。
00:00:00 このセクションでは、Philipp Hennig が、機械学習における数値アルゴリズムを理解することの重要性を紹介します。機械学習アルゴリズムはデータを入力として受け取り、世界で予測または行動するモデルを生成しますが、実際の学習プロセスには数値計算が含まれます。従来の AI アルゴリズムとは異なり、最新の機械学習アルゴリズムは、これらの計算のプリミティブとして、線形代数、シミュレーション、統合、最適化手法などの数値アルゴリズムを使用します。 Philipp は、数値アルゴリズムを、閉じた形式の解を持たず、常に機能する原子操作とは異なり、うまくいかない数学的量を推定する方法として定義しています。数値アルゴリズムは機械学習の中心であるため、正しく機能するように理解することが重要です。
00:25:00 このセクションでは、Philipp Hennig がモデリング システムでの微分方程式の使用、特にシミュレーションで一般的に使用される SIR モデルと、ロックダウンなどの実世界のダイナミクスをこれらのモデルに組み込む課題について説明します。彼は、ニューラル ネットワークを使用して係数ベータを時間依存にすることを提案していますが、コードに導関数がないためにそうするのが難しいと指摘しています。ただし、彼は、この問題を解決する Jax のアルゴリズムの最近の開発を強調しています。
00:30:00 このセクションでは、複雑な問題を解決する現在の方法である、シミュレーションベースの推論と呼ばれるアルゴリズムについて Philipp Hennig が説明します。このアルゴリズムには、関数 f を複数回評価して勾配を返し、勾配降下ステップを実行するネストされた for ループが含まれます。 Hennig は、このプリミティブ コードよりも柔軟で高速なアルゴリズムを作成するために、フォトン コード内で手続き型の方法で数値のリストを構築し、それらを適応させる独自のメソッドを構築できると説明しています。この方法には、未知の要因についてアルゴリズムに通知するために、確率分布や情報演算子などの演算子をそれに掛けることができるマルコフ連鎖のスパインが含まれます。これにより、時間のかかる外側のループで for ループを何度も呼び出すことなく、これらの問題を解決できます。
The first lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
00:10:00 このセクションでは、スピーカーは機械学習における線形代数の重要性について説明し、この重要性を示す例を示します。行列ベクトル乗算、線形システム ソリューション、行列分解などの線形代数操作は、多くの機械学習モデルの基本です。さらに、多くの機械学習モデルは、線形システムを解く目的で行列のノイズの多い推定値を使用するため、実際にはノイズが多いことに注目しています。最後に、ガウス密度の場合と GP 回帰では、最大事後推定値を得るために対数行列式が不可欠であることを強調しています。
00:35:00 このセクションでは、Marvin Pförtner が線形システムのソリューションについて説明します。この解には、M プラス 1 の解が必要です。ここで、M はリグレッサーを評価するデータ ポイントの数です。ほとんどの場合、システムは対称で正定値ですが、システムは通常巨大であるため、利用する追加の構造が存在する可能性があり、通常、非常に大きなデータセットではこれを解決できません。非常に重要な行列分解の 1 つは、Lu 分解です。下三角システムを解くために使用されるアルゴリズムは前方置換であり、行列を 4 つの部分に分解します。右下隅のスカラー、その上の列はゼロ、左側の行ベクトル、および L マイナス li と呼ばれる別の三角形部分です。その上に 1 を引いたもので、これも下三角です。
00:40:00 このセクションでは、Marvin Pförtner が、システム マトリックスが n から 1 を引いた次元の下三角行列であるシステムを解く方法について説明します。最後の行を分割することにより、システムは単純なアルゴリズムを使用して解決できます。次に、再帰的な方法を使用して、特定の次元のシステムを解きます。 Pförtner は、彼が Lu 分解と呼んでいるものを使用して行列を下三角部分と上三角部分に分割する方法も説明しています。これは、分割と征服の手法を使用した再帰的な定義です。この手法は、行列を反転し、線形システムの解法を低コストにするのに役立ちます。プロセスは O(N^3) ではなく O(N^2) です。
00:45:00 このセクションでは、連立方程式を解くための Lu 分解法について説明します。このメソッドは、行列を下三角行列と上三角行列に分解し、線形システムの解をより高速に計算できるようにします。このプロセスでは、下三角行列の左部分の対角要素を 1 に設定し、部分ピボットを使用して安定性とロバスト性を確保します。メソッドの効率性にもかかわらず、O(n^3) の計算コストを考慮する必要があります。
00:50:00 このセクションでは、Marvin Pförtner が UD 分解の計算時間について説明し、それを適切に実装する方法を示します。彼は、各再帰ステップの最大の部分は外積と減算の計算であり、2 倍 (n-1) の 2 乗の合計になると説明しています。このアルゴリズムは、ガウス消去法として知られる戦略を使用して、上三角行列を効率的に計算します。 Pförtner は、小さな行列を使用して計算例を実行する方法を示し、L の自明でない部分が対角線の下の 3 つのエントリに含まれ、上三角部分に U の非ゼロ部分が含まれることを示しています。メモリ内で、Pförtner は、L と U を同じ行列に巧みに格納する実装を提示します。
00:55:00 このセクションでは、スピーカーは数値線形代数における LU 分解のプロセスを説明します。彼は、アルゴリズムを段階的に計算する方法と、それを使用して線形システムを解く方法を示しています。行列の LU 分解を取得したら、それを適用して、複数の右辺を持つ複数の線形システムを効率的に解くことができます。コストは、1 回の前方置換と後方置換でわずか 2N 2 乗です。順列行列の逆行列は単にその転置であり、計算コストが低く、ガウス過程回帰で同じシステム行列を使用して K 回の解を実行できます。
01:00:00 このセクションでは、講演者は、計算効率の高い LU 分解を使用して、同じ行列で複数の線形システムを効率的に解く方法について説明します。さらに、LU 分解を使用して対数行列式を計算する方法が提示されます。これにより、線形システムを効率的に表現し、それを使用してさまざまな線形代数タスクを実行できます。講演者は、アルゴリズムをより効率的にするために構造を利用することの重要性を強調し、コレスキー分解は、カーネル グラム行列の対称性と正定値の性質を利用する LU 分解の特殊なバージョンであることに注意します。
The second lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both...
Jonathan Wenger が、「Numerics of ML 3」ビデオで、大規模なデータセットのガウス過程をスケーリングする手法について説明しています。彼は、一般化、単純性/解釈可能性、不確実性の推定、および速度を達成することを主な目標として、線形システムを解き、逆行列を学習するための反復法を探求しています。 Wenger は、反復コレスキー分解、部分コレスキー、共役勾配法などの低ランク近似をカーネル行列に導入します。また、大規模なデータセットを処理する際の収束を加速し、安定性を向上させるための前処理についても説明しています。最後に、彼は直交行列 Z を使用して行列のトレースを書き換えることを提案しています。これは、ガウス過程をスケーリングするための二次時間につながる可能性があります。
00:15:00 このセクションでは、スピーカーは、ガウス過程をスケーリングするための部分コレスキー法の使用について説明します。この方法では、コレスキー分解を係数で変更し、ベクトルで乗算します。これにより、ベクトルの外積を追加して逆近似を生成する反復プロセスが発生します。複雑さの分析は、行列自体を近似するのと同じくらいコストがかかることを示しています。講演者はまた、部分コレスキー法と GP 回帰を比較し、学習プロセスを改善するために正しいデータ ポイントまたは単位ベクトルを選択することの重要性を強調します。
00:20:00 このセクションでは、Jonathan Wenger がガウス過程 (GP) のカーネル行列を近似する際に適切なデータ ポイントを選択することの重要性について説明します。彼は、条件付けするデータポイントをランダムに選択すると、学習プロセスが遅くなる可能性があることを示しています。彼は、もともと GP 回帰で線形システムを解くために設計された「共役勾配法」を紹介しています。この方法は、a がカーネル行列で、B がサイズ n のベクトルである ax=B の問題を、線形システム ax=B を解くことと等価な二次最適化問題として言い換えます。二次関数の勾配を取り、それをゼロに設定することにより、ax への列は B に等しくなり、残差は B から ax を引いたものとして定義できます。これを使用して、高速化するデータ ポイントを選択するためのより適切で効率的な方法を見つけることができます。学習プロセスをアップします。
00:25:00 このセクションでは、Jonathan Wenger がガウス過程における最適化のための共役方向の使用について説明します。彼は、共役方向を使用する場合、歩く方向を変更することで、最大 n ステップで収束できると説明しています。まず、最急降下方向への最初のステップとして負の勾配を使用し、共役条件を満たすようにステップを変更します。彼はアルゴリズムを提示し、勾配ノルムに基づく停止基準を含む、その高レベルの部分について説明します。
00:30:00 このセクションでは、Jonathan Wenger が共役勾配の方法について説明します。これは、事後共分散について複数の線形システムを解くときに逆行列を近似する方法です。共役勾配法は、部分スワロフスキーと同じように低ランクの逆関数の近似を構築します。解推定の更新には共役方向 di が含まれ、行列 CI は、以前のすべての検索方向を列に積み重ねた形で逆行列を近似します。この方法により、シナリオ システムを迅速に解くことができ、その低ランク構造により、ガウス過程をスケーリングするための効率的な方法になります。
01:10:00 このセクションでは、スピーカーは、ガウス過程回帰のモンテカルロ推定値の収束率を改善するためのさまざまな戦略について説明します。前処理の収束率を継承することで、指数関数的または多項式的に真の値により速く収束することができます。行列ベクトル乗算によってカーネル行列を観察するためのアクションの選択も、達成できる収束の速さに影響を与える可能性があります。したがって、ガウス過程の高速数値アルゴリズムを開発するには、ドメインの専門知識が必要です。これは、前提条件または迅速に収束するためのアクションの選択を通じて提供できます。さらに、変分近似による線形時間 GP の考え方が導入されています。これには、高次元データをより小さなトレーニング データセットに圧縮して、より効果的な方法で要約することが含まれます。
01:15:00 このセクションでは、Wenger がガウス過程の使用と、それらを効果的にスケーリングする方法について説明します。アイデアは、トレーニング データを要約して事後分布の直接近似を提供することです。これは、I の 2 乗 n だけを使用します。ここで、I は誘導入力の数で、n はトレーニング データのサイズです。ただし、反復法にはハイパーパラメーターの最適化が必要であり、これも考慮する必要があります。この場合、バッチ最適化や sdd などの確率的手法を使用できます。これは、優先オプティマイザーを使用してすばやく最適化できます。最もコストのかかる操作であるカーネル行列の評価を除いて、すべての重要な操作は I 3 乗または I 2 乗 n です。
The third lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
Numerics of ML に関するこのビデオでは、Jonathan Wenger が、計算を意識したガウス過程と、予測における近似誤差と不確実性を定量化する能力について説明しています。彼は、正しいアクションを選択することの重要性と、共役勾配がどのように不確実性を大幅に減らし、学習をスピードアップできるかを探っています。 Wenger は、誘導点に基づく線形時間 GP 近似の使用についても話していますが、そのような近似から生じる問題を強調しています。最後に、代表的な重みに関する信念を更新し、確率学習アルゴリズムを使用して代表的な重みの誤差を解決する方法について説明します。全体として、このビデオは、計算の不確実性を考慮して予測の精度を向上させる上で、計算を意識したガウス過程の有効性を示しています。
Jonathan Wenger も、このビデオで、計算を意識したガウス過程とその複雑さについて説明しています。彼は、カーネル行列の上部象限を計算して格納するだけでよく、アルゴリズムの計算コストはこの象限のサイズに比例すると説明しています。ガウス過程は、計算が特定のデータ ポイントのみを対象とし、データと計算の境界線が曖昧である限り、任意のサイズのデータセットで使用できます。 Wenger は、予測されたデータを条件付けすることで、この状況を説明するために GP をモデル化できると主張しています。彼は、近似モデルによる正確な不確実性の定量化を可能にする新しい定理を紹介します。最後に、物理法則が学習される関数を部分的に支配する場合に GP モデルを拡張することに関する来週の講義を予告します。
The fourth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both...
00:05:00 このセクションでは、スピーカーは状態空間モデルについて説明します。これには、新しいデータが入ってくると、複雑な動的システムの推定値を迅速に更新することを目標とするオンライン推定タスクが含まれます。これらのモデルは、多くの場合、部分的にしか観測できません。高度に非線形な機能と相互作用を伴います。これを達成するには、それに応じて信念を更新するためのアルゴリズム フレームワークが必要です。スピーカーは、状態空間モデルで使用されるモデリング言語のグラフィック表現について説明します。ここで、一連の白いノードはシステム状態をモデル化する確率変数を表し、赤いボックスは観測データを表します。動的システムの状態は、システムの進化を決定する一連の物理量であり、追跡され、相互に作用します。観測データ y は現在の状態に依存し、多くの場合、軌跡の一部の状態でのみ使用でき、他の状態では使用できません。
The fifth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
The sixth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
00:25:00 このセクションでは、Nathanel Bosch がロジスティック ODE の具体例である Z の生成モデルと、それが推論プロセスにどのように関係しているかについて説明します。生成モデルにより、解のシミュレーション、導関数の計算、および Z 付近で崩壊する事後分布の生成が可能になります。この生成モデルは、微分方程式をエンコードする尤度モデルに加えて、状態空間モデルを解き、解に関連する X の推定値を提供します。推論により、事前結果と目的の最終結果の間の関係を確立し、状態空間モデルを解くことができます。
The seventh lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses bot...
01:10:00 このセクションでは、スピーカーはガウス過程 (GP) がどのように定義され、未知の関数をモデル化するために使用されるかについて説明します。 GP は、ドメイン内の各ポイントに 1 つずつ、実数値のランダム変数のコレクションです。それらは関数を表すために使用されますが、GP の評価の有限の組み合わせしか知りません。 GP のサンプル パスを取得するには、オメガを修正してすべての関数を変換することにより、関数を継続的にサンプリングする必要があります。サンプルパスが十分に微分可能であることを確認して、それらが定義されていることを確認します。さらに、線形演算子 L の下で GP のイメージである LF を計算するには、オメガを固定し、対応する関数に L を適用します。
The eigth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
00:15:00 このセクションでは、Philipp Hennig がモンテカルロ問題の次元に関する議論に取り組んでいます。 p の下に f の分散がありますが、これは問題の次元に関連している可能性がありますが、議論はそれが次元に依存しないということです。ただし、特定の構造化された問題では、分散は次元の関数として指数関数的に爆発する可能性があります。それにもかかわらず、モンテカルロ サンプリングの最も興味深いアプリケーションは、問題の次元に影響されないため、高次元の問題の計算が可能になります。 Hennig はまた、モンテカルロ サンプリングを使用して Pi を計算する古典的な例についても説明しています。この例では、サンプル数の逆平方根によって与えられるレートで真実に向かって収束します。
The ninth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
00:00:00 このセクションでは、Philipp Hennig が、効率的な方法としてのベイジアン求積法に焦点を当てて、機械学習における統合の計算問題について説明します。彼は、実数値関数 f of x について説明しています。これは、X から正弦の 2 乗を引いた 3x と X から x の 2 乗を引いた 2 つの関数の積であり、一連の文字を書き留めることで一意に識別できます。 Hennig は、私たちはこの関数についてすべてを知っていますが、この関数のマイナス 3 からプラス 3 までの定積分の値など、この関数に関するすべての質問に直接答えるのは難しいと説明しています。新しい C ライブラリ。
00:10:00 Philipp Hennig の講演のこのセクションでは、確率的機械学習を使用して関数の積分を推定する方法として、ベイジアン求積法について説明しています。彼はこのアプローチをモンテカルロ法と比較し、ガウス過程が関数の事前確率として使用されることを説明しています。特定の x 値で関数を評価することにより、関数の積分である潜在変数を推定できます。 Hennig は、このアプローチが従来の求積法より優れていることも示しています。
The tenth lecture of the Master class on Numerics of Machine Learning at the University of Tübingen in the Winter Term of 2022/23. This class discusses both ...
テュービンゲン大学での 2022/23 冬学期の機械学習の数値。講義 1 - はじめに -- Philipp Hennig
ML 1 の数値 -- はじめに -- Philipp Hennig
このビデオでは、Philipp Hennig が機械学習における数値アルゴリズムを理解することの重要性について説明し、その用語のコース内容を紹介しています。対象となる最初の数値アルゴリズムは線形代数で、Gaussian Process Regression に適用されます。 Hennig は、機械学習におけるシミュレーション、微分方程式、統合、および最適化の役割についても説明しています。彼は、アルゴリズム スパイン、オブザーバブル、確率的数値アルゴリズムなど、数値アルゴリズムの新しい展開を紹介しています。 Hennig はビデオ全体を通して、機械学習で使用される従来のアルゴリズムを更新して複雑な問題を解決することの重要性を強調し、このコンピューター サイエンス クラスでコードを記述する役割を強調しています。
Philipp Hennig は、機械学習の数値に関する彼のコースを紹介しています。このコースは、機械学習アルゴリズムがボックス内でどのように機能するか、および学習機械を改善するためにそれらをどのように適応または変更できるかを探求することを目的としています。数値アルゴリズムと機械学習アルゴリズムの高度な専門知識は、研究者や業界の専門家から非常に求められています。このコースは、理論とコーディング作業で構成され、課題はバイナリ システムで採点されます。 Hennig は、機械学習における数値アルゴリズムの重要性を強調し、9 人のインストラクターによるこのユニークな教育実験に学生を招待しています。
講義 2 -- 数値線形代数 -- Marvin Pförtner
ML 2 の数値 -- 数値線形代数 -- Marvin Pförtner
数値線形代数は、機械学習、ガウス過程、およびその他のノンパラメトリック回帰手法の基本です。講義では、数値線形代数のさまざまな側面について説明します。これには、より効率的な乗算のための行列の構造を理解することの重要性、ハイパーパラメーター選択問題の解決とカーネル行列の計算による機械学習アルゴリズムの最適化、およびLU 分解など。また、数学演算に使用されるアルゴリズムは、パフォーマンス、安定性、およびメモリ消費に大きな影響を与えるため、アルゴリズムを適切に実装することの重要性も強調しています。
ビデオの後半では、Marvin Pförtner が機械学習アルゴリズムにおける数値線形代数の重要性について説明しています。彼は、LU 分解、コレスキー分解、逆行列補題、ガウス過程回帰など、さまざまなトピックを扱っています。 Pförtner は、構造を利用してアルゴリズムをより効率的にすることの重要性を強調し、ガウス過程回帰で大規模な連立方程式を解く際の数値安定性の重要性を強調しています。また、大規模なデータセットを処理するためのアクティブ ラーニングや低ランク近似などの手法や、カーネル マトリックスの潜在的なメモリ制限についても説明しています。全体として、このビデオは、数値線形代数が機械学習の多くの側面で果たす重要な役割を紹介しています。
講義 3 -- ガウス過程のスケーリング -- ジョナサン ウェンガー
Numerics of ML 3 -- ガウス過程のスケーリング -- Jonathan Wenger
Jonathan Wenger が、「Numerics of ML 3」ビデオで、大規模なデータセットのガウス過程をスケーリングする手法について説明しています。彼は、一般化、単純性/解釈可能性、不確実性の推定、および速度を達成することを主な目標として、線形システムを解き、逆行列を学習するための反復法を探求しています。 Wenger は、反復コレスキー分解、部分コレスキー、共役勾配法などの低ランク近似をカーネル行列に導入します。また、大規模なデータセットを処理する際の収束を加速し、安定性を向上させるための前処理についても説明しています。最後に、彼は直交行列 Z を使用して行列のトレースを書き換えることを提案しています。これは、ガウス過程をスケーリングするための二次時間につながる可能性があります。
講義の第 2 部では、Jonathan Wenger がこのビデオで大規模なデータセットのガウス過程 (GP) のスケーリングについて説明しています。彼は、GP 回帰のモンテカルロ推定値の収束率を改善するためのさまざまな戦略を提示しています。これには、線形システム ソルブに既存の前提条件を使用してカーネル行列とその逆行列を推定することも含まれます。彼はまた、変分近似による線形時間 GP のアイデアを紹介し、誘導点法を使用した不確実性の定量化に対処しています。これらの戦略を使用することで、GPU を使用して最大 100 万のデータ ポイントを含むデータセットにスケールアップできるため、ハイパーパラメーターを迅速に最適化することが容易になります。
講義 4 -- 計算を意識したガウス過程 -- Jonathan Wenger
Numerics of ML 4 -- Computation-Aware Gaussian Processes -- Jonathan Wenger
Numerics of ML に関するこのビデオでは、Jonathan Wenger が、計算を意識したガウス過程と、予測における近似誤差と不確実性を定量化する能力について説明しています。彼は、正しいアクションを選択することの重要性と、共役勾配がどのように不確実性を大幅に減らし、学習をスピードアップできるかを探っています。 Wenger は、誘導点に基づく線形時間 GP 近似の使用についても話していますが、そのような近似から生じる問題を強調しています。最後に、代表的な重みに関する信念を更新し、確率学習アルゴリズムを使用して代表的な重みの誤差を解決する方法について説明します。全体として、このビデオは、計算の不確実性を考慮して予測の精度を向上させる上で、計算を意識したガウス過程の有効性を示しています。
Jonathan Wenger も、このビデオで、計算を意識したガウス過程とその複雑さについて説明しています。彼は、カーネル行列の上部象限を計算して格納するだけでよく、アルゴリズムの計算コストはこの象限のサイズに比例すると説明しています。ガウス過程は、計算が特定のデータ ポイントのみを対象とし、データと計算の境界線が曖昧である限り、任意のサイズのデータセットで使用できます。 Wenger は、予測されたデータを条件付けすることで、この状況を説明するために GP をモデル化できると主張しています。彼は、近似モデルによる正確な不確実性の定量化を可能にする新しい定理を紹介します。最後に、物理法則が学習される関数を部分的に支配する場合に GP モデルを拡張することに関する来週の講義を予告します。
講義 5 -- 状態空間モデル -- ジョナサン シュミット
ML 5 の数値 -- 状態空間モデル -- ジョナサン シュミット
このセクションでは、Jonathan Schmidt が状態空間モデルとその機械学習への応用を紹介します。彼は、状態空間モデルは複雑な動的システムをモデル化するために使用されると説明していますが、これは部分的にしか観測できず、高度に非線形な相互作用を伴います。講義では、状態空間モデルのグラフィカルな表現と、マルコフ特性の重要な特性と条件付き独立測定について説明します。 Schmidt は、さまざまな時点で取得された測定値を使用して、システムの状態を推定するために使用される、予測、フィルター処理、平滑化分布などのさまざまな分布を計算するためのさまざまなアルゴリズムを提示しています。この講義では、Julia でのカルマン フィルター アルゴリズムの実装と、線形ガウス状態空間モデルでの平滑化推定の計算についても説明します。最後に、Schmidt は、非線形ダイナミクスの推定と状態空間モデルでの測定を可能にする拡張カルマン フィルターについて説明します。
Jonathan Schmidt は、状態空間モデルとそのコードを使用した実装についても説明しています。特に、非線形ダイナミクスと拡張カルマン フィルターに焦点を当てています。彼はまた、スムージング アルゴリズムと代替のベイジアン フィルター処理方法を実演し、それらの長所と短所を強調しています。講義は、ナサニエルが動的システムをシミュレートするための確率的数値を紹介する次の講義へのさらなる学習と期待への推奨事項で締めくくられます。
講義 6 -- 常微分方程式の解法 -- ナサニエル ボッシュ
ML 6 の数値 -- 常微分方程式の解法 -- ナサニエル ボッシュ
Nathanel Bosch は、機械学習における ODE の概念をカバーしています。ODE は、入力が与えられた関数の導関数と、時間の経過とともに進化するモデル システムを記述します。彼は、ODE を解く際の課題について説明し、前進オイラーや後退オイラーなどの数値的手法とそれらの安定性を紹介します。 Bosch は、明示的な中点法や古典的な 4 次法など、さまざまな数値法とその精度と複雑さのトレードオフを調査しています。彼は、ライブラリを使用して ODE を解く際の問題を回避するために、ローカル エラー、順序、および理解の安定性の重要性を強調しています。
ビデオのこの 2 番目の部分では、機械学習手法を使用して常微分方程式 (ODE) のベクトル場と初期値を推定する問題について説明します。スピーカーは、推論問題を解決するために ODE の状態の生成モデルと観測モデルを書き留めることの重要性を説明します。尤度関数は、負の対数尤度を最小化することによって最大化され、パラメーター推定値が得られます。講演者は、SIR-D モデルを使用してこのアプローチを実演し、ニューラル ネットワークを使用して接触率の推定を改善する方法について説明します。機械学習研究における ODE の重要性と、実世界の問題を解決する上での ODE の役割も強調されています。
講義 7 -- 確率的数値 ODE ソルバー -- ナサニエル ボッシュ
ML 7 の数値 -- 確率的数値 ODE ソルバー -- ナサニエル ボッシュ
このビデオでは、Nathanel Bosch が確率論的数値 ODE ソルバーの概念を紹介しています。これは、状態推定と数値 ODE ソルバーを組み合わせて、状態または ODE 解の分布を提供します。 Bosch は、Q 回積分ウィーナー プロセスを使用して真のソリューションをモデル化する方法と、このプロセスによってシステム内の不確実性を定量化および伝播する方法について説明します。次に、拡張カルマン フィルターを使用して ODE を解く方法と、ステップ サイズが誤差推定に与える影響を示します。ビデオの最後では、不確実性のキャリブレーションと、拡張カルマン フィルターを使用して非線形状態空間モデルのパラメーターを推定する方法について説明します。
講義の第 2 部では、ナサニエル ボッシュが確率論的手法を使用して ODE を解く利点について説明します。これには、意味のある不確実性推定値の取得や、初期値などの追加のモデル機能を含める柔軟性が含まれます。彼は、調和振動子や微分代数方程式などの例を使用して、このアプローチを示しています。ボッシュはまた、従来のスカラー法を使用してデータを正確に表現できなかった流行モデルの例を使用して、追加情報を含め、確率論的手法を使用することで、より意味のある結果が得られることを示しています。彼は、拡張カルマン フィルターとスムーザーを使用して、状態推定を通じて ODE を解き、推定を確率問題として扱い、意思決定におけるベイジアンであることの重要性を強調しています。
講義 8 -- 偏微分方程式 -- マーヴィン・プフェルトナー
Numerics of ML 8 -- 偏微分方程式 -- Marvin Pförtner
Marvin Pförtner が偏微分方程式 (PDE) と、実世界のさまざまなシステムのモデリングにおけるその重要性について説明します。彼は、PDE が未知の関数と線形微分演算子を使用してシステムのメカニズムを表す方法を説明しますが、しばしば未知のパラメーターを解く必要があります。ガウス過程推論を使用して、PDE モデルを分析し、機械論的知識を統計モデルに注入できます。 Pförtner は、モデルを 2 次元の熱分布に制限し、モデルに対して行われた仮定を提示することによって、コンピューターの中央処理装置の熱分布を調べます。この講義では、ガウス過程を使用して偏微分方程式を解き、不確実性をモデル化するための現実的な境界条件を追加することについても説明します。全体として、情報演算子の概念と組み合わされた GP アプローチにより、システムの動作に関する事前知識を組み込み、線形偏微分方程式の形式で機械論的知識を注入し、境界条件と右辺を処理することができます。
このビデオの第 2 部では、点推定ではなく関数の確率測度を推定することにより、ガウス過程を使用して偏微分方程式 (PDE) を解く方法について Marvin Pförtner が説明しています。彼は、不確実性の定量化の利点を説明し、このアプローチは偏微分方程式の右辺関数の推定における不確実性を認めているため、より正直であると述べています。 Pförtner は、実際に役立ち、GP の微分可能性を制御できる Matern カーネルについても説明し、Matern カーネルのパラメーター P を計算する式を提供します。彼はさらに、1 次元の Matern カーネルの積を次元にわたって取ることによって PDE の d 次元カーネルを構築する方法と、モデル構築において数学的に注意を払うことの重要性について説明しています。
講義 9 -- モンテカルロ -- フィリップ・ヘニング
ML 9 の数値 -- モンテカルロ -- Philipp Hennig
モンテカルロに関するこのビデオでは、Philipp Hennig が、ベイズの定理を使用したベイジアン推論に関して、機械学習における統合がいかに基本的な問題であるかを説明しています。彼は、積分を行う特定の方法としてモンテカルロ アルゴリズムを紹介し、その方法の簡単な歴史を提供します。彼はまた、偏りのない推定やサンプル数の増加に伴う分散の減少など、モンテカルロ アルゴリズムの特性についても説明しています。さらに Hennig は、Metropolis-Hastings アルゴリズム、マルコフ連鎖モンテカルロ、およびハミルトニアン モンテカルロについて詳しく説明し、各アルゴリズムのプロパティの概要と、確率分布からサンプリングするときにそれらがどのように機能するかを説明します。最終的に Hennig は、アルゴリズムをやみくもに適用するのではなく、最適で効率的な結果を達成するためにアルゴリズムが使用される理由を理解することの重要性を指摘しています。
ビデオの第 2 部では、Philipp Hennig が高次元分布のモンテカルロ法、特に詳細なバランスを崩すという U ターンの考え方の問題を克服する No U ターン サンプラー (NUTS) アルゴリズムについて説明しています。 Hennig 氏は、これらのアルゴリズムは複雑で実装が難しいものの、効果的に使用するにはアルゴリズムを理解することが重要であると強調しています。彼はまた、モンテカルロ法を使用して期待値を計算するための決まり切ったアプローチに疑問を呈し、ランダム性なしで近似する他の方法があるかもしれないと示唆しています。 Hennig は、ランダム性の概念と限界、モンテカルロ法の収束率の欠如について議論し、決定論的なランダム性に頼るのではなく、機械学習の他の方法を検討する必要性を提案しています。
講義 10 -- ベイジアン求積法 -- Philipp Hennig
ML 10 の数値 -- ベイジアン求積法 -- Philipp Hennig
このビデオでは、Philipp Hennig が、機械学習における統合の計算問題に対する効率的な方法としてのベイジアン求積法について説明しています。彼は、実数値関数を一意に識別する方法を説明していますが、質問に直接答えるのは困難です。 Bayesian Quadrature は、未知のオブジェクトと計算できる量に事前確率を適用することにより、積分を見つける問題を推論問題として扱い、ベイジアン推論を実行する推論方法です。 Hennig はまた、このアプローチをモンテカルロ除去および重要度サンプリングと比較し、ベイジアン求積法が従来の求積法よりも優れていることを示しています。この講義では、ベイジアン求積法のカルマン フィルター アルゴリズムと、その従来の積分アルゴリズムとの関係について説明し、数値的方法での不確実性推定の使用について説明します。最後に Hennig は、数値計算の社会構造がアルゴリズム設計にどのように影響するかを探り、特定の問題に対する計算方法を設計する方法、および確率的機械学習がリアルタイムでエラーを推定する方法について説明します。
ビデオの第 2 部では、Philipp Hennig がベイジアン求積法について説明しています。ベイジアン求積法では、積分やアルゴリズム値など、関心のある量に事前分布を適用して、ベイジアン方式で何かを計算します。この方法では、事後推定と不確実性推定の両方が推定値の周りに割り当てられます。これは、従来の方法で識別できます。 Hennig は、アルゴリズムが観測された関数にどのように適応するかを説明し、能動学習手順を使用して次に評価する場所を決定します。このアルゴリズムは高次元で機能し、非常にスマートな収束率を備えています。また、古典的なアルゴリズムと直交規則の制限についても説明し、適応推論による回避策を提案しています。