00:00 Introduction and survey01:36 "Lesson 0" How to fast.ai02:25 How to do a fastai lesson04:28 How to not self-study05:28 Highest voted student work07:56 P...
00:10:00 このレッスンでは、ジェレミーがトランスフォーマーのマスク言語モデルによる機械学習へのアプローチの基本について説明しました。彼は、このアプローチは ULMFiT アプローチよりも一般的であり、変圧器モデルには 5 つのレイヤーがあることを指摘しました。 John は、次の単語を予測するモデルから、分類に使用できるモデルに移行する方法について質問しました。 Jeremy は、最初のレイヤーにはエッジ検出器と勾配検出器が必要であり、最後のレイヤーには予測する各カテゴリのアクティベーションがあると述べました。最後に新しい乱数行列を徐々に追加することで、このモデルをトレーニングできると彼は言いました。
00:00:00 - Introduction00:01:59 - Linear model and neural net from scratch00:07:30 - Cleaning the data00:26:46 - Setting up a linear model00:38:48 - Creating...
00:00 Review02:09 TwoR model04:43 How to create a decision tree07:02 Gini10:54 Making a submission15:52 Bagging19:06 Random forest introduction20:09 Creating...
00:00 - Tweaking first and last layers02:47 - What are the benefits of using larger models05:58 - Understanding GPU memory usage08:04 - What is GradientAccum...
00:00 - Neural net from scratch04:46 - Parameters in PyTorch07:42 - Embedding from scratch12:21 - Embedding interpretation18:06 - Collab filtering in fastai2...
(All lesson resources are available at http://course.fast.ai.) This is the first lesson of part 2 of Practical Deep Learning for Coders. It starts with a tut...
This talk will cover some of the most important open problems in Deep Learning. A big part of the talk will be focused on Continual Learning as one main open...
00:40:00 このセクションでは、深層学習や他のすべての ML クラスに現れる機械学習の重要な側面として、偏りと分散のトレードオフの概念について説明します。バイアスとは、特定の予測に対するモデルの傾向を指し、分散とは、モデルがデータの複雑さを記憶せずに捉える能力です。高バイアスと高分散の例が示されています。高バイアスとは、モデルがデータセットを正確に学習するのに十分な表現力を備えていない場合であり、高分散はオーバーフィッティングを指します。理想的なモデルは、記憶せずにデータの複雑さを捉えるモデルであり、ゴルディロックス ゾーンとして知られています。バイアスと分散のトレードオフは、機械学習の重要な概念であり、受講するすべての機械学習クラスで遭遇するため、ユーザーは知っておく必要があります。
Lecture 1 - Intro to Machine LearningCS 198-126: Modern Computer Vision and Deep LearningUniversity of California, BerkeleyPlease visit https://ml.berkeley.e...
Lecture 2 - Intro to Deep Learning, Part 1CS 198-126: Modern Computer Vision and Deep LearningUniversity of California, BerkeleyPlease visit https://ml.berke...
レッスン 3: コーダー 2022 のための実践的な深層学習
レッスン 3: コーダー 2022 のための実践的な深層学習
このビデオでは、コーダー向けの実践的なディープ ラーニングを紹介します。行列の乗算と勾配の基本について説明し、深層学習モデルを使用して犬と猫の品種の確率を予測する方法を示します。このビデオでは、コーダー向けに深層学習を簡単に紹介し、行列の乗算を直感的に理解するのに時間がかかることについて説明しています。次のレッスンでは、テキスト データを取得し、その散文に基づいて予測を行う自然言語処理に焦点を当てます。
レッスン 4: コーダー 2022 のための実践的な深層学習
レッスン 4: コーダー 2022 のための実践的な深層学習
このビデオでは、Coders 2022 コンペティションのディープ ラーニング モデルを構築する方法について説明します。著者は、検証セットを作成する方法、競合データを使用してモデルのパフォーマンスをテストする方法、および実際の設定で過剰適合を回避する方法について説明します。このビデオでは、ピアソン相関係数を使用して 2 つの変数間の関係を測定する方法と、Pytorch を使用して fast.ai 学習器のように動作するモデルをトレーニングする方法を Jeremy が説明しています。彼はまた、NLP 手法によって生成された予測に関する問題と、シグモイド関数を使用してそれを解決する方法についても説明しています。
レッスン 5: コーダー 2022 のための実践的な深層学習
レッスン 5: コーダー 2022 のための実践的な深層学習
このビデオでは、ディープ ラーニングを使用して線形モデルを構築およびトレーニングする方法に関するチュートリアルを提供します。ビデオは、特定の関数内の変数の値を変更するインプレース操作について説明することから始まります。次に、ビデオは、後方勾配降下法を使用して線形モデルの損失を計算する方法を示しています。最後に、ビデオは、線形モデル内の係数を初期化および更新する関数を提供します。このビデオは、関数を実行して損失を出力する方法を示して締めくくります。このビデオでは、データ セット内の特定の列の最適なバイナリ分割を計算する方法について説明します。これは、比較のためのベースライン モデルを提供するため、機械学習コンテストに特に役立ちます。
レッスン 6: コーダー 2022 のための実践的な深層学習
レッスン 6: コーダー 2022 のための実践的な深層学習
この YouTube ビデオでは、コーダー向けに深層学習を開始する方法についてのガイドを提供しています。主な焦点は、コーダー向けの実用的な深層学習であり、競争を設定し、検証セットを取得し、迅速に反復する方法に関するヒントが含まれています。このビデオでは、機能の重要度と部分依存関係プロットの重要性、および機械学習モデルを使用してそれらを作成する方法についても説明しています。
このビデオでは、ディープ ラーニングを使用してコーディング プロジェクトの精度を向上させる方法の概要を説明します。多くの場合、データセットはさまざまな入力サイズと縦横比を持つことができるため、長方形で正確な表現を作成することが難しくなります。代わりに、ほとんどの場合にうまく機能することがわかっている正方形の表現を使用することをお勧めします。
レッスン 7: コーダー 2022 のための実践的な深層学習
レッスン 7: コーダー 2022 のための実践的な深層学習
2022 年コーダー向け実践的ディープ ラーニングのレッスン 7 で、Jeremy は、より大きなモデルに必要なメモリを削減することで、ディープ ラーニング モデルをスケールアップする方法を説明しています。彼は、すべてのミニバッチのループごとに重みを更新するのではなく、数回ごとに更新する勾配累積と呼ばれるトリックを示しています。これにより、より大きな GPU を必要とせずに、より大きなバッチ サイズを使用できるようになります。さらに、Jeremy は、k 分割交差検証と、交差エントロピー損失と呼ばれる別の損失関数を使用して、画像に存在する米の種類と病気の両方を予測するディープ ラーニング モデルの作成について説明します。全体として、ビデオはより複雑な深層学習モデルを構築するための実用的なヒントとコツを提供します。
このビデオでは、講演者は、PyTorch で協調フィルタリングと内積を使用したレコメンデーション システムの作成について説明します。彼は、映画の評価の行列乗算予測について説明し、損失関数を計算します。これは、予測された評価が実際の評価とどの程度一致するかの尺度です。彼は埋め込みの概念を導入し、ダミー変数を使用した行列乗算の高速化を可能にします。次にスピーカーは、行列にバイアスと正則化を追加して、ユーザーの評価を差別化し、オーバーフィッティングを防ぐ方法を説明します。最後に、ハイパーパラメータ検索のトピックについて説明し、正確なレコメンデーションには詳細なデータが必要であることを強調します。全体として、ビデオは複雑な深層学習の概念を分解し、視聴者が実際に理解できるようにします。
レッスン 8 - コーダー 2022 のための実践的な深層学習
レッスン 8 - コーダー 2022 のための実践的な深層学習
このビデオでは、コーダー向けの深層学習の基本について説明します。 Pytorch ライブラリを使用してディープ ラーニング モデルのパラメーターを作成する方法、PCA を使用してデータ セット内の因子の数を減らす方法、およびニューラル ネットを使用して産業用重機のオークション販売価格を予測する方法について説明します。
この YouTube ビデオでは、プログラマー向けの深層学習の概要を説明しています。スピーカーは、この分野では粘り強さが重要であると説明し、成功したいのであれば、何かが完了するまで続ける必要があるとアドバイスしています。彼はまた、forums.fast.ai で他の初心者を助けることを勧めています。
レッスン 9: 安定した拡散へのディープ ラーニングの基礎、2022 年
レッスン 9: 安定した拡散へのディープ ラーニングの基礎、2022 年
このビデオでは、深層学習の概要を説明し、安定した拡散モデルがどのように機能するか、およびそれらを適用して新しい画像を生成する方法について説明します。このビデオには、Diffusers ライブラリを使用して手書きの数字のようなイメージを作成する方法のデモが含まれています。また、ニューラル ネットワークのトレーニング方法である安定拡散の概念も紹介します。基本的な考え方は、出力を変更するためにニューラル ネットワークへの入力を変更することです。このビデオでは、インストラクターが、ノイズの多い入力から手書きの数字を正しく識別できるニューラル ネットワークを作成する方法について説明します。このビデオでは、ディープ ラーニング アルゴリズムを使用して機械学習モデルをトレーニングする方法について説明します。モデルは一連の潜在変数 (データを表す) で初期化され、デコーダーを使用して生データを理解します。次に、テキスト エンコーダーを使用して、データの機械可読キャプションを作成します。最後に、キャプションを入力として使用して U-Net をトレーニングし、勾配 (「スコア関数」) を使用してトレーニング データのノイズ レベルを調整します。
深層学習における課題 (Razvan Pascanu 博士 - DeepMind)
深層学習における課題 (Razvan Pascanu 博士 - DeepMind)
DeepMind の Razvan Pascanu 博士が、このビデオで深層学習におけるいくつかの課題について説明しています。彼は、適応性の重要性と、パフォーマンス メトリクスから焦点を移すことの重要性を強調し、ディープ ラーニング システムの計算リソースの制限が実際に有益である可能性があることを示唆しています。さらに、深層学習モデルのパフォーマンスに対するサイズとアーキテクチャの影響など、継続的な学習とこれに関連する機械学習のサブフィールドの課題についても調査しています。 Pascanu 博士はまた、確率的勾配降下の役割、明示的なバイアスの重要性、および深層学習モデルにおける事前トレーニングと誘導バイアスの追加の概念についても説明しています。
DeepMind の Razvan Pascanu 博士が、ディープ ラーニングにおける忘却の問題と、モデルが忘却から回復する方法について説明します。忘却が発生した後も一部の知識は残っている可能性がありますが、どの程度の情報が失われたかを判断することは困難です。 Pascanu 博士は、対象を絞った忘却に関する最近の論文がデータのプライバシーにどのように焦点を当てているかについて言及していますが、この分野ではより多くの研究と焦点が必要です。
CS 198-126: Modern Computer Vision Fall 2022 (カリフォルニア大学バークレー校) 講義 1 - 機械学習の概要
CS 198-126: 講義 1 - 機械学習の概要
機械学習に関するこの講義では、インストラクターは、コースの概要、機械学習の概要、さまざまな種類の機械学習、機械学習パイプライン、データのラベル付け、損失関数など、幅広いトピックを扱います。バイアスと分散のトレードオフ、オーバーフィッティング、アンダーフィッティングの概念についても説明します。講師は、機械学習の過程で適切な関数を選択することの重要性と、その過程でのハイパーパラメーターの役割を強調しています。機械学習の全体的な目標は、トレーニング データに適合するだけでなく、新しいデータを正確に予測することです。講師は学生にクラスへの参加を促し、機械学習と深層学習について学ぶ努力をします。
CS 198-126: 講義 2 - 深層学習入門、パート 1
CS 198-126: 講義 2 - 深層学習入門、パート 1
ディープ ラーニングの概要に関するこの YouTube レクチャーでは、インストラクターがディープ ラーニング モデルの基本と勾配降下法を使用してモデルをトレーニングする方法について説明し、ニューラル ネットワークのさまざまな構成要素と、ディープ ラーニングがこれほど普及しているテクノロジーである理由について説明します。講義では、パーセプトロンの紹介と、複数のパーセプトロンを積み重ねてより複雑で高度なニューラル ネットワークを作成する方法と、ReLU 活性化関数を使用した中間層で、行列の乗算と最終的な加算によって出力を計算する方法について説明します。スピーカーは、Softmax 関数と ReLU アクティベーション関数の使用、モデルのパフォーマンスを評価するための指標として損失関数を使用すること、および勾配降下最適化の概念について説明します。最後に、インストラクターは、ディープ ラーニングの考え方と、データを記憶する能力があるにもかかわらず、大規模なニューラル ネットワークがどのように低損失を促進するかについて説明します。また、講師は、特定のデータセットでパフォーマンスを向上させるために、ニューラル ネットワークのハイパーパラメーター調整の概念を紹介します。彼は、ハイパーパラメーターに普遍的な値はないと指摘し、レイヤー番号やアクティベーション関数などのさまざまなオプションを検討することを提案しています。時間の制約により、講義は突然終了しますが、講師は、今後のクイズが過度に難しくなく、GreatScope プラットフォームでアクセスできることを学生に保証します。