機械学習とニューラルネットワーク - ページ 21

[MetaQuotes]

AI (ChatGPT とその先) に注目する時が来ました

AI (ChatGPT とその先) に注目する時が来ました

このビデオでは、人工知能 (AI) の開発と、AI が私たちの働き方と生活をどのように変えているかについて説明しています。 AI の可能性に興奮している人もいれば、その潜在的な影響について心配している人もいます。スピーカーは、最近のポッドキャスト エピソードの簡単な要約も提供します。

• 00:00:00 ChatGPT は 2022 年にリリースされた AI プログラムであり、膨大なインターネット データ セットで見たものに基づいて、文の次の単語が何であるかを予測しようとするテキストを生成することができます。 ChatGPT は、オープン AI が GPT 3.5 を呼び出している gpt3 の改良版です。 GPT 3.5 と GPT の主な違いは、教師あり強化学習と呼ばれるトレーニング プロセス中に人間のフィードバックが追加されたことです。本質的には、トレーニング中に、AI による応答の複数のバージョンが人間によって最高から最低までの品質でランク付けされ、AI はモデルを改善するときにデジタル的に報酬を受け取ります。オープン AI の CEO がすべての業界の未来について興味深い洞察を持っているため、ChatGPT は新進の起業家が次の大きなものは何かを考えるために使用されています。
  
  
• 00:05:00 ChatGPT は、顧客が苦情を申し立てたり、サブスクリプションをキャンセルしたりしやすくするために設計されたスタートアップです。さらに、ChatGPT は非常に具体的なトピックについて意見をまとめることができます。これは、どの検索エンジンにもできないことです。またChatGPTはコーディングも得意とされており、一般的にAIで上達できるスキルとは考えられていません。 ChatGPT には多くの便利なアプリケーションがありますが、まだ初期段階にあり、真に革新的なテクノロジと見なされるまでには長い道のりがあります。とはいえ、ChatGPT の潜在的な影響は考慮する価値があり、今後ますます重要になる可能性があります。
  
  
• 00:10:00 ChatGPT は、人間のような方法で「話す」ことができるチャットボットであり、オープン AI によって設定された倫理的境界に疑問を呈するために使用されてきました。 ChatGPT は予測不能で不安定になる可能性があるため、制御が困難になる可能性があることに注意してください。また、ChatGPT は、複数の分野で必要とされる労働者の数を削減できる可能性があることにも注意してください。
  
  
• 00:15:00 著者は、労働力に対する自動化の潜在的な影響と、その準備方法について説明しています。彼はまた、起業家が心に留めておくべきいくつかの近い将来の予測とともに、AI がどのように急速に進歩しているかについても説明します。
  
  
• 00:20:00 ChatGPT は、医療やコンピューターのモデルなど、未来のモデルを作成するために使用される新しい技術プラットフォームです。プラットフォームを使用して既存の大規模モデルを調整し、業界やユースケースに固有のモデルを作成する新しい一連のスタートアップが登場します。
  
  
• 00:25:00 このビデオでは、人工知能 (AI) の開発と、それが私たちの働き方と生活をどのように変えているかについて説明しています。 AI の可能性に興奮している人もいれば、その潜在的な影響について心配している人もいます。スピーカーは、最近のポッドキャスト エピソードの簡単な要約も提供します。

[MetaQuotes]

ChatGPT の驚くべき可能性の裏話 |グレッグ・ブロックマン |テッド

ChatGPT の驚くべき可能性の裏話 |グレッグ・ブロックマン |テッド

ビデオのこのセクションでは、Greg Brockman が教育の改善における AI の役割について説明しています。彼は、伝統的な教育方法はしばしば非効率的で効果的ではなく、生徒は知識を保持するのに苦労し、教師はすべての生徒を引き付ける方法で教えるのに苦労していると主張しています. Brockman 氏は、AI が各生徒にパーソナライズされた学習体験を提供することで、これらの問題を解決できる可能性があると示唆しています。 AI ツールを使用すると、生徒の進捗状況をリアルタイムで監視し、カリキュラムを生徒のニーズや好みに合わせて調整できます。これにより、より魅力的で効率的な学習体験につながり、生徒はより多くの知識を保持し、教師はより重要な課題に集中できるようになります。ブロックマンはまた、プライバシーを念頭に置いて AI ツールを設計することの重要性を強調し、生徒のデータが保護され、教育目的でのみ使用されるようにします。

• 00:00:00 このセクションでは、OpenAI の CEO である Greg Brockman が、AI 用のツールを構築する、Dolly と呼ばれる AI ツールの機能を実演しました。このツールとChatGPTを併用することで、ユーザーは統一言語インターフェースで目的を達成するための画像やテキストを生成し、細かい部分を取り出して他のアプリケーションに組み込んで確認することができます。ユーザー インターフェイスに関するこの新しい考え方は、AI がユーザーに代わって実行できる機能を拡張し、テクノロジを新たな高みへと引き上げます。
  
  
• 00:05:00 このセクションでは、グレッグ ブロックマンが、AI がツールを使用してフィードバックを通じて望ましい結果を生成するようにトレーニングされる方法について説明します。このプロセスには 2 つのステップがあります。まず、教師なし学習プロセスが使用され、AI が全世界に表示され、これまでに見たことのないテキストで次に何が来るかを予測するよう求められます。 2 番目のステップでは、AI が複数のことを試すことによってそれらのスキルで何をすべきかを学習する人間のフィードバックが含まれます。人間のフィードバックは、回答を生成するために使用されるプロセス全体を強化するために提供されます。このフィードバックにより、学習を一般化し、新しい状況に適用することができます。 AI はファクト チェックにも使用され、検索クエリを発行して思考の連鎖全体を書き出すことができるため、推論の連鎖のあらゆる部分をより効率的に検証できます。
  
  
• 00:10:00 ビデオのこのセクションでは、Greg Brockman が、複雑な問題を解決する際の人間と AI のコラボレーションの可能性について説明しています。彼は、別の AI に役立つデータを生成するために人間の入力を必要とするファクト チェック ツールの例を示し、マシンが信頼できる検査可能な方法で動作している間に、人間がどのように管理、監視、およびフィードバックを提供できるかを示しています。ブロックマン氏は、これがコンピューターとのやり取りの方法を再考するなど、これまで不可能だった問題の解決につながると考えています。彼は、強力な AI 言語モデルである ChatGPT を使用して 167,000 の AI 論文のスプレッドシートを分析し、探索的グラフを通じて洞察を提供する方法を示し、AI がデータ分析と意思決定を支援する可能性を示しています。
  
  
• 00:15:00 このセクションでは、Greg Brockman が AI の可能性について説明し、AI を適切なものにするためには、AI を日常生活に統合するためのルールとガイドラインを設定することに全員が参加する必要があると述べています。彼は、汎用人工知能がすべての人類に利益をもたらすことを保証するという OpenAI の使命を達成することは、識字能力と、物事のやり方を再考する意欲によって可能になると信じています。 Brockman 氏は、このテクノロジは素晴らしいものであると同時に、現在私たちが行っているすべてのことを再考する必要があるため、恐ろしいものでもあることを認めています. OpenAI の chatGPT モデルの成功は、彼らの慎重な選択、現実に立ち向かうこと、そして多様なチーム間のコラボレーションを促進することに部分的に起因しています。ブロックマンはまた、新しい可能性の出現は、言語モデルの成長と、多くの単純な構成要素が複雑な創発的行動につながる可能性のある創発の原則に起因すると考えています。
  
  
• 00:20:00ビデオのこのセクションでは、Greg Brockman が ChatGPT の学習能力と予測能力の驚くべき可能性について説明しています。ただし、マシンは 40 桁の数字の加算を処理できますが、40 桁の数字と 35 桁の数字が提示されると、加算の問題が発生することがよくあると彼は指摘します。 Brockman はまた、予測を行う前にすべての部品が適切に設計されていることを確認するために、スタック全体を再構築して、機械学習を使用したエンジニアリング品質の重要性を強調しています。彼は、そのようなテクノロジーをスケールアップすると予測できない結果が生じる可能性があることを認めていますが、機械の意図を適切に監視し、私たちの意図と一致させるために、漸進的な変更を展開することが重要であると考えています。ブロックマン氏は最終的に、適切なフィードバックと人間との統合によって、AI による真実と知恵への旅が可能になると信じています。
  
  
• 00:25:00このセクションでは、Greg Brockman が適切なガードレールなしで GPT のような人工知能 (AI) をリリースすることの責任と安全への影響についての懸念に対処します。彼は、秘密裏に建設し、安全が適切に実行されることを期待するというデフォルトの計画は恐ろしく、正しくないと感じていると説明しています.代わりに、代替アプローチはAIを解放し、人々が強力になりすぎる前に入力できるようにすることだと彼は主張しています. Brockman は、技術を 5 年先にするか 500 年先にするかを熟考した話を共有し、集団責任を持ってこの権利に取り組み、AI が無謀ではなく賢くなるようにガードレールを提供する方がよいと結論付けました。

[MetaQuotes]

ライフサイエンスにおけるMITディープラーニング - 2021年春

ライフサイエンスにおけるMITディープラーニング - 2021年春

「生命科学の深層学習」コースは、機械学習をさまざまな生命科学のタスクに適用し、機械学習とゲノミクスの研究者と、MIT の博士課程の学生と学部生の教員によって教えられます。このコースでは、機械学習の基礎、遺伝子調節回路、疾患の変動、タンパク質の相互作用とフォールディング、Google Cloud プラットフォームで Python を介して TensorFlow を使用したイメージングについて説明します。このコースは、4 つの問題セット、クイズ、チーム プロジェクトで構成され、学生が独自のプロジェクトを設計するのを支援するメンタリング セッションが点在しています。インストラクターは、補完的なスキルと興味を持つチームを構築することの重要性を強調し、学期を通してさまざまなマイルストーンと成果物を提供します。このコースは、助成金やフェローシップの提案書の作成、査読、年次報告書、コミュニケーションとコラボレーションのスキルの開発など、実際の経験を提供することを目的としています。講演者は、従来の AI と、観察可能な刺激に基づいてシーンの内部表現を構築するディープ ラーニングとの違いについて説明し、トレーニング データ、計算能力、および新しいアルゴリズムの収束によるライフ サイエンスにおけるディープ ラーニングの重要性を強調します。 .

このビデオは、ライフ サイエンスにおけるディープ ラーニングの入門講義であり、複雑な世界の探求における機械学習とディープ ラーニングの重要性を説明しています。この講演では、ベイジアン推論の概念と、それが古典的および深層機械学習においてどのように重要な役割を果たすか、学習への生成的アプローチと識別的アプローチの違いに焦点を当てています。講義では、生物学的システム全体のネットワークを理解するためのサポート ベクター マシン、分類性能、および線形代数の能力についても取り上げます。講演者は、このコースでは、正則化、オーバーフィッティングの回避、トレーニング セットなど、深層学習のさまざまなトピックを取り上げると述べています。講義は、将来の講義のために人工ニューロンと深層ネットワークの解釈可能性に関連する質問に対処することで締めくくられます。

• 00:00:00 このセクションでは、講演者はコース「ライフ サイエンスにおけるディープ ラーニング」を紹介し、遺伝子調節、疾患、治療設計、医療画像処理、計算など、ライフ サイエンスのタスクに機械学習を適用することに焦点を当てていることを説明します。生物学。このコースは、週に 2 回、金曜日にオプションのメンタリング セッションがあり、機械学習とゲノミクスの研究者である講演者と、MIT の博士課程の学生と学部生で構成される教員によって教えられます。講演者は、すべての講義の録画を含む昨年のコースワーク ページへのリンクも提供します。
  
  
• 00:05:00 トランスクリプトのこのセクションでは、インストラクターが微積分、線形代数、確率と統計、プログラミングなど、コースが構築する基礎を紹介します。このコースには、学生が上に構築できる生物学の基礎も含まれます。次に、インストラクターはコースの採点の内訳を詳しく説明します。これには、問題セット、クイズ、最終プロジェクト、および参加が含まれます。このセクションは、安価な大規模データ セットの収束、機械学習手法の基本的な進歩、および科学分野を完全に変革したハイ パフォーマンス コンピューティングにより、ライフ サイエンスにおいてディープ ラーニングが重要である理由を説明して締めくくります。
  
  
• 00:10:00 このセクションでは、スピーカーは計算生物学の重要性と利点について説明します。学生は、大量のデータの処理、発見をスピードアップする能力、複雑なプロセスの数学的モデルの作成、生物学的データからのパターンの理解、意味のある抽出のための視覚化の使用など、計算生物学がなぜ重要なのかという質問に答えます。パターン。スピーカーは、計算を通じて理解できる生物学の根底にあるパターンと原則の存在を強調し、学生が部門内および部門間で提供されるさまざまなコースを探索することを奨励します。
  
  
• 00:15:00 このセクションでは、計算手法が応用研究だけでなく、生物学の基礎研究における新たな基礎的理解の生成にどのように役立つかについて説明します。彼らは、使用される計算方法が常に完璧な結果をもたらすとは限らないことを強調していますが、さらに興味深い重要な近似値を提供することができます.さらに、講演者は、計算生物学によって、さまざまな研究分野を統合して、複数の臓器に影響を与える複雑な疾患をより包括的に理解する方法を示します。最後に、彼らは、病気の伝染や病気の進行などの長期的な時間的プロセスをシミュレートするための計算ツールの使用について言及しています。
  
  
• 00:20:00 ビデオのこのセクションでは、講演者は生命科学におけるコンピューティングの役割、特に経時的なプロセスの進行をシミュレートし、医薬品や治療法の発見と開発時間を短縮する方法について説明します。医薬品の設計や合成試験データの作成においても、ディープラーニングの使用が一般的になりつつあります。スピーカーはまた、遺伝データセットの真の公平性のために、人口統計全体で遺伝的多様性を研究することの重要性を強調しています。生命そのものがデジタルであり、生物学を理解する上での課題は、ノイズから信号を抽出し、データ セット内の意味のあるパターンを認識することです。
  
  
• 00:25:00 このセクションでは、コースのインストラクターが、機械学習の基礎、遺伝子調節回路、疾患の変化、タンパク質の相互作用とフォールディング、イメージングなど、コースでカバーされる主なタスクと課題の概要を説明します。このコースでは、問題セットを使用して学生にこれらの各フロンティアを紹介します。学生は、Google Cloud プラットフォーム内のプログラミング環境で Python を介して TensorFlow を使用します。最初の問題セットは文字認識に焦点を当て、続いてこれらの技術を使用してゲノム データを分析し、遺伝子調節イベントに関連する配列パターンを認識します。
  
  
• 00:30:00 このセクションでは、インストラクターがコースの構造と目標について説明します。このコースは、クラス全体で 4 つの問題セット、クイズ、チーム プロジェクトで構成されます。インストラクターは、このコースがインタラクティブであることを強調し、学生が興味のある講義の書記になるようにサインアップすることを奨励し、その特定の分野に投資できるようにします。学生はまた、生命科学の深層学習の分野で活躍しているゲスト講師と交流する機会があり、研究プロジェクトの方向性に関する議論に基づいてチーム プロジェクトが構築され、実際の問題を解決するために新しいスキルを適用する機会が学生に与えられます。 .さらに、インストラクターは、生命科学における深層学習の分野がわずか 10 年しか経っていないことについて言及し、ゲスト講師がこの分野の重要な論文を紹介するため、コースは学生にとって非常に刺激的でインタラクティブなものになります。
  
  
• 00:35:00 このセクションでは、コースのインストラクターが、学生が独自のプロジェクトを設計し、アイデアを考え出し、パートナーやメンターとのバランスを取るのを支援するために、コースにモジュールが散在するメンタリング セッションをどのように行うかについて説明します。これらの指導セッションでは、関連分野で活躍しているスタッフや研究者が参加し、学生がアイデアを跳ね返し、計算生物学の活発な研究者になる準備を整えることができます。インストラクターはまた、コースが役立つ教育の無形の側面を強調します。これには、研究提案の作成、補完的なスキルセットの使用、仲間からのフィードバックの受け取り、仲間の提案の潜在的な欠陥の特定などがあります。コースには、実生活におけるこれらの無形のタスクを反映したターム プロジェクトがあります。学生はまた、仲間に会い、補完的な専門知識を持つチームを早期に形成し、プロフィールとビデオ紹介を提出することも奨励されています。
  
  
• 00:40:00 このセクションでは、インストラクターは、学生のスキルと興味に一致するプロジェクトの十分な計画、フィードバック、および発見を確実にするために、コースに設定されたさまざまなマイルストーンについて説明します。彼は、補完的なスキルと関心を持つチームを構築し、インスピレーションを得るために昨年のプロジェクトと最近の論文へのリンクを提供し、上級生、ポスドク、およびコーススタッフとの定期的なメンタリングセッションを確立することの重要性に言及しています.このコースには、さまざまなトピックやピア レビューの側面に関するグループ ディスカッションも含まれており、提案に対する批判的思考を促し、フィードバックや提案を提供します。インストラクターは、助成金やフェローシップの提案書の作成、査読、年次報告書、コミュニケーションとコラボレーションのスキルの開発など、このコースを通じて得られる実社会での経験を強調します。インストラクターは、コース全体のさまざまな分科会で学生を互いに会うように招待し、学期全体で予定されているマイルストーンと成果物の概要を説明します。
  
  
• 00:45:00 コースとプロジェクトの構造に加えて、インストラクターは、各トピックで利用できるさまざまなモジュールとペーパーの概要を説明します。さらに、プロジェクトの提案やエンド ツー エンドのパイプラインのデモの期日など、コースのタイムラインが概説されています。インストラクターは、後で問題を回避するために、コースの早い段階でデータとツールを用意することの重要性を強調しています。中間報告やプレゼンテーションのレクチャー、最終プロジェクトやプレゼンテーションの締め切りについても言及されています。一部の論文を執筆したゲスト講師も招待される場合があります。
  
  
• 00:50:00 このセクションでは、講演者がメンタリングやフィードバック ラボなど、コースで利用できるリソースとサポートを紹介します。彼らはまた、コースを受講している学生の多様なバックグラウンドを明らかにする導入調査の結果も共有しています。大部分はメジャー 6 と 20 です。講演者は約 10 分を費やして、機械学習のトピックと生物学のいくつかを紹介します。深層学習とそのさまざまな応用の重要性を強調しています。また、人工知能、深層学習、機械学習の違いについても説明しています。
  
  
• 00:55:00 このセクションでは、講師が従来の人工知能 (AI) アプローチとディープ ラーニングの違いについて説明します。従来の AI は人間の専門家に依存してルールとスコアリング機能をコーディングしますが、ディープ ラーニングは、明示的な人間の指導なしに、直感とルールを独自に学習することを目的としています。講師はチェスの例を使用してこれらの違いを説明し、機械が自然のシーンや現実世界の状況などの複雑な環境をナビゲートできるようにすることで、ディープ ラーニングが AI に革命をもたらしたことを指摘します。講師は、トレーニング データの収束、計算能力、および新しいアルゴリズムをディープ ラーニングの 3 つの主要な柱として特定し、マシンが観察可能な刺激に基づいてシーンの内部表現を構築することを説明します。
  
  
• 01:00:00 このセクションでは、講演者は、機械学習と深層学習には、観測とデータを分析することによって世界の複雑さの表現を構築することが含まれていると説明します。従来の機械学習では単純な表現が使用されますが、ディープ ラーニングでは階層的な表現が使用されます。生成モデルを使用すると、世界の隠れた状態を考慮してイベントの前方確率を表現できますが、ベイズ規則を使用すると、観測を考慮して特定の季節である事後確率を推定できます。これには、仮説が与えられたデータの確率から、データが与えられた仮説の確率への、尤度と事前確率の積による変化が含まれます。データの周辺確率を使用してすべての仮説を合計し、データの全体的な確率を取得します。
  
  
• 01:05:00 このセクションでは、スピーカーはベイジアン推論の概念と、古典的および深層機械学習におけるその役割について説明します。ベイジアン推論には、世界の生成モデルを用意し、そのモデルについて何かを推論することが含まれます。これは、いくつかの点のラベルが存在する教師あり学習で特に役立ち、特徴に基づくオブジェクトの分類を実現できます。従来の機械学習では、主要なタスクは特徴エンジニアリング、つまりデータセットから適切な特徴を選択することでしたが、ディープ ラーニングでは特徴が自動的に学習されます。クラスタリングは、データセットを学習して表すことができる教師なし学習の一形態であり、ベイジアン推論を使用してデータセットの生成モデルのパラメーターを繰り返し推定し、データの特徴を改善できます。
  
  
• 01:10:00 ビデオのこのセクションでは、インストラクターが学習への生成的アプローチと識別的アプローチの違いについて説明し、識別的学習がデータの分布全体を捉えようとするのではなく、データ要素間の最適なセパレーターを学習することに重点を置いていることを強調しています。講義では、生物学的システム全体のネットワークを理解するためのサポート ベクター マシン、分類性能、および線形代数の能力についても触れます。インストラクターは、このクラスは深層学習に焦点を当て、具体的には、世界に関するさまざまなオブジェクトや概念を分類するために、レイヤーを介してシンプルでより抽象的な機能を構築することに焦点を当てると述べています。最後に、講義はすべての学習が深いわけではないことを強調し、人工知能と機械学習への歴史的なアプローチを概説します。
  
  
• 01:15:00 このセクションでは、スピーカーは、推論の抽象的な層を学習するニューロンの層を使用して、人間の脳が画像を処理し、オブジェクトを認識する方法について説明します。彼はこのプロセスを、生物学的空間から計算空間に移植されたディープラーニングと AI で使用されるニューラル ネットワークのアーキテクチャと比較します。このコースでは、正則化、過剰適合の回避、トレーニング セット、テスト セットなど、深層学習のさまざまなトピックを取り上げます。講演者はまた、表現をより単純なものにクランプするためのオートエンコーダーと、教師なしメソッドとして機能する教師ありアルゴリズムについても言及しています。さらに、コースへの参加者を歓迎し、コースの生物学的側面の重要性を強調しています。
  
  
• 01:20:00 このセクションでは、スピーカーは人工ニューロンとディープ ネットワークの解釈可能性に関連するいくつかの質問に対処します。これについては、今後の講義で詳しく説明します。また、学生にプロフィールを記入し、紹介ビデオをアップロードするように促します。

[MetaQuotes]

機械学習の基礎 - 講義 02 (2021 年春)

Machine Learning Foundations - Deep Learning in Life Sciences Lecture 02 (Spring 2021)

この講義では、機械学習の基礎について説明し、トレーニング セットやテスト セットなどの概念、識別型や生成型などのモデルの種類、損失関数の評価、正則化と過剰適合、ニューラル ネットワークを紹介します。講師は、ハイパーパラメータの重要性、生命科学における精度の評価、相関テスト、およびモデル テストの確率計算について説明します。最後に、ディープ ニューラル ネットワークの基礎とニューロンの構造について説明し、複雑な機能の学習における非線形性の役割を強調します。

講義の 2 番目のセクションでは、深層学習における活性化関数の概念について説明し、勾配の基礎である誤差を最小化するために重みの更新を調整する際に、偏導関数を使用して出力関数に一致するように重みを調整する学習プロセスについて説明します。に基づいた学習。バックプロパゲーションの概念は、重みを調整するためにニューラル ネットワークを介して導関数を伝播する方法として導入されています。深層学習モデルの複数のレイヤーで重みを最適化するためのさまざまな方法について説明します。これには、確率的勾配降下、モデル容量の概念、および VC 次元が含まれます。グラフに対するモデルの容量の有効性、バイアスと分散についても説明し、早期停止や重み減衰などのさまざまな正則化手法についても説明します。複雑さの適切なバランスを見つけることの重要性が強調され、生徒はクラスメートに積極的に自己紹介することが奨励されます。

• 00:00:00 このセクションでは、講師が機械学習の基礎とその定義を紹介します。機械学習は、経験を専門知識や知識に変換するプロセスであり、計算手法を使用して、データ内の明らかになったパターンを使用して将来の結果を正確に予測します。機械学習の目標は、データ内のパターンを自動的に検出し、それを使用して出力を適切に予測できる方法を開発することです。講師は、モデルのパラメーターとアーキテクチャを適合させるために使用されるトレーニング セットと、モデルのパフォーマンスと汎化力を評価するテスト セットの概念についても説明します。最後に、講師は、オーバーフィッティングを避けるためにパラメーターとモデルの複雑さを制御する際の正則化の重要性に触れます。
  
  
• 00:05:00 レクチャーのこのセクションでは、インストラクターがスカラー、ベクトル、行列、テンソルなど、機械学習で使用されるさまざまな種類のオブジェクトを紹介します。入力空間は、これらのオブジェクトの個々の例として定義され、特定のデータ セットが特定のインデックスと機能と共に使用されます。ラベル スペースも導入され、予測されたラベルは y ハットとして示されます。機械学習の目標は、入力データから抽出された特徴を評価し、入力を出力に変換する関数を使用して出力結果を計算することです。インストラクターは、トレーニング セットとテスト セットの違い、および関数が入力パラメーターを受け取り、重みベクトルとバイアスを使用して出力を計算する方法についても説明します。
  
  
• 00:10:00 このセクションでは、スピーカーは、軸がない場合に線形関数の出力を最適化するために重みとバイアスがどのように使用されるかを説明します。変換関数は、世界に関する推論と分類を行う世界のモデルと見なすことができます。モデルには 2 つのタイプがあります。2 つのクラスを区別する識別モデルと、複数のクラスの同時分布をモデル化しようとする生成モデルです。線形回帰は機械学習の 1 つのタイプにすぎず、回帰は分類以外の一般的なタスクです。
  
  
• 00:15:00 このセクションでは、講師が、教師あり、半教師あり、教師なし、強化学習など、さまざまな種類の機械学習について説明します。教師あり学習と、多変量回帰、バイナリおよびマルチクラス分類、マルチラベル分類などのさまざまなタイプの出力に焦点を当てています。講師は、トレーニング中に機械学習モデルを最適化するために使用される目的関数についても話します。目的関数は、損失関数、コスト関数、またはエラー関数の形をとることができます。ゼロワン損失、交差エントロピー損失、ヒンジ損失など、さまざまな種類の損失関数が提示され、講義は回帰の平均二乗誤差と平均絶対誤差の議論で締めくくられます。
  
  
• 00:20:00 このセクションでは、講師が L1 および L2 正則化の概念を紹介します。これらは、それぞれ予測値からの逸脱に対する線形および二次ペナルティです。彼らは、パラメーターに制約を割り当てることで、これらを使用して、はるかに外れ値にペナルティを課し、オーバーフィッティングを回避する方法について説明しています。次に、講師は、値の発生確率によってすべてを重み付けするバイナリ クロス エントロピー損失や、情報ベースのアプローチを使用するカテゴリカル クロス エントロピー損失など、分類タスクのさまざまな損失関数を調べます。さらに、データを 0 から 1 の範囲にマッピングするためのソフト マックス機能にも触れています。これらの概念はすべて、ベイジアン設定における最尤推定量と事後確率に影響を与えます。
  
  
• 00:25:00 このセクションでは、クラス全体で特定の式を使用した場合の出力について説明します。これは、指定されたクラスに属している場合は 1 であり、そうでない場合は 0 です。講義では、入力データ、重み、バイアス項など、問題の構造についても説明します。オプティマイザーは重み間の不一致に基づいて構築され、これらの重みは平均二乗誤差や平均絶対誤差などの損失関数を使用してトレーニングされます。講義では、特定の予測に関連するコストを説明するリスクの考え方も紹介し、リスクを使用して目的関数を最適化する方法について説明します。次に、損失関数に基づいて重みを更新する方法と、トレーニング セットとテスト セットを使用してモデルを評価する方法について説明します。
  
  
• 00:30:00 このセクションでは、インストラクターが機械学習におけるオーバーフィッティングとアンダーフィッティングの概念について説明します。彼は、トレーニング セットが向上するにつれて、モデルが検証セット内のデータをより適切に予測できるようになる方法について説明しています。ただし、ある時点を過ぎると、モデルがトレーニング セットにオーバーフィットし始め、検証セットのエラーが増加し始めます。したがって、インストラクターは、データをトレーニング、検証、およびテスト セットに分割することの重要性を強調します。これにより、検証セットを使用してハイパーパラメーターを調整し、テスト セットを使用して完全にトレーニングされたモデルのパフォーマンスを評価します。
  
  
• 00:35:00 このセクションでは、講演者は生命科学の文脈で機械学習モデルの精度を評価する方法について説明します。真陽性と真陰性に着目した真陽性力、偽陽性と偽陰性など、さまざまな評価方法について説明しています。スピーカーは、精度、特異性、再現率、正確性などの他の評価手法や、データセットのバランスを考慮することの重要性についても説明します。次に、受信者動作特性 (ROC) 曲線と、それが分類器の感度と特異性のトレードオフの評価にどのように役立つかを紹介します。さらに、特定の回帰設定の非常に不均衡なデータセットのより良いオプションとして、精度再現率曲線が言及されています。両方の曲線は補完的であり、モデルのパフォーマンスのさまざまな側面を捉えています。
  
  
• 00:40:00 このセクションでは、スピーカーは相関の概念と、それを使用して回帰予測変数を評価する方法について説明します。彼らは、相関は予測される値と実際の値の間の関係を測定し、ピアソン相関やスピアマン順位相関など、さまざまな種類の相関テストがあると説明しています。スピーカーはまた、相関テストの重要性と、それらを使用して予測変数の精度を評価する方法についても言及しています。彼らは、スチューデントの t 分布や二項検定などの統計検定を使用して、特定の相関値が得られる確率と、それが期待値から大きく逸脱しているかどうかを判断する方法を説明しています。
  
  
• 00:45:00 このセクションでは、スピーカーは、超幾何分布を使用して k 個の観測が偶然に正しく分類される確率を計算することにより、分類子がランダムに正しい選択を行う確率について説明します。彼はまた、複数の仮説をテストしている場合は、帰無の確率を調整する必要があり、厳密なボンフェローニ補正またはそれほど厳しくないベンジャミン ホフバーグ補正を使用してしきい値を調整できることも強調しています。講演者は、十分なデータがあればほぼどこでも相関関係を見つけることの危険性について警告し、相関関係の欠如は関係の欠如を意味するものではないことを強調します。このセクションは、スピーカーがニューラル ネットワークの議論に移る前にストレッチ ブレークで終了します。
  
  
• 00:50:00 講義のこのセクションでは、インストラクターがディープ ニューラル ネットワークの概念と、学習における抽象化の階層におけるそのルーツを紹介します。インストラクターは、ネットワークの層について説明します。入力層から始まり、ますます複雑な機能を学習するいくつかの非表示層に進みます。畳み込みフィルターの概念については簡単に説明しますが、後の講義でさらに詳しく説明します。インストラクターはまた、これらのネットワークは人間の脳のニューロンの生物学的構造に触発されていると述べています。
  
  
• 00:55:00 このセクションでは、講師が深層学習ニューラル ネットワークの基礎について説明します。彼は、ニューロンの構造を、重み付けされた入力を受け取り、しきい値を超え、同じ出力をその子孫に送信する計算構造として説明しています。ニューラル ネットワークでの学習はこれらの重みに埋め込まれており、計算される関数は、受信した入力に基づいて変換された確率です。講師は、ニューラル ネットワークが線形関数を超えて強力になり、ほぼすべての関数を学習できる非線形性を導入したことを強調しています。元の非線形性はシグモイド ユニットであり、ニューロンが 1 で発火するか、しきい値を超えるまでゼロのままであることを表します。さらに、より複雑な関数を近似するために、ソフト プラス ユニットが導入されました。
  
  
• 01:00:00 講義のこのセクションでは、講演者は深層学習における活性化関数の概念と、入力に応答してニューロンが発火するのをどのように助けるかについて説明します。彼は、ソフト プラス、シグモイド、整流線形単位 (ReLU) などのさまざまな活性化関数を紹介しています。また、スピーカーは、出力関数に一致するように重みを調整する学習プロセス、およびエラーを最小限に抑えるために重みの更新を調整する際の偏導関数の役割についても説明します。これが勾配ベースの学習の基礎であると彼は説明します。
  
  
• 01:05:00 講義のこのセクションでは、ウェイトを調整するためにニューラル ネットワークを介して導関数を伝播する方法として、バックプロパゲーションの概念が紹介されています。チェーン ルールは、前のレイヤーの関数として各レイヤーの導関数を計算するために使用され、各レベルで調整を行うことができます。このプロセスには、勾配をスケーリングするための学習率、大きな重みを防ぐための重み減衰、必要な変更の方向と量を決定するための前の時間ステップでのデルタの考慮など、追加のベルとホイッスルを追加できます。
  
  
• 01:10:00 このセクションでは、講演者は、深層学習モデルの複数のレイヤーで重みを最適化するためのさまざまな方法について説明します。これらの方法には、チェーン ルールを使用して各重みに関する出力の導関数を計算することや、トレーニング データのサブセットをランダムにサンプリングして重みを更新する確率的勾配降下法が含まれます。さらに、講演者は、モデル容量の概念と、深層学習モデルのパラメーターと計算できる関数のタイプの両方に基づいて、ディープ ラーニング モデルの全体的なモデリング能力を表す VC ディメンションについて説明します。ノンパラメトリック モデルの容量は、トレーニング セットのサイズによって定義されます。
  
  
• 01:15:00 このセクションでは、k-nearest neighbor の概念とその一般化可能性について説明します。 k 最近傍法は優れたベースライン手法ですが、データセットを分離する関数を学習しないため、一般化能力が低く、以前に見られなかった入力に対して適切に実行することが困難になる場合があります。グラフでのモデルの容量の有効性についても説明します。x 軸はパラメーターまたは次元の有効な数を示し、この数を増やすとデータとの一致が向上しますが、一般化エラーが大きくなります。バイアス (与えられたデータとどれだけ一致するか) と分散 (将来のデータ セットとどれだけ一致するか) も導入されます。最後に、パラメーターの正則化とモデルの複雑さの正則化をトレードオフすることで、モデルを正則化できます。これは、さまざまなレベルのニューロンの複雑さを持つデータセットを比較することで実証できます。
  
  
• 01:20:00 レクチャーのこのセクションでは、インストラクターがニューラル ネットワークに正則化を追加するためのさまざまな手法について説明します。たとえば、早期停止、重み減衰、正則化としてのノイズの追加、ベイジアン プライアなどです。活性化関数と重みの数に依存する容量の概念についても説明します。インストラクターは、より多くの層、より広い層、より多くの接続の間のトレードオフは理論ではなく芸術であり、複雑さの適切なバランスを取ることが不可欠であることを強調しています.インストラクターは、学生がクラスメートに積極的に自己紹介し、時間をかけて会ってプロフィールやビデオについて学ぶよう奨励します。

[MetaQuotes]

CNN 畳み込みニューラル ネットワーク - 講義 03 (2021 年春)

CNN 畳み込みニューラル ネットワーク - 生命科学における深層学習 - 講義 03 (2021 年春)

このビデオ講義では、ライフ サイエンスの深層学習における畳み込みニューラル ネットワーク (CNN) のトピックを取り上げます。講演者は、視覚皮質の原理と、それらが CNN とどのように関係しているかについて説明します。これには、加算と重み付けの基本的な構成要素、ニューロンのバイアス活性化しきい値など、人間と動物の視覚系の構成要素が含まれます。彼らは、CNN が特殊なニューロンを低レベルの検出操作に使用し、隠れユニットのレイヤーを抽象的な概念の学習に使用すると説明しています。講義では、畳み込み層とプーリング層の役割、複数の特徴を抽出するための複数のフィルターの使用、転移学習の概念についても説明します。最後に、畳み込みのエッジ ケースに対処するための非線形性とパディングの使用についても説明します。全体として、講義では、さまざまなライフ サイエンス アプリケーションにおける CNN の能力と可能性が強調されています。

講義の後半では、畳み込みニューラル ネットワーク (CNN) に関連するさまざまな概念について説明します。講演では、スピーカーは、CNN で入力サイズを維持することの重要性、変換に対する不変性を達成する手段としてのデータ拡張、およびさまざまな CNN アーキテクチャとそのアプリケーションについて話します。この講義では、ディープ CNN での学習に関連する課題、ハイパーパラメーターとそれらが全体的なパフォーマンスに与える影響、およびハイパーパラメーター調整へのアプローチについても取り上げます。講演者は、CNN の背後にある基本原理を理解することの重要性を強調し、複数の設定に適用できる手法としての汎用性を強調します。

• 00:00:00 このセクションでは、講演者は畳み込みニューラル ネットワーク (CNN) のトピックを紹介し、さまざまなドメインにわたる深層学習におけるその重要性を強調します。講演者は、6s191 コースと Tess Fernandez の Coursera ノートが CNN を研究するための優れたリソースであると評価しています。講演者は、CNN が人間の脳自体のニューラル ネットワークと、50 年代と 60 年代の動物の視覚野に関する神経科学研究の発見にどのように着想を得たかを説明します。スピーカーは、神経科学の基礎研究が発見した重要な原則のいくつかを説明し続けます。これには、限られた受容野と細胞がエッジに直角に反応するという概念が含まれます。これらの概念は、現在使用されている畳み込みフィルターと CNN の基礎を形成しています。
  
  
• 00:05:00 このセクションでは、スピーカーは視覚野の原理と、それらが畳み込みニューラル ネットワーク (CNN) とどのように関係しているかについて説明します。視覚野には、エッジ検出のような単純な原始的な操作が含まれています。エッジ検出は、個々のニューロンがさまざまな場所の明暗を検出し、その信号にしきい値を設定することで構築されます。検出されたエッジまたはオブジェクトの位置に対して不変である高次ニューロンがあり、CNN のプーリング層における位置不変性の概念につながりました。講演者は、人間と動物の視覚システムの構成要素についても説明します。これには、加算と重み付けの基本的な構成要素、ニューロンのバイアス活性化しきい値など、ニューラル ネットワークに見られる同様の原則が含まれています。
  
  
• 00:10:00 講義のこのセクションでは、スピーカーは、特定のしきい値を超える入力に基づいてニューロンが発火するかどうかを決定する、ニューロンの活性化機能について説明します。このプロセスの非線形性により、より複雑な関数を学習できます。これは、線形情報の線形変換が依然として線形変換であるためです。ニューロンは、創発的な特性を持ち、学習と記憶を可能にするネットワークに接続されています。人間の脳は非常に強力で、860 億個のニューロンと、エッジやラインなどの複雑な概念の抽象化と認識を可能にする単純で大規模で深いネットワークに編成された 1000 兆個の接続を含んでいます。明るい領域と暗い領域に対応する正と負のシグナル伝達に基づいて、ニューロンの下位レベルでエッジ検出器を作成する方法の例を示します。
  
  
• 00:15:00 このセクションでは、スピーカーは、脳内の神経接続がエッジやバーなどの非常に基本的な線形および円形のプリミティブを検出し、それらを使用して色、曲率、方向などのより複雑な機能を感知する方法について説明します。脳の視覚野の上位層は、ディープ ラーニングの抽象化層に対応し、単純な部分から複雑な概念を構築します。脳の可鍛性により、脳のさまざまな部分を利用して対応する信号を感知することもできます。動物での実験では、脳内の回路は交換可能であり、損傷時に再配線できることが示されています。さらに、講演者は、人間とマウスの脳のサイズの大きな違いと、哺乳類、特に霊長類の新皮質の拡大が、どのようにしてより高いレベルの抽象化と社会的知性を生み出したかについて述べています。
  
  
• 00:20:00 このセクションでは、講師は、すべての数学関数を学習することはできませんが、ニューラル ネットワークがどのようにして私たちが住む物理的な世界に適した膨大な範囲の関数を学習できるかを説明します。また、この講義では、錯覚が脳内で行われている計算のプリミティブと構成要素をどのように明らかにできるかについても探ります。これをディープ ラーニングで利用して、人が巨大な動物の組み合わせに変わるのを見るような体験を生み出すことができます。次に講義は、完全に接続されたネットワークではなくローカルで計算される、局所性や畳み込みフィルターの計算など、畳み込みニューラル ネットワークの重要な要素について説明します。
  
  
• 00:25:00 生命科学における CNN と深層学習に関する講義のこのセクションでは、講演者は畳み込みニューラル ネットワークのいくつかの重要な機能について説明します。これらには、低レベルの検出操作を実行する特殊なニューロンの使用、抽象的な概念がより単純な部分から学習される隠れユニットのレイヤー、非線形性を導入する活性化関数、位置の不変性と計算時間の短縮のためのプーリングレイヤー、複数のフィルターの使用が含まれます。元の画像のさまざまな側面と、正則化のために個々の隠れユニットの重みを制限する方法をキャプチャします。これらの機能はすべて、複雑な画像やゲノム データのパターンを学習して認識できる効果的な CNN を構築するために重要です。
  
  
• 00:30:00 このセクションでは、講師は、人間の脳もさまざまなメカニズムを使用して有用な接続を強化すると同時に、特定のタスクの単一の接続への過度の依存を制限していると説明しています。彼は、時間の経過とともにニューロンの発火を減らし、強化学習を使用して運動課題を改善する例に言及しています。彼はまた、人間の脳におけるこれらの原始的な学習メカニズムと、畳み込みニューラル ネットワークで使用されるバックプロパゲーション アルゴリズムとの間の類似点を描きます。講師は、学生が現在のアーキテクチャを超えて考え、個々のプリミティブから派生する可能性のある新しい計算アーキテクチャを検討することを奨励しています。最後に、彼は、完全に接続されたネットワーク内で局所性を必要とするアプリケーションと必要としないアプリケーションについてどのように考えるかについて、チャットからの質問に答えます。
  
  
• 00:35:00 このセクションでは、スピーカーは深層ニューラル ネットワークの 2 つの部分である表現学習と分類について説明します。階層的な学習を行うことで、ピクセルの組み合わせが特徴抽出になり、特徴の検出が続きます。これにより、バックプロパゲーションと特徴抽出の 2 つのタスクを結合することで、ネットワークが複雑な非線形関数を学習できるようになります。講演者は、このパラダイムは非常に強力で、さまざまなアプリケーション ドメイン間で一般化できると述べています。この分野はまだ始まったばかりであり、特にゲノミクス、生物学、神経科学、画像処理、および電子カルテにおいて、創造性と探求の余地がたくさんあります。したがって、これらのアプリケーション ドメインは、さまざまな分野のデータ サイエンスに広く適用できる新しいアーキテクチャの開発を促進できます。
  
  
• 00:40:00 このセクションでは、スピーカーは畳み込みニューラル ネットワークの概念と、空間構造の活用、ローカル計算の実行、画像全体でのパラメーターの共有における畳み込みの役割について説明します。画像のすべてのパッチにフィルターまたはカーネルを適用することにより、畳み込みを使用して特徴マップを計算し、画像のすべてのパッチにどれだけの特徴が存在するかを示し、効果的に特徴抽出を行います。スピーカーは、複数のフィルターを使用してエッジやひげなどの複数の特徴を抽出し、各フィルターのパラメーターを空間的に共有してより少ないパラメーターから学習することを強調しています。
  
  
• 00:45:00 CNN に関するこのセクションでは、スピーカーは、エッジ検出などの各特徴抽出プロセスのパラメーターが共有され、一度に画像全体に適用されることを説明します。隠れ層の各ニューロンは、パッチから入力を取得し、加重合計を計算し、バイアスを適用して非線形関数でアクティブ化します。畳み込みフィルターは、画像から特徴を抽出し、タスク固有のフィルターを通じて学習できる表現を学習するために使用されます。さまざまな種が、生まれてからハードコードされた畳み込みフィルターを進化させてきました。これは、最も役立つタスクに再利用できます。
  
  
• 00:50:00 このセクションでは、講師が畳み込みニューラル ネットワークを通じてフィルターを学習するプロセスについて説明します。これは、画像から共通の特徴を抽出し、さまざまなタスクの特定の特徴を識別します。特定の種に固有のものなど、特定のフィルターはハードコーディングされていますが、エッジ検出や顔検出などの他のフィルターは、さまざまなアプリケーションに役立ちます。以前の畳み込みフィルターを新しいデータに適用して、新しい機能を再トレーニングする前に中間および高レベルの表現を事前学習できる転移学習の概念について説明します。低レベルから高レベルまでの機能の階層は、当面の分類タスクに合わせて調整されます。講演者はまた、畳み込みとは、あるものを別のものにひねる効果を指し、その後、非線形性を使用して検出が行われると説明しています。
  
  
• 00:55:00 このセクションでは、スピーカーは非線形性の概念と、特定の特徴が観察されるまで沈黙を導入することで検出を可能にする方法について説明します。彼らはまた、特定のセクション内の最大値を見つけて表現のサイズを縮小し、検出されたいくつかの特徴をより堅牢にするプーリング層の使用についても説明します。次に、完全に接続されたレイヤーは、はるかに複雑な機能を学習し、ネットワークから抽出された機能の組み合わせをキャプチャして、最終的に分類を可能にします。講演者は、畳み込みのエッジ ケースについても触れ、畳み込み前に画像をゼロでパディングすることでこの問題を解決する方法についても説明します。
  
  
• 01:00:00 このセクションでは、講演者は、畳み込みニューラル ネットワークで入力サイズを維持することの重要性と、ゼロ パディングや膨張畳み込みなど、これを達成するためのさまざまな方法について説明します。データ拡張の概念は、向きや形状の変化など、現実世界の変換に対する不変性を達成する方法として導入されています。最初に画像を変換することで、ネットワークは位置や向きに関係なくオブジェクトを認識することを学習できます。講演者は、ボトムアップから何百万もの特徴を学習し、画像を変換して不変性を達成することの重要性を強調しています。
  
  
• 01:05:00 このセクションでは、スピーカーは、講義の前のセクションで説明した概念を要約します。これには、局所性、フィルターと機能、アクティベーション関数、プーリング、マルチモダリティが含まれます。次に、深層畳み込みニューラル ネットワークの例を示します。これは、RGB イメージの入力ボリュームと、それに続くストライド 2 の 20 個のフィルターで構成され、ボリューム 10 を作成します。スピーカーは、計算されたフィルターの数がネットワークのすべてのレイヤーで変化する対応するボリューム。また、さまざまなフィルター サイズ、アクティベーション関数、プーリング、ストライド サイズなど、深層学習用の Keras エンジンを使用して TensorFlow でこれらの概念を実装する方法も示しています。
  
  
• 01:10:00 このセクションでは、講演者は畳み込みニューラル ネットワークのさまざまなアーキテクチャとそのアプリケーションについて説明します。最初に、ドキュメント認識用の LeNet-5 から始めて、一連の畳み込みフィルター、サブサンプリング、完全に接続されたレイヤーを確立するのに役立ちました。今日のCNN。講演者は、パラメーターとレイヤーの数が多いため、CNN のトレーニングは非常に多くのトレーニング データを必要とするため、芸術であると説明しています。非対称データはモデルのパフォーマンスに影響を与える可能性があるため、トレーニングにおける正規化の重要性も強調されています。全体として、スピーカーは、CNN が分類タスクを達成できる自然で効果的な方法を強調しています。
  
  
• 01:15:00 このセクションでは、講師が深い畳み込みニューラル ネットワークでの学習に関連するいくつかの課題について説明します。課題の 1 つは、勾配の消失または爆発です。これは、初期値を慎重に選択し、データを正規化することで軽減できます。講師は、データセット全体でトレーニングするかミニバッチを使用できるバッチ サイズを選択する方法についても説明し、RMS プロップやシミュレーテッド アニーリングなど、トレーニングのためのさまざまな手法について話します。この講義では、アーキテクチャとトレーニングのパラメーターであるハイパーパラメーターと、それらが全体的なパフォーマンスに与える影響についても説明します。最後に、講師は、ハイパーパラメータ チューニング、グリッド サーチ、およびランダム サーチの 2 つのアプローチを紹介し、それらの利点と欠点について説明します。
  
  
• 01:20:00 このセクションでは、ロジスティクスや従来のアプローチに焦点を当てるのではなく、畳み込みニューラル ネットワークの背後にある基本原則の重要性をスピーカーが強調します。講義では、畳み込み、学習表現、検出、非線形性、プーリング層など、CNN の主要な機能について説明します。講演者は、トレーニングを小さな摂動に対して不変にし、さまざまなタイプのアーキテクチャに対処するという実際的な問題についても強調します。さらに、このクラスでは、今後のセッションでモデルのトレーニング方法について説明します。全体として、この講義では、複数の設定に適用できる非常に用途の広い手法として CNN を紹介します。

[MetaQuotes]

Recurrent Neural Networks RNNs、Graph Neural Networks GNNs、Long Short Term Memory LSTMs - 講義 04 (Spring 2021)

リカレント ニューラル ネットワーク RNN、グラフ ニューラル ネットワーク GNN、長期短期記憶 LSTM

このビデオでは、リカレント ニューラル ネットワーク (RNN) と、シーケンス学習に重要な時間的コンテキストをエンコードする能力から始まるさまざまなトピックを取り上げます。講演者は、隠れマルコフ モデルの概念とその限界を紹介し、長いシーケンスを処理するための強力なアプローチとして、長短期記憶 (LSTM) モジュールの議論につながります。このビデオでは、RNN を展開したり使用したりせずに一時的な関係を学習する Transformer モジュールについても説明しています。グラフ ニューラル ネットワークが紹介され、古典的なネットワーク問題の解決や計算生物学における潜在的なアプリケーションが紹介されています。講演は、縮退グラフ モデルや潜在グラフ推論への応用など、グラフ ニューラル ネットワークの最先端研究についての議論で締めくくられます。

ビデオのこの 2 番目の部分では、リカレント ニューラル ネットワーク (RNN)、グラフ ニューラル ネットワーク (GNN)、および長短期記憶 (LSTM) モジュールについて説明します。グラフベースのデータを処理する際に従来のフィードフォワード ニューラル ネットワークに制限があることを説明していますが、GNN は幅広い不変性を処理し、グラフ全体に情報を伝達できます。スピーカーは、グラフ畳み込みネットワーク (GCN) とその利点と課題についても説明します。さらに、このビデオでは、GNN をより強力かつ柔軟にする上での注意機能の重要性について説明しています。

• 00:00:00 このセクションでは、講師が、リカレント ニューラル ネットワークや長短期記憶モジュールなど、このクラスで取り上げるトピックを紹介します。講師は、機械がコンテキストと注意を理解し、隠れマルコフ モデルと再帰型ニューラル ネットワークを使用して一時的なコンテキストをエンコードする方法について説明します。また、メモリ モジュールを使用して勾配の消失を回避する方法についても説明し、シーケンスを展開せずに時間関係を学習できる Transformer モジュールを紹介します。この講義では、グラフ ニューラル ネットワークと、グラフの接続パターンを使用してトレーニングをガイドする方法についても触れます。次に、講師は、人間の脳が文脈を読み取って理解する能力について説明し、音素復元の例と、文脈に基づいて欠落している単語を埋める例を紹介します。
  
  
• 00:05:00 ビデオのこのセクションでは、理解の根底にある、次に何が起こるかを予測することで、脳が言語と音をどのように処理するかについて話します。リカレント ニューラル ネットワークは、一連の音圧を一連の単語アイデンティティに変換するなど、入力シーケンスを別のドメインに存在する出力シーケンスに変換するために、機械学習をシーケンスに適用する際に時間的コンテキストをエンコードするために使用されます。講演者はまた、マガーク効果や遅延聴覚フィードバックなど、聴覚および視覚的なコンテキスト情報に関連する認知効果の例を挙げ、それらがどのように機能するかを説明します。
  
  
• 00:10:00 ビデオのこのセクションでは、講演者はシーケンス予測モデルを使用して世界について学習することの威力について説明します。シーケンスの次の項を予測することで、教師なし学習プロセスを教師あり学習プロセスに変えることができます。これにより、教師あり学習用に設計されたメソッドをアノテーションなしで使用できます。スピーカーは、単一の共通機能を学習してシーケンス全体に適用できるため、将来のイベントの予測が可能になると説明しています。隠しノードと内部ダイナミクスを組み込むことで、より複雑なモデルを構築でき、情報を長期間保存できます。スピーカーは、隠れ状態ベクトルの確率分布を推測する方法と、入力を使用して現在の隠れノードに情報を与えることにより、直接または間接的に隠れノードを駆動する方法について説明します。
  
  
• 00:15:00 このセクションでは、スピーカーは隠れマルコフ モデル (HMM) とその限界について説明します。 HMM には 2 種類のパラメーターがあります。隠れ状態が与えられたときに各出力が観察される確率を表す放出行列と、現在の隠れ状態が与えられた別の隠れ状態に遷移する確率を表す遷移行列です。ただし、すべての時間ステップで、非表示の状態の 1 つだけを選択でき、状態が n の場合、log n ビットの情報しか記憶できません。より多くの以前の情報をエンコードするには、膨大な数の状態が必要になります。この制限は、情報の明示的なエンコードを可能にするリカレント ニューラル ネットワーク (RNN) によって対処されます。
  
  
• 00:20:00 このセクションでは、再帰型ニューラル ネットワーク (RNN) の特性について学びます。これにより、非線形ダイナミクスを使用してより複雑な方法で更新された分散型隠れ状態を使用して、多くの情報を効率的に格納できます。線形動的システムまたは隠れマルコフ モデル (HMM) の隠れ状態の事後確率分布は確率論的ですが、RNN の隠れ状態は決定論的です。本質的に確率的である HMM や線形動的システムとは異なり、RNN は、振動や無秩序な動作など、あらゆる種類の動作を持つことができるため、予測不可能な決定が可能になります。フィードフォワード ネットワークと RNN は時間が展開されると同じであり、ネットワーク内の各文字を計算するために使用される同じ共有重みを持つ無限のスタックを持つフィードフォワード ネットワークと同等になります。
  
  
• 00:25:00 このセクションでは、スピーカーは再帰型ニューラル ネットワーク (RNN) に使用できる特定のアーキテクチャと、バックプロパゲーションを使用してそれらをトレーニングする方法について説明します。 1 つの方法は、入力を非表示ユニットに供給し、シーケンス全体の後に 1 つの出力を持たせることです。もう 1 つの方法は、タイム ステップごとに出力予測を行うことです。これにより、情報が隠れユニット間を流れ、出力変数の予測が可能になります。同じ逆伝播アルゴリズムを使用して、これらのアーキテクチャの重みを更新できます。スピーカーは、ネットワークのさまざまなレベルで重みが共有されていることを強調しています。これにより、より効率的な学習が可能になります。
  
  
• 00:30:00 このセクションでは、スピーカーは、リカレント ニューラル ネットワーク (RNN) における時間による逆伝播の概念と、前の時間ステップからのメモリのエンコードを可能にする方法について説明します。彼らは、これは、前のタイム ステップからの出力を現在の隠れユニットに流すか、トレーニング中に前の発話の正しい出力ラベルを現在のモデルに供給することによって達成できると説明しています。トレーニング プロセスでは、すべての重みに対する損失関数の導関数を取得し、これを使用して線形制約の下で重みを更新します。講演者は、RNN は複雑に見えるかもしれませんが、他のニューラル ネットワークと同じ手順を使用してトレーニングできることに注目しています。
  
  
• 00:35:00 このセクションでは、スピーカーは、機械学習ツールを使用したシーケンスのモデリングの概念と、長いシーケンスを処理する方法について説明します。彼は、文章の翻訳や話し言葉の書き起こしなどの場合、入力シーケンスを出力シーケンスに変換する必要があると説明しています。ただし、別のターゲット シーケンスがない場合は、入力シーケンスの次の項を予測しようとすることで、教師信号を取得できます。このアプローチの課題は、特定の単語の影響が時間の経過とともに減衰する非常に長いシーケンスを扱う場合に発生します。これに対処するために、スピーカーはエコー状態ネットワークや運動量の利用などのさまざまな方法を説明しますが、最も強力なアプローチとして長短期記憶モジュールを強調しています。これらのモジュールは、数百のタイム ステップの値を記憶できるメモリ セルを設計するために、乗法相互作用を伴うロジスティック単位と線形単位を使用します。
  
  
• 00:40:00 このセクションでは、講演者は長短期記憶 (LSTM) ニューラル ネットワークにおけるアナログ メモリ セルの概念について説明します。メモリ セルは、重みが 1 の自己リンクを備えた線形ユニットであり、いかなる種類の重み減衰によっても情報が変更されず、希釈されないことを保証します。セルは、情報が必要になるまで絶えず繰り返されるエコー チェンバーを維持するゲートによって制御されます。ネットワークは、情報をいつ記憶するか、または忘れるかを決定します。 read ゲートと keep ゲートをアクティブにすると、それぞれ情報の取得と保守が可能になります。ネットワークには、記憶の記憶、忘却、保存、検索の機能が与えられており、特定の情報をいつ記憶するか忘れるかを決定します。これらのゲートの実装により、再帰型ニューラル ネットワークで長期間にわたって情報を保存できます。
  
  
• 00:45:00 このセクションでは、スピーカーは、筆記体の手書き文字を読む際のリカレント ニューラル ネットワーク (RNN) のアプリケーションについて説明します。 2009 年には、長短期記憶モジュールを備えた RNN が、このタスクに最適なシステムであることが判明しました。一連の小さな画像をペン座標の代わりに使用して、ネットワークをトレーニングしました。講演者は、オンライン手書き認識のデモを示しています。このデモでは、時間の経過とともに手書きから文字が推測され、それらの各文字の事後確率がアクセスされます。システムの状態は維持され、異なるポイントは異なる重みを受け取ります。スピーカーは、文字がどのように学習され、システムのどの部分が重要であるかを説明します。講演者は、RNN の非表示および出力ユニットの初期化と、それらの初期状態を明示的にエンコードする代わりに学習パラメーターとして扱う方法についても説明します。
  
  
• 00:50:00 このセクションのビデオでは、トランスフォーマー モジュールと呼ばれるニューラル ネットワークの新しい開発について説明しています。このモジュールは、展開せず、リカレント ニューラル ネットワークを使用せずに一時的な関係を学習します。 Transformer モジュールは、位置エンコーディングを含む入力を使用して、時間をかけてネットワークを展開する必要なく、ネットワークがシーケンス内のどこにあるかを示します。エンコーダーは、入力に対して出力の埋め込みを 1 つシフトして、センテンス内の次の項目を予測しますが、アテンション モジュールはセンテンス内の最も重要なポイントを決定します。このモジュールは、シーケンス内の 1 つの単語のクエリ表現、シーケンス内のすべての単語のキー表現、およびシーケンス内のすべての単語の値表現を使用して、一時的な関係を実現します。
  
  
• 00:55:00 このセクションでは、スピーカーは、シーケンス変換またはあらゆる種類のシーケンシャル タスクに役立つニューラル ネットワークの一種である Transformer について説明します。単語を生成するたびに文全体の文脈情報を符号化し、この入出力関係に連続する単語同士の関係を1つずらして符号化します。講演者はまた、グラフ ニューラル ネットワークを紹介し、それらを使用して従来のネットワークの問題を解決する方法と、計算生物学における潜在的なアプリケーションについて説明します。講演の締めくくりとして、縮退グラフ モデルや潜在グラフ推論への応用など、グラフ ニューラル ネットワークの最先端研究について説明します。
  
  
• 01:00:00 このセクションでは、画像などのグリッド構造のデータに畳み込みニューラル ネットワーク (CNN) を使用する利点と、ソーシャル ネットワークなどの非グリッド データにグラフ ニューラル ネットワーク (GNN) を使用する可能性について話します。脳の接続マップ、および化学分子。講演者は、GNN に存在する可能性のある 3 つの異なるタイプの機能 (ノード機能、エッジ機能、グラフ レベル機能) についても説明します。さらに、スピーカーは、グラフ予測に完全に接続されたネットワークを使用することの問題を強調しています。これには、ノード数に合わせてスケーリングするパラメーターの数が含まれ、多くの状況では実用的ではありません。
  
  
• 01:05:00 このセクションでは、スピーカーは、グラフ サイズの問題やノードの順序に対する不変性の欠如など、グラフベースのデータに従来のフィードフォワード ニューラル ネットワークを使用する際のいくつかの制限について説明します。次に、グラフ ニューラル ネットワーク (GNN) を導入します。これは、幅広いクラスの不変性を処理し、グラフ全体に情報を伝達して、ノードの特徴を計算し、下流の予測を行うことができます。 GNN の基本式には、ノードの周囲の近隣からの情報をサンプリングし、この情報に基づいてノードの表現を更新することが含まれます。講演者は、このプロセスが、画像データの畳み込みニューラル ネットワーク (CNN) で使用されるプロセスに似ていることに注意します。
  
  
• 01:10:00 このセクションでは、スピーカーは 2 層グラフ ニューラル ネットワークの概念と、グラフ内のさまざまなノードでそれらがどのように更新されるかについて説明します。グラフ ニューラル ネットワークは、入力空間のさまざまな部分間の高次相互作用ではなく、全体的により多くの情報を可能にするため、他のタイプのネットワークとは異なると説明しています。講演者は、グラフ畳み込みネットワーク (GCN) と、無向グラフを考慮する方法についても説明し、ノードの隣接ノードからの各非表示表現に重み行列を適用する更新規則を使用します。グラフ ニューラル ネットワークのスケーラビリティについても説明し、ネットワークの爆発を防ぐために、ノードの更新に寄与する要素の数をサブサンプリングすることを提案しています。
  
  
• 01:15:00 このセクションでは、スピーカーは、グラフ データに使用されるニューラル ネットワークの一種であるグラフ ニューラル ネットワーク (GNN) について説明します。 GNN は、完全に接続されたネットワークよりも重みへの依存が少なく、順列に対して不変であるため、大きなグラフでの分類が可能になります。 GNN はエッジ機能を間接的にサポートしており、適応の 1 つはエッジ埋め込みを使用してネットワークを介してメッセージを完全に渡すことです。講演者は引用ネットワークを例として使用し、更新メカニズムが GNN でどのように機能するかを説明します。
  
  
• 01:20:00 ビデオのこのセクションでは、グラフ ニューラル ネットワークがエッジから頂点への更新のためにどのように機能するか、およびアテンション機能がネットワークを柔軟かつ強力にする上でどのように重要な役割を果たすかについて説明します。 GNN のエッジから頂点への更新の目的は、エッジの 1 つの状態を取得することです。これは、インシデント ノードから表現の集約を取得し、エッジの更新に固有の非線形関数を適用することで実現できます。同様に、頂点の更新には、ノードのインシデント エッジからの情報が含まれます。ただし、エッジベースのアクティベーションは巨大になり、大きなグラフを処理するのが難しくなります。 Attention 関数は、すべてのエッジ情報を含めずに明示的なベクトル表現を提供し、モデルの計算要件を削減しながら、柔軟性と能力を維持します。講演者は、アテンション スコアがどのように各近隣ノードがセントラル ノードの更新にどれだけ貢献しているかを示し、何らかの関係を推測したり、プロパティに貢献したりできるようにする方法について説明します。
  
  
• 01:25:00 このセクションでは、講演者がグラフ畳み込みネットワーク (GCN) とその利点と課題について説明します。 GCN を使用すると、グラフ全体に複数のレイヤーを適用でき、各更新は同じ形式になります。ノード分類、グラフ分類、リンク予測に役立ちます。ただし、グラフ全体の並列更新による最適化の問題は依然として存在し、不安定化を回避するために正規化定数を修正する必要がある場合があります。さらに、GCN は、Graph Attention Networks (GAT) などの他の方法と比較して、表現力の問題に悩まされる可能性があります。それにもかかわらず、GCN は、エッジ埋め込みやニューラル メッセージ パッシングを必要とする方法よりも依然として高速です。
  
  
• 01:30:00 このセクションでは、スピーカーは、データのグラフまたはネットワークに適用できるモデルの一種であるグラフ ニューラル ネットワーク (GNN) について説明します。 GNN では、グラフ内の任意の 2 つのノードの表現の間で内積を取り、シグモイドなどの非線形関数を適用して、そのエッジの存在確率を生成します。 GNN は、生物学における遺伝子相互作用などの分野での予測モデリングも可能にします。講演者は、畳み込みニューラル ネットワーク (CNN)、再帰型ニューラル ネットワーク (RNN)、長短期記憶モジュール、トランスフォーマー モジュールなど、議論されたさまざまなタイプのネットワークを要約して締めくくります。

[MetaQuotes]

解釈可能な深層学習 - 生命科学における深層学習 - 講義 05 (2021 年春)

解釈可能な深層学習 - 生命科学における深層学習 - 講義 05 (2021 年春)

このビデオでは、ディープ ラーニング モデルにおける解釈可能性の重要性について説明します。特に、意思決定が悲惨な結果をもたらす可能性があるライフ サイエンスの分野において重要です。講演者は、2 種類の解釈可能性について説明します。最初からモデルの設計に組み込むことと、既に構築されたモデルの事後解釈可能性手法を開発することです。彼らは、重みの視覚化、代理モデルの構築、活性化の最大化など、モデルを解釈するためのさまざまな手法を探求し、モデルの内部表現を理解することの重要性について議論します。講師は、例に基づく方法や帰属方法など、個々の決定を解釈するためのいくつかの方法についても説明します。さらに、講演者は、複雑な概念を解釈する際の課題とニューラル ネットワーク モデルの解釈の限界について説明し、ディープ ラーニング ニューラル ネットワークにおける勾配の不連続性に関連する仮説を探ります。

講演の第 2 部では、講演者は生命科学分野の深層学習モデルにおける不連続勾配と飽和関数の課題に取り組みました。彼らは、複数のサンプルにわたる入力の小さな摂動を平均してより滑らかな勾配を取得する方法、ランダム ノイズを使用して画像分類の顕著な特徴を強調する方法、デコンボリューション ニューラル ネットワークやガイド付き逆伝播法などの逆伝播法を使用して遺伝子調節モデルを解釈する方法を提案しました。講演者はまた、ピクセルフリッピング手順やスコアの削除と置換アプローチなど、帰属方法の定量的評価についても議論しました。最後に、深層学習モデルにおける解釈可能性の必要性と、それを達成するためのさまざまな手法を強調しました。

• 00:00:00 このセクションでは、プレゼンターが深層学習における解釈可能性の重要性と、それを達成するためのさまざまな方法について説明します。彼らは、深層学習モデルは人間よりも優れた性能を発揮する可能性がありますが、人間がどのように意思決定を行っているか、およびこれらの意思決定が信頼できるかどうかを理解することが重要であると説明しています。解釈可能性は、デバッグ、発見、および決定の説明の提供に役立ちます。プレゼンターは、解釈のためのアンチホークおよびポストホックの方法、ならびにモデルと意思決定の解釈について議論を続けます。次に、重みの視覚化、代理モデルの構築、活性化の最大化、例に基づくモデルなど、モデルを解釈するための特定の方法について詳しく説明します。最後に、プレゼンターは、帰属方法について議論し、質的および量的測定を通じてこれらの方法の有効性を評価します。
  
  
• 00:05:00 このセクションでは、機械学習における解釈可能性の重要性が強調されています。特に、誤った決定が多大な損害をもたらす可能性がある生命科学の分野では重要です。巨大なモデルがどのように、なぜ機能するのかを理解せずに巨大なモデルを構築するという従来のアプローチは、もはや十分ではなく、代わりにブラック ボックス モデルから解釈可能な情報を抽出する必要があります。解釈可能な機械学習は、一般化エラーだけでなく、人間の経験にも最適化された検証済みの予測を提供します。病気の物理的、生物学的、化学的メカニズムを理解して、医師をより適切に訓練し、人間の脳がどのように機能するかについての洞察を得ることが重要です。さらに、説明を受ける権利は、何世紀にもわたる差別が原因でトレーニング データ セットに内在する可能性のある偏見と闘う上で非常に重要です。
  
  
• 00:10:00 ビデオのこのセクションでは、講演者はディープ ラーニングにおける 2 種類の解釈可能性について説明します。モデルの設計に解釈可能性を組み込む方法と、構築後に複雑なモデルを解釈するための特別な手法を開発して事後解釈可能性を構築する方法です。 .彼らは、深層学習には何百万ものパラメーターがあり、解釈可能なモデルを最初から構築することは不可能であると説明しています。したがって、焦点は、局所性の程度に基づいて事後解釈可能性のための技術を開発することにあります。講演者は、モデル レベルと意思決定レベルの両方で解釈可能なニューラル ネットワークを構築する方法についても説明します。
  
  
• 00:15:00 このセクションでは、スピーカーはディープ ラーニングの 2 種類の解釈可能なモデルについて説明します。モデル自体を解釈するモデルと、決定を解釈するモデルです。決定は、帰属方法または例に基づく方法のいずれかに基づくことができます。スピーカーは、表現自体の分析とモデルからのデータの生成についても話します。彼らは、重みの視覚化、代理モデルの構築、アクティベーション ユニットを最大化する入力の理解など、表現を分析するための 4 種類のアプローチを紹介しています。最後に、スピーカーは、モデルの内部表現、特にモデルの左半分から抽出された階層的特徴を理解することの重要性を強調します。これにより、ディープ ラーニング モデルがどのように推論を行うかについての洞察を得ることができます。
  
  
• 00:20:00 このセクションでは、講師がニューラル ネットワークの内部の仕組みを見て、ディープ ラーニングを解釈するというアイデアについて説明します。彼は、科学者がネコやサルの視覚野を研究して個々のニューロンがさまざまな方向でどのように発火するかを理解したのと同じように、ニューラル ネットワークで発火するニューロンを見て、ネットワークが認識することを学習したプリミティブまたは機能を理解できると説明しています。ただし、数百万のパラメーターと数千の内部ノードがあるため、それらすべてを視覚化することは現実的ではありません。したがって、講師は、より単純で解釈しやすい代理モデルまたは近似モデルのアイデアを紹介します。講義では、特定のニューロンの活性化を最大化するデータを生成することを目標とする活性化の最大化についても説明します。
  
  
• 00:25:00 このセクションでは、スピーカーは、特定の入力のクラス事後確率を最大化すると同時に、正則化項を使用して出力が人間が解釈できるようにすることを含む最適化問題について説明します。彼らは、クラス確率に基づいて単純に最大化すると、あまり意味のない画像になる可能性があるため、出力を解釈可能にするために追加の正則化項が必要であると説明しています。また、ノイズの多いベクトルをパラメーター化して解釈の質を向上させるのに役立つ潜在変数とパラメーターの概念にも触れています。目標は、出力がクラス関連のパターンに似ており、人間にとって解釈しやすいように、トレーニング データにより厳密に一致するデータを生成することです。
  
  
• 00:30:00 目標は、特定の機能を最大化または最小化し、それらのインスタンスを使用して、モデルがどのように意思決定を行っているかを理解することです。これは、可能な入力の空間内での活性化の最大化によって行うことができます。この場合、入力は、人間のようなデータの分布から来るように制約されます。あるいは、生成モデルを使用して、その分布の確率密度関数からサンプリングすることもできます。プレゼンテーションをコード空間内に強制することで、結果の画像はより解釈しやすくなり、より解釈しやすいモデルを構築するために使用できます。解釈可能なモデルを構築するためのその他の手法には、重みの視覚化、出力を近似する代理モデルの構築、特定の機能を最大化または最小化するインスタンスを使用してモデルの意思決定プロセスを理解する例に基づく解釈が含まれます。
  
  
• 00:35:00 このセクションでは、スピーカーはモデルによって行われた決定を解釈する 4 つの異なる方法について、具体的には実際のアプリケーションの観点から説明します。最初の方法はサンプルベースで、誤分類された特定の入力に近いサンプルを選択して、モデルに改善方法を教えます。 2 つ目の方法はアクティブ アトリビューションです。これには、特定の勾配にノイズが多い理由を調べることが含まれます。 3 番目の方法は、滑らかなグラデーションまたは内部グラデーションを使用したグラデーション ベースのアトリビューションです。最後の方法は、畳み込みとガイド付きブラック プロパゲーションを使用したバック プロップ ベースのアトリビューションです。特に分類を解釈するのに最適な画像を決定する際には、モデル レベルの解釈の限界も指摘されています。
  
  
• 00:40:00 このセクションでは、スピーカーは、オートバイやヒマワリなどの複雑な概念を表すプロトタイプまたは典型的な画像を見つけるという観点から、深層学習モデルを解釈するという課題について説明します。サンプルベースの方法は、どのトレーニング インスタンスが決定に最も影響を与えるかを特定する方法として導入されていますが、これらの画像の重要な特徴を特に強調することはありません。この方法は、ピクセルの近接性ではなく、特定の画像の分類に対する影響に基づいて、最も近いトレーニング画像を決定することを目的としています。講演者はまた、ニューラル ネットワーク モデルの解釈の脆弱性と、基礎となる学習プロセスを理解するための影響関数の使用についても話します。
  
  
• 00:45:00 このセクションでは、講演者は深層学習モデルを解釈するための 2 つの方法を紹介します。 1 つ目はサンプルベースの解釈で、トレーニング セット内の個々のサンプルを調べて、ニューラル ネットワークの意思決定プロセスを理解します。 2 つ目は、画像内の各ピクセルに属性値を割り当てて、分類の決定にどれだけ寄与するかを判断する属性方法です。両方の方法の目標は、機械学習を人間が解釈および理解できるようにすること、および画像内で最も顕著な特徴を識別することです。アトリビューション値をヒート マップとして視覚化することで、研究者はディープ ニューラル ネットワークがどのように意思決定を行うか、および画像内のどのピクセルがその意思決定に最も関与しているかをよりよく理解することができます。
  
  
• 00:50:00 このセクションでは、トレーニング中の逆伝播と同じ方法論を使用して、画像の顕著性を計算する方法をスピーカーが説明します。重みに関連する導関数を見る代わりに、ピクセルに関連する導関数を調べます。次に、これらのピクセルを画像に視覚的に関連付けることによって、顕著性マップが計算されます。ただし、これらの顕著性マップはノイズが多く、正確ではない傾向があります。この理由を説明するために、スピーカーは 2 つの仮説を詳しく説明します。分散したピクセルがニューラル ネットワークの意思決定プロセスにとって重要であるか、勾配が不連続である可能性があるかのいずれかです。次にスピーカーは、これらの仮説がノイズの多い顕著性マップに対処する方法の開発をどのように導いたかを説明します。
  
  
• 00:55:00 講義のこのセクションでは、講演者はディープ ラーニング ニューラル ネットワークにおける勾配の不連続性に関連する 3 つの仮説について説明します。最初の仮説は、学習されている関数が滑らかではなく、レイヤーが追加されるにつれて発火が極端に不連続になり、誤分類につながるというものです。 2 つ目は、層の数と非微分関数のために勾配が不連続であるため、ノイズが発生し、分類関数のトリッキーが可能になることです。 3 番目の仮説は、関数が飽和し、よりスムーズに何かを学習する能力を妨げていることを示唆しています。入力に関するこれらの偏導関数を改善するために、ノイズを追加して入力を摂動させ、摂動した入力の勾配を使用するか、複数の摂動の平均をとってノイズの多い勾配を平滑化する方法について説明します。
  
  
• 01:00:00 このセクションでは、スピーカーは、不連続勾配または飽和関数によって引き起こされる深層学習の課題に対するソリューションについて説明しました。これらには、勾配または逆伝播を変更する方法、およびノイズを追加した複数の画像を使用する方法が含まれていました。講演者はまた、遺伝子調節モデルを解釈するための、レイヤー単位の関連性伝播やディープ リフトなどのさまざまな帰属方法についても説明しました。勾配の不連続性に対処するために、彼らは、多くのサンプルにわたって入力の小さな摂動を平均化することによって滑らかな勾配関数を定義し、勾配関数を効果的に平滑化して、深いネットワークではなく浅いネットワークのように動作させることを提案しました。さらに、講演者は、画像にランダム ノイズを追加することで、モデルの堅牢性を実証し、画像分類で繰り返し使用される顕著な特徴を強調するのにどのように役立つかを説明しました。
  
  
• 01:05:00 このセクションでは、講師が生命科学分野の深層学習モデルを解釈するための 3 つの仮説について説明します。 2 番目の仮説は、特定の 1 つの画像では勾配が不連続であるが、その 1 つの周囲の複数の画像のサンプルを取得することで、より滑らかな勾配が得られることを示唆しています。 3 番目の仮説は、関数が飽和し、極端な活性化につながることを示唆しています。これに対処するために、講師は画像を縮小して分散可能な機能に近づけることを提案しています。これは、画像のピクセルを再スケーリングするために使用される内部グラデーションによって行われます。デコンボリューション ニューラル ネットワークや、調整された線形ユニットで値がゼロに設定されているという課題によるガイド付き逆伝播など、背景ベースの方法も検討されています。
  
  
• 01:10:00 このセクションでは、深層学習におけるバックプロパゲーションの課題と、デコンボリューション ニューラル ネットワークを使用してそれらに対処する方法について説明します。特徴パターンを入力空間にマッピングして画像を再構築することにより、デコンボリューション ニューラル ネットワークは有効な特徴再構築を取得し、負の勾配を除去してノイズを除去できます。講演者はまた、ガイド付きバックプロパゲーションを使用して、フォワード パスとバックワード パスからの情報を組み合わせて、元の画像を表す画像を生成する方法についても説明します。さらに、スピーカーは、一貫性とクラスの感度に基づく定性的および定量的アプローチを含む、これらの帰属方法を評価する方法について説明します。最後に、講演者は、ディープ リフト、顕著性マップ、スムーズ グラードなどのさまざまな帰属方法と、特定の分類に関与する特定のピクセルをキャプチャする際のそれらの有効性について説明します。
  
  
• 01:15:00 このセクションでは、講演者は深層学習における帰属方法の定量的評価について説明します。目標は、これらのメソッドが目的の目的のオブジェクトを適切にキャプチャし、さまざまなオブジェクト クラスを区別しているかどうかを評価することです。スピーカーは、属性値の高い個々の特徴を削除するためのピクセル フリッピング手順を紹介し、分類関数を評価してメソッドの感度を測定します。顕著性属性と分類属性の精度は、曲線を使用して測定できます。講演者は、精度を高めるために削除して再トレーニングすることを提案しています。全体として、このセクションでは、ディープ ラーニング アトリビューション手法の有効性を評価するための定量的な方法について説明します。
  
  
• 01:20:00 このセクションでは、アトリビューション メソッドに基づいて特定の機能を削除することで、分類子のパフォーマンスを測定する方法についてスピーカーが説明します。 「スコアを削除して置き換える」アプローチでは、最も重要なピクセルまたは最も重要でないピクセルの特定の割合を置き換え、ディープ ニューラル ネットワークを再トレーニングして精度の変化を測定します。これは、意思決定の解釈の精度を評価するための定量的な指標を提供します。スピーカーはまた、解釈可能性の重要性と、アトリビューション法と活性化の最大化を使用して深層学習モデルを解釈するためのさまざまな手法、および事後手法の課題についても要約します。
  
  
• 01:25:00 このセクションでは、講師が深層学習モデルを制約する方法と、バックプロパゲーション、デコンボリューション、ガイド付きバックプロパゲーションを使用して見つけた最も顕著な特徴について説明します。これらの分割方法をスコアリングするさまざまな方法も強調されました。これには、一貫性、クラス感度、および属性の高い機能を削除するための定量的メトリックが含まれます。次に講師は、個々のピクセルを削除して再トレーニングし、精度の低下を測定できる削除と再トレーニングの方法を紹介しました。講義は、カバーされたトピックのレビューで締めくくられ、今後の講義が発表されました。

[MetaQuotes]

Generative Models、Adversarial Networks GANs、Variational Autoencoders VAEs、Representation Learning - 講義 06 (Spring 2021)

Generative Models、Adversarial Networks GANs、Variational Autoencoders VAEs、Representation Learning - 講義 06 (Spring 2021)

このビデオでは、機械学習における表現学習の概念について説明し、分類タスクにおける表現学習の重要性と、新しいアーキテクチャの開発における革新の可能性を強調しています。オートエンコーダーや変分オートエンコーダー (VAE) などの手法を使用して、ラベル付きデータを必要とせずに表現を学習する方法として、自己教師ありおよび口実タスクが導入されています。スピーカーは、潜在空間表現を操作することによって新しいデータを生成できる、VAE や生成的敵対ネットワーク (GAN) などの生成モデルについても説明します。各方法の長所と短所について説明し、その有効性だけでなく限界も強調しています。全体として、ビデオは機械学習における表現学習と生成モデルへのさまざまなアプローチの包括的な概要を提供します。

このビデオでは、Generative Adversarial Networks (GAN)、Variational Autoencoders (VAE)、および生成モデルにおける表現学習の概念について説明します。 GAN には、反対の目的を持つジェネレーターとディスクリミネーターが含まれており、偽のサンプルのトレーニング プロセスは遅くなりますが、解像度と目的関数の改善により、リアルな画像が得られる可能性があります。講演者は、GAN がどのように建築的にもっともらしい部屋を生成し、ある部屋を別の部屋に移すかを実演します。 VAE は密度関数を明示的にモデル化し、意味のある潜在空間パラメーターを通じて現実世界の画像の多様性を捉えます。講演者は、オープン アーキテクチャとモデルを使用した創造性と実験を奨励します。さまざまなドメインでの生成モデルと表現学習の適用は、無限の可能性を秘めた急速に成長している分野です。

• 00:00:00 このセクションでは、講演者は、機械学習における表現学習の概念と、世界について学習するために畳み込みニューラル ネットワーク (CNN) でどのように使用されているかについて説明します。彼らは、深層学習の真の進歩は、特徴抽出を通じて世界に関する非線形性と表現を学習する CNN の能力からもたらされたことを強調しています。話者は、分類タスクが特徴抽出を推進しており、これが世界のすべての知識表現の源であると主張します。彼らはまた、既存のアーキテクチャを超えて、さまざまなドメインで表現学習のための新しいアーキテクチャを開発することに革新の可能性があることを示唆しています。最後に、生成モデルの最もエキサイティングな部分はラベルではなく潜在空間表現であり、そのようなモデルを使用してラベルに依存することなく世界のモデルを学習できると主張しています。
  
  
• 00:05:00 このセクションでは、スピーカーは表現学習と、この目的のための自己教師あり学習の使用について説明します。自己教師あり学習には、データの一部を使用してデータの別の部分をトレーニングし、データをだまして独自のスーパーバイザーにすることが含まれます。これにより、世界観を生成するために使用できるクールな表現を学習できます。生成モデルは、モデルを逆方向に実行し、世界の圧縮された表現からより多くの例に進むことによって機能します。表現学習へのもう 1 つのアプローチは、プレテキスト タスクです。ここでのタスクは、表現を学習する口実にすぎません。与えられた例は自己を予測することであり、これがオートエンコーダーのすべてです。圧縮された表現を通過し、それをクランプを介して画像自体に再展開するという概念は、世界の根底にある表現を学習できるほど十分に意味があります。変分自動エンコーダーは、分散と分布を明示的にモデル化します。
  
  
• 00:10:00 このセクションでは、スピーカーは口実タスクの概念について説明します。これは、ネットワークを介して入力信号を処理してネットワークの表現を学習し、入力信号を使用して、人が行うタスクであるトレーニング信号を作成することを指しますあんまり気にしない。口実タスクの例としては、前後の画像の予測、パッチを削除した後の画像の残りのピクセルの予測、白黒画像の色付けなどがあります。口実タスクの目標は、効果的な教師あり学習タスクにつながる、世界の表現を学習するように強制することです。この概念を理解することの重要性は、オートエンコーダー、変分オートエンコーダー、敵対的生成ネットワークなど、その後の議論のトピックにつながるため、非常に重要です。
  
  
• 00:15:00 このセクションでは、ラベル付きデータを必要とせずに学習を可能にする口実タスクを構築することにより、適切な表現を学習する方法として、自己教師あり学習の概念を紹介します。口実タスクには、画像の構造の推測、画像の変換、複数の画像の使用などが含まれます。口実タスクの 1 つの例は、画像パッチの相対的な向きを推測することです。別の例は、元の画像を再構築する必要があるジグソー パズル タスクです。各自己教師あり方法の長所と短所について説明し、その有効性だけでなく、トレーニング画像や限られた外部スペースでの写真の正規の向きを想定するなどの制限も強調しています。
  
  
• 00:20:00 このセクションでは、スピーカーは口実タスクの概念を説明し、同じ種類の口実タスクの概念を構築し、それらをさまざまな例に適用して、一見複雑に見えるタスクを実際に解決する世界の表現を学びます。世界について興味深いことを学ぶ。例の 1 つには、教師なし学習タスクを教師あり学習タスクにトレーニングする、ラベル付けされていないデータから低次元の特徴表現を学習するためのエンコーダーおよびデコーダー表現の作成が含まれます。目標は、データ バリエーションの意味のある表現を強制し、機能を使用して、エンコードされた元の画像のデコードされたバージョンを構築することです。損失関数は、元の画像と予測された画像の差です。
  
  
• 00:25:00 このセクションでは、スピーカーは、オートエンコーダーを使用して世界の表現を構築し、ジェネレーター関数を介して画像を生成する方法について説明します。オートエンコーダーの z ベクトルは、相対的な特徴と世界のさまざまな特徴の存在に関する意味のある情報を提供でき、追加の画像を生成するために使用できます。エンコーダーとデコーダーは、デコーダーを生成モデルとして使用し、エンコーダーを表現学習用の特徴空間ベクトルとして使用するなど、さまざまなタスクに個別に使用できます。次にスピーカーは、変分オートエンコーダー (VAE) の概念を紹介します。これは、モデルからサンプリングして追加のデータを生成できるようにする、オートエンコーダーの確率的スピンです。 VAE は、一連のスカラーの多次元表現と、各スカラーの関連する分散から学習します。潜在空間ベクトルの真の事前分布からサンプリングすることにより、画像のさまざまな属性に基づいて画像を生成できます。
   
  
• 00:30:00 このセクションでは、スピーカーは生成モデルと、オートエンコーダーでさまざまなベクトルを調整して世界をキャプチャするという目標について説明します。これらのベクトルは最終的に世界の意味のある表現になり、パラメーターを変更することでさまざまな画像のサンプリングを可能にします。生成モデルをトレーニングするための戦略は、モデル パラメーターを学習することによってトレーニング データの可能性を最大化することです。次に、スピーカーは、データの平均と分散を明示的にモデル化することにより、確率的にモデルを生成する変分オートエンコーダーを紹介します。エンコーダーに単一の z と z の分散の両方を提供させることにより、スピーカーは両方の正規分布からサンプリングし、ボートなどのオブジェクトのさまざまなバリエーションを認識することができます。
  
  
• 00:35:00 このセクションでは、変分オートエンコーダー (VAE) の概念とその仕組みについて説明します。 VAE は、入力データを潜在空間にマッピングするエンコーダー ネットワーク、潜在空間から出力データを生成するデコーダー ネットワーク、およびエンコーダー ネットワークによって学習された表現から画像を生成する生成ネットワークで構成されます。スピーカーは、VAE 損失関数は、入力データの再構成と、デコーダー ネットワークを使用した画像の事前分布の近似を最大化する変分下限であると説明します。話者はまた、KL 発散項は扱いにくいが、勾配降下による最適化の下限として扱うことができると述べています。
  
  
• 00:40:00 このセクションでは、変分オートエンコーダー (VAE) などの生成モデルを使用して、意味のある特徴を持つ世界の表現を構築する方法についてスピーカーが説明します。 2 次元のみを使用して画像をエンコードすることにより、VAE は可能なすべての文字の空間をキャプチャし、2 次元座標のみを使用して表現できるあらゆる種類の文字を生成できます。 z の事前確率を対角化することにより、ネットワークは独立した潜在変数を学習し、z のさまざまな次元が、適切な特徴表現で解釈可能な変動要因をエンコードします。このエンコーダー ネットワークにより、ユーザーはデータを生成し、z の事前分布を通じて潜在空間をデコードできるため、VAE は表現学習に役立つツールになります。
  
  
• 00:45:00 このセクションのビデオでは、生成モデルへの原則的なアプローチとして変分オートエンコーダー (VAE) の使用について説明しています。これにより、x が与えられた潜在空間の推論が可能になります。これは、他のタスクの有用な表現になる可能性があります。ただし、VAE には、尤度の下限を最大化するなどの短所があり、尤度を明示的に評価するほどではありません。また、VAE から生成されたサンプルは、敵対的生成ネットワーク (GAN) から生成されたサンプルと比較して、より不鮮明で低品質です。より柔軟な近似を使用してより豊富な事後分布を作成したり、潜在変数に構造を組み込んだりするなど、VAE からのサンプルの品質を改善するための研究が進行中です。このビデオでは、生成、教師なし学習、および潜在空間パラメーターに関する前のセクションからの重要なポイントもまとめています。
  
  
• 00:50:00 このセクションでは、敵対的生成ネットワーク (GAN) の概念について説明します。 GAN は、ランダム ノイズなどの単純な分布からサンプリングし、変換を学習してトレーニング セットから画像を作成することにより、複雑な高次元画像を生成するように設計されています。このシステムは、偽の画像を作成する生成ネットワークと、本物の画像と偽の画像を区別する識別ネットワークで構成されています。目的は、プロセスで敵となる弁別器をだますことによって、より現実的な画像を作成するようにジェネレーターをトレーニングすることです。このシステムは自己管理型であるため、手動によるラベル付けは不要であり、人間の評価者の必要性に取って代わります。
  
  
• 00:55:00 このセクションでは、ミニマックス ゲーム アプローチを使用して生成ネットワークと識別ネットワークをトレーニングする敵対的生成ネットワーク (GAN) の概念について説明します。弁別器は、生成された画像が本物か偽物かを判断するようにトレーニングされていますが、ジェネレーターは、弁別器をだまして本物であると信じ込ませることができる画像を作成するようにトレーニングされています。この結合尤度関数を通じて、両方のネットワークの重みとパラメーターが同時にトレーニングされ、弁別器が実際の画像に対して 1 のスコアを出力し、偽の画像に対して 0 のスコアを出力することを目的としています。一方、ジェネレーターは、実際の画像と見分けがつかない画像を生成することで、そのスコアを最小限に抑えることを目的としています。
  
  
• 01:00:00 このセクションでは、敵対的生成ネットワーク (GAN) の概念について説明します。ここでは、ジェネレーターとディスクリミネーターがゲームのようなシナリオで反対の目的を持っています。ジェネレーターは、実際のデータを正しく分類することを学習したディスクリミネーターを欺く偽のデータを生成しようとします。ただし、サンプルが偽の場合はトレーニングが遅くなるため、ジェネレーターの目的を変更して、偽のデータに対して識別器が間違っている可能性を最大化するトリックが使用されます。 2 つのネットワークを一緒にトレーニングすることは困難な場合がありますが、画像の解像度を徐々に上げていくと安定性が向上します。 GAN トレーニング アルゴリズムでは、確率的勾配を上昇させてディスクリミネーターを更新することと、改善された目的関数を使用してジェネレーターを更新することを交互に行います。
  
  
• 01:05:00 このセクションでは、Generative Adversarial Networks (GAN) の概念と、リアルな画像を作成するジェネレーター ネットワークの構築に関連するトレーニング プロセスについて説明します。このビデオでは、生成された画像と実際の画像を区別するために弁別器ネットワークをトレーニングする方法と、生成された画像の品質を人間のパフォーマンスを超える程度まで改善するためにジェネレーター ネットワークをトレーニングする方法について説明しています。このビデオでは、部分的に縞模様のある畳み込みを使用して深い畳み込みアーキテクチャを構築し、ReLU とリーキーな ReLU 活性化関数を使用してリアルな画像を取得する方法についてさらに説明しています。このビデオは、GAN を使用して建築的にもっともらしい部屋を生成する可能性を示し、潜在空間座標間を補間することによって、ある部屋を別の部屋に転送する方法を示しています。
  
  
• 01:10:00 このセクションでは、講演者は GAN、Variational Autoencoders (VAE)、表現学習などの生成モデルについて説明します。これらのモデルの目的は、現実世界の基本的なパターンとスタイルを学習することによって、多様で現実的なサンプルを生成することです。講演者は、これらのモデルがアップスケーリング、ドメイン知識の転送、テクスチャ合成などのさまざまな画像操作タスクを実行する方法の例を紹介します。講演者は、高解像度画像の生成を可能にするプログレッシブ GAN や、多数のパラメーター空間を使用して直交パラメーターを学習する Nvidia の「This person does not exist」Web サイトなど、これらのモデルで行われた進歩についても強調します。さまざまな画像コンポーネントの分解。
  
  
• 01:15:00 このセクションでは、スピーカーは生成モデルの分類法について説明します。これには、明示的または暗黙的な密度関数のモデル化が含まれます。敵対的生成ネットワーク (GAN) は、ジェネレーター ネットワークとディスクリミネーター ネットワークを結合することで暗黙的に密度関数をモデル化し、変分オートエンコーダー (VAE) は密度関数を明示的にモデル化します。深層学習の力は表現学習にあり、スピーカーは、若い分野の多くのオープン アーキテクチャとモデルを使用して、創造性と実験を奨励します。自己を予測したり、欠落しているパッチを埋めるなどの口実タスクの使用は、世界の意味のある潜在表現を学習し、潜在空間パラメーターの真の分布からサンプリングできる真の生成モデルに移行するのに役立ちます。
  
  
• 01:20:00 このセクションでは、スピーカーは、変分オートエンコーダー (VAE) の意味のある潜在空間パラメーターを通じて、現実世界の画像の多様性をキャプチャするという概念について説明します。潜在空間パラメーターを直交させ、互いに区別するように制約することにより、結果として得られる画像は実際の人物と区別がつかないようにすることができます。さらに、スピーカーは、生成モデルと表現学習の応用が急速に成長している分野であり、さまざまなドメインで無限の可能性があることに注目しています。

[MetaQuotes]

Regulatory Genomics - Deep Learning in Life Sciences - 講義 07 (2021 年春)

Regulatory Genomics - Deep Learning in Life Sciences - 講義 07 (2021 年春)

講義では、遺伝子調節の生物学的基礎、調節ゲノミクスの古典的な方法、畳み込みニューラル ネットワークを使用したモチーフの発見、配列が遺伝子調節特性をエンコードする方法を理解するための機械学習モデルの使用など、調節ゲノミクスの分野について説明します。講演者は、遺伝子調節における調節モチーフの重要性と、これらのモチーフの破壊がどのように病気につながるかについて説明します。彼らは、畳み込みニューラル ネットワークを使用した新しいモデルを導入しました。このモデルは、シーケンスの読み取りをゲノムにマッピングし、2 本の鎖の各塩基対に含まれる 5 プライム エンドの数をカウントします。このモデルは、異なるタンパク質の複数の読み出しに使用でき、マルチタスク モデルを使用して個別または同時に適合させることができます。講演者はまた、構文が TF 協同性にどのように影響するかについての生物学的ストーリーを明らかにする解釈フレームワークを使用して、モデルがゲノムデータを含むあらゆる種類のアッセイを分析する方法を示します。モデルは、高解像度の CRISPR 実験によって検証される予測を行うことができます。

このビデオでは、ディープ ラーニングが信号ピークを強化およびノイズ除去することにより、カバレッジの低い ATAC-seq データの品質を向上させる方法について説明します。 AttackWorks は、カバレッジ データを取り込み、残差ニューラル ネットワーク アーキテクチャを使用して信号の精度を向上させ、アクセス可能なクロマチン サイトを特定するディープ ラーニング モデルです。講演者は、AttackWorks を使用して低品質のデータを処理し、単一細胞クロマチンのアクセシビリティ研究の解像度を向上させる方法を実演します。彼らはまた、血統プライミングに関与する特定の調節要素を特定するためにATAC-seqを使用した造血幹細胞に関する特定の実験についても説明しています。講演者は、学生にインターンシップやコラボレーションに手を差し伸べるように勧めます。

• 00:00:00 このセクションでは、講師が規制ゲノミクスの分野を紹介し、ゲスト スピーカーを招待して影響力のある論文について議論し、学生にコラボレーションとインターンシップの機会を提供します。この講義は、遺伝子調節に関するモジュール 2 の開始部分であり、遺伝子調節の生物学的基礎、調節ゲノミクスの古典的な方法、および畳み込みニューラル ネットワークを使用したモチーフ発見について説明します。レクチャーでは、頭からつま先まで、体のあらゆる側面にわたって複雑な相互接続を持つ自己修復生物の構築と発達を可能にする、遺伝暗号の複雑さに重点を置いています。
  
  
• 00:05:00 このセクションでは、細胞の複雑さと、コンテキスト情報がなくても細胞が自分のアイデンティティを記憶する方法について説明します。細胞の制御回路も強調されています。これは、細胞がゲノムのすべての部分の状態を記憶できるようにする一連のプリミティブと構造に基づいています。構造的および機能的構築物の両方への DNA のパッケージングは、このプロセスに不可欠であり、細胞がその内部で非常に多くの DNA を圧縮できるようにします。このパッケージングは、ヌクレオソーム (DNA のストリング ビュー内の小さなビーズ) を介して行われ、4 つのヒストン タンパク質で構成され、それぞれが異なるヒストン修飾で翻訳後修飾できる長いアミノ酸 テールを備えています。これらの修飾は、CPG ジヌクレオチドなどの追加のエピゲノム マークを DNA に直接作用させ、細胞が自分のアイデンティティを記憶できるようにします。
  
  
• 00:10:00 このセクションでは、スピーカーはエピゲノムにおける 3 種類の修飾について説明します。DNA アクセシビリティ、ヒストン修飾、および DNA メチル化です。彼は、これらの修飾が遺伝子調節と転写因子の結合にどのように影響するかを説明しています。エピゲノミクスの言語を使用することで、DNA の圧縮をプロモーター領域の特定のシグネチャに合わせることで、体内のすべての細胞タイプをプログラムすることができます。プロモーター、転写領域、抑制領域、およびエンハンサー領域はすべて、識別および研究できるさまざまなマークのセットによってマークされています。特に、エンハンサーは非常に動的であり、H3K4 モノメチル化、H3K27 アセチル化、および DNA アクセシビリティによって特徴付けられます。
  
  
• 00:15:00 このセクションでは、エンハンサー、プロモーター、転写および抑制領域などに対応するクロマチンのさまざまな状態である「クロマチン状態」の概念について説明します。多変量隠れマルコフ モデルを使用して、これらのクロマチン状態を発見し、体のさまざまな細胞型のエンハンサー領域、プロモーター領域、転写領域を特定します。タンパク質が DNA を認識する方法も説明されており、転写因子は DNA 結合ドメインを使用してゲノム内の特定の DNA 配列を認識します。講演者は、DNA 配列の特異性の認識を可能にする DNA モチーフと位置重みマトリックス、および調節因子の結合部位を区別する情報理論的手段についても話します。
  
  
• 00:20:00 講演のこのセクションでは、講演者は遺伝子調節における調節モチーフの重要性と、これらのモチーフの破壊がどのように病気につながるかについて説明します。次に講演者は、遺伝子調節を調べるための 3 つの技術、クロマチン免疫沈降、DNA アクセシビリティ、および ATAC-seq について説明します。これらの技術は、エンハンサーの位置をマッピングし、モチーフを使用して深層学習モデルを構築することで DNA の言語を発見するために使用できます。
  
  
• 00:25:00 ビデオのこのセクションでは、スピーカーは機械学習モデルを使用して、配列が遺伝子制御特性をエンコードする方法を理解する方法について説明します。彼女は、規制 DNA をプロファイリングするさまざまな実験を紹介し、特定の反応を促進するために規制要素の複雑な構文を理解する必要性を強調しています。この問題は、各ゲノムが数千の塩基対の小さなチャンクに分割される機械学習タスクとしてモデル化され、これらの塩基対のそれぞれが実験からのシグナルに関連付けられます。
  
  
• 00:30:00 このセクションでは、スピーカーは、さまざまな機械学習モデルを使用して配列をスカラーにマッピングすることにより、遺伝情報を要約する従来のアプローチについて説明します。ただし、このアプローチでは情報が失われます。単一ヌクレオチド解像度でのリード カバレッジ プロファイルには、タンパク質 DNA 相互作用を反映するジオメトリが含まれているため、高解像度のフットプリントが得られます。これらの複雑な詳細は、情報をスカラーに要約すると失われます。この問題を解決するために、講演者は、最も基本的な解像度でデータをモデル化できる新しいモデルを構築する必要性を強調しています。これは、シーケンス読み取りをゲノムにマッピングし、それぞれの 5 素数の終了数をカウントする畳み込みニューラル ネットワークで実現されます。 2本の鎖の塩基対が持っています。次に、この変換を行うニューラル ネットワークを使用して、シーケンスから開始し、プロファイルに向かって移動する実数値の読み取り値に変換し、プロファイル モデルへのストレート シーケンスを生成します。
  
  
• 00:35:00 このセクションでは、スピーカーは、配列に含まれる読み取りのカウントをモデル化するための損失関数の使用と、それらの読み取りが塩基対全体にどのように分布するかについて説明します。彼らは、合計カウントの平均二乗誤差と、各塩基対での読み取りの正確な分布の多項負対数尤度の組み合わせを使用します。このモデルは、異なるタンパク質の複数の読み出しに使用でき、マルチタスク モデルを使用して個別または同時に適合させることができます。講演者は、高解像度のフットプリントを使用したチップネクサス実験を使用して、このモデルをマウス胚性幹細胞の 4 つの有名な多能性転写因子に適用します。
  
  
• 00:40:00 このセクションでは、スピーカーはゲノム内のエンハンサーに関する予測を行う際のモデルの精度に焦点を当てています。これは、ノイズ除去、代入、およびその他の要因による観測データとの多少のノイズまたは差異にもかかわらず、非常に正確です。モデルのゲノム全体のパフォーマンスを評価するために、ジェンセン・シャノン発散と反復実験間の類似性という 2 つの指標を使用します。前者は後者よりも優れたパフォーマンスを示し、上限と下限を提供するために計算されます。次にスピーカーは、DeepLift アルゴリズムを使用してレイヤーとヌクレオチド全体のニューロンの寄与を再帰的に分解し、シーケンスのどの部分が 4 つの転写因子のそれぞれによる結合を駆動するかについて高解像度の解釈を提供し、組み合わせ構文を明らかにする、彼らの解釈アプローチを説明します。
  
  
• 00:45:00 このセクションでは、スピーカーは、ゲノム全体にわたってモデルによって学習されたパターンを要約するために使用される 2 つの方法について説明します。最初の方法である Modisco は、目的のタンパク質によって結合されたすべての配列を取得し、すべての配列の各ヌクレオチドのディープ リフト スコアを推測します。次に、配列は類似性に基づいてクラスター化され、重複しないモチーフに折りたたまれます。 2 番目の方法は、シンタックス、または協調バインディングを駆動するモチーフの高次配置に焦点を当てています。ナノ モチーフの例を使用すると、ニューラル ネットワークは、コア サイトに隣接する重要なヌクレオチドを検出し、10.5 塩基対で正確に周期的パターンを識別することができます。これは、ナノが同じ側で何かが起こっていることを含む方法で DNA に結合することを示しています。 DNAヘリックスの。
  
  
• 00:50:00 このセクションでは、スピーカーは、10.5 塩基対の倍数の好ましい間隔によって示される、DNA のソフト構文の好みについて説明します。講演者は、モデルがゲノムに見られるシグナルの微妙なスパイクの存在を通じてこの構文を学習する方法を示し、特定の部位と共局在化し、結合を駆動する構文を学習できるようにします。講演者はまた、構文が異なるタンパク質の結合をどのように駆動するかについての洞察を得るためにインシリコで行われた実験についても説明します。これには、2 つのモチーフがランダムな配列に埋め込まれ、それらの間の間隔を変更してタンパク質の結合を予測する合成実験や、実際のエンハンサーが変異し、4 つのタンパク質の結合の効果がモデルによって予測される in silico CRISPR 実験。講演者は、構文がモデルの上位層で学習されることを指摘し、それを削除すると構文が完全に消失することを示しています。
  
  
• 00:55:00 このセクションでは、特定のモチーフを削除する効果を示すために、OP4 とナノが結合したエンハンサーを使用した合成実験について説明します。モデルはモチーフを削除した場合の効果を予測し、実験は同じ効果を示し、モデルの予測を検証します。スピーカーは、BPNet を紹介します。BPNet は、構文が TF 協同性にどのように影響するかについての生物学的ストーリーを明らかにする解釈フレームワークを使用して、ゲノム データを含むあらゆる種類のアッセイを分析できるモデルです。モデルは、高解像度の CRISPR 実験によって検証される予測を行うことができます。最後に、ATAC-seq によるエピゲノム データの深層学習ベースの強化に関する最近の論文についての議論で締めくくります。これは、講演者のチームと Bowing Rosenthal 研究室との共同研究です。
  
  
• 01:00:00 このセクションでは、シーケンシングによるクロマチンへのアクセスの概念について説明します。カバレッジトラックのピークは、ゲノムのアクティブな調節領域を表し、さまざまなタイプの細胞または組織のアクティブな調節要素を特定できます。運動失調は、単一細胞レベルで実行することもでき、生物学により高い解像度を提供します。ただし、シーケンスの深さ、サンプルの準備、およびシングルセル Ataxis 実験のセル数がすべて結果に影響を与える可能性があるため、データの品質が問題になる可能性があります。攻撃は、これらの問題のいくつかに対処するために開発されたディープ ラーニング モデルとして機能します。
  
  
• 01:05:00 このセクションでは、スピーカーは AttackWorks ツールについて説明します。このツールは、ノイズの多い実験からカバレッジ トラックを取り込み、残留ニューラル ネットワーク アーキテクチャを使用して運動失調信号のノイズを除去および強化し、ピークの位置やアクセス可能な場所を特定します。クロマチン部位。このモデルは、1 次元の畳み込み層と拡張畳み込みを使用し、ノイズ除去されたカバレッジ トラックの精度とピーク位置の分類精度を測定するマルチパート損失関数を含みます。他のモデルとは異なり、AttackWorks は、異なるタイプの細胞間でより転送しやすいように、ゲノム配列ではなくカバレッジ データのみを取り込みます。スピーカーは、モデルのトレーニングに使用される簡単なトレーニング戦略を説明し、さまざまなヒト細胞タイプでの使用結果の例を示します。
  
  
• 01:10:00 このセクションでは、ディープラーニングを使用して信号のノイズを除去し、以前は識別が困難だったピークを強調することで、カバレッジの低い ATAC-seq データの品質を向上させる方法について説明します。彼らは、深層学習モデルである攻撃がどのように機能し、近くのノイズからピークを区別し、トレーニング データには存在しなかった新しいデータであっても、さまざまな細胞型でアクセス可能なクロマチンの位置を正確に特定できる例を示しています。彼らはまた、より少ないシーケンシングで同じ品質の結果を生成することによって、攻撃がどのように機能し、実験のコストを削減できるかについても説明しています。さらに、バックグラウンド ノイズをクリーンアップし、高品質のデータと密接に一致するピークを特定することで、攻撃がどのように低品質の ATAC-seq データを処理できるかを示しています。最後に、転写開始部位周辺のカバレッジの強化を調べることで、攻撃のパフォーマンスを測定します。
  
  
• 01:15:00 このセクションでは、講演者は、ディープ ラーニングを適用して、単一細胞失調データの小さな細胞集団を研究する能力が限られているという問題に対処する方法について説明します。豊富な種類の細胞からランダムに細胞のサブセットを選択し、それらを使用してノイズの多い信号を取得できます。次に、攻撃モデルをトレーニングして、いくつかのセルから信号を取得し、ノイズを除去して、多くのセルからの信号がどのようになるかを予測できます。
  のように見える。この訓練されたモデルがあれば、それを非常に少数の細胞の小さな集団に適用して、配列決定する細胞がもっとある場合にデータがどのようになるかを予測できます。このアプローチにより、単一細胞クロマチンのアクセシビリティを研究できる解像度が大幅に向上し、モデルが実験、細胞タイプ、さらには種を超えて移植可能であることを示しています。
  
  
• 01:20:00 このセクションでは、スピーカーは造血幹細胞の単一細胞シーケンス実験について説明します。造血幹細胞は、細胞のリンパ系または赤血球系のいずれかに分化することができます。この実験により、単一細胞集団全体の不均一性が明らかになり、2 つの系統のいずれかに分化するようにプライミングされた細胞の亜集団が特定されました。チームは ATAC-seq を使用して信号のノイズを除去し、系統のプライミング プロセスを制御する特定の調節要素を特定しました。彼らはプロジェクトに関与したチームに感謝し、学生にインターンシップやコラボレーションに手を差し伸べるように勧めます.

[MetaQuotes]

規制ゲノミクスのための深層学習 - レギュレーター結合、転写因子 TF - 講義 08 (2021 年春)

規制ゲノミクスのための深層学習 - レギュレーター結合、転写因子 TF - 講義 08 (2021 年春)

ビデオでは、制御ゲノミクスのためのディープラーニングの使用について説明し、DNA 配列がエンハンサー領域とプロモーター領域に存在するさまざまなモチーフとそれらの 3D ループを明らかにする方法に焦点を当てています。このビデオでは、染色体確認キャプチャ (3C) テクノロジーがどのように染色体組織をプローブできるか、また Hi-C テクノロジーが互いに相互作用するトポロジー関連ドメイン (TAD) とゲノムのコンパートメント パターンを特定できるかを説明しています。畳み込みフィルターが DNA シーケンスのすべての位置に適用され、さまざまな特徴やモチーフが検出されます。ディープ ラーニング フレームワークは、DNA シーケンスの共通のプロパティ、フィルター、モチーフを学習できるため、さまざまな予測タスクを実行できます。このビデオでは、マルチタスク学習がいかに有益であるかについても言及しており、深層学習ネットワークで追加のレイヤーを使用して、転写因子モチーフの複数のビルディング ブロック表現を認識して組み合わせると、複雑なモチーフをより効率的に認識できるようになる可能性があります。

このビデオの講演者は、転写因子結合と遺伝子発現予測に焦点を当てた調節ゲノミクスにディープラーニングを使用することについて説明しています。彼らは、畳み込み構造と拡張畳み込みを使用して DNA の大きな領域を取り込み、クロマチン データと遺伝子発現のマルチタスク フレームワークで予測を行う方法を探っています。また、講演者は、深層ニューラル ネットワークをトレーニングするための残差接続の使用についても説明し、モデルが IC データとモデルを使用して 3D 接触を予測する方法について説明します。全体として、深層学習は、ゲノミクス データを分析し、十分なデータと適切な変換を使用して DNA 配列に基づいて予測を行うための強力なツールとなります。

• 00:00:00 このセクションでは、エンハンサー領域とプロモーター領域を構成するさまざまなモチーフとそれらの 3D ループを区別することに焦点を当てて、遺伝子調節ゲノムの特徴を予測するための DNA 配列とディープラーニングの使用についてスピーカーが説明します。講演者は、各転写因子の結合の特異性を決定するための位置重み行列 (PWM) の使用について説明し、それを使用して遺伝子調節機能を予測します。クロマチン免疫沈降は、ゲノムの調節領域のプロファイリングに使用される技術としても言及されています。
  
  
• 00:05:00 このセクションでは、スピーカーは、三次元クロマチン構造を理解することで、さまざまな転写因子がどこに結合しているかを明らかにする方法を説明します。核は、細胞内のすべての DNA を含み、活性領域が核ラミナから押し出され、核の中心に近づくように空間的に編成されています。染色体確認キャプチャー (3C) は、DNA の鎖をランダムに切断し、それらを再び接着して、DNA の異なるセクションが互いに接触している可能性がある場所を確認することにより、染色体構成をプローブするために使用される手法です。この手法により、染色体が実際にどのように互いにループしているかを明らかにすることができます。
  
  
• 00:10:00 このセクションでは、異なる DNA フラグメントの切断とライゲーションを使用してキメラ分子を作成し、DNA の一部がゲノムのどこに結合してマッピングされるかを明らかにする方法についてスピーカーが説明します。これらのキメラ領域を配列決定して分析することにより、研究者はゲノムの 3 次元パッケージングと、異なる領域が互いにどのように相互作用するかについての洞察を得ることができます。講演者は、3C、4C、5C、および ChIA-PET などのさまざまな技術について説明します。これにより、ゲノム領域間の相互作用の分析や、抗体ベースの方法を使用して特定の制御因子によって結合された領域を選択的に研究できます。
  
  
• 00:15:00 このセクションでは、講演者は Hi-C テクノロジーがどのように機能し、ゲノムがどのように構成されているかについて洞察を提供する方法について説明します。 Hi-C 技術では、ビオチン化マークをゲノム領域に追加し、それらのマークを引き下げて配列を決定します。これにより、科学者はゲノムの 2 つの領域が互いにどのように相互作用するかを判断できます。結果の画像はループ情報を示し、対角線に近い領域が最も相互作用することを示しています。 Hi-C テクノロジは、ドメインの外部よりも相互に相互作用するトポロジー関連ドメイン (TAD) と、それらの内部の相互作用の階層パターンも識別します。さらに、この技術は、領域が同じタイプの領域とより多く相互作用する傾向がある市松模様のパターンを示し、科学者がゲノムの圧縮と構成を視覚化できるようにします。
  
  
• 00:20:00 このセクションでは、話者は核内の異なる染色体の縄張りと、ゲノムの a 対 b コンパートメント パターンについて説明します。中心に近いです。講演者は、トポロジー的に関連するドメインについても言及しています。これは、ドメイン内で強く相互作用するが、ドメイン全体では相互作用しない領域のグループです。これらのドメインのコーナー ピークの一般的なモデルは、ループの押し出しのプロセスによって作成されるというものです。これには、レギュレーター CTFC の結合部位とコヒーシンが DNA のループを押し出すことが含まれます。
  
  
• 00:25:00 このセクションでは、高レベルのクロマチン解釈とクロマチンの 3 次元フォールディングのループ押し出しモデルについてビデオで説明します。これには、結合部位を互いに近づけ、効果的にループを成長させて DNA を押し込むことが含まれます。ビデオでは、ディープ ラーニングの前に従来のアプローチを使用した調節モチーフのコンピューター解析と、DNA のワン ホット エンコーディングを使用して画像解析と調節ゲノミクスに同じディープ ラーニング手法を使用する方法について説明します。この方法論では、共通のシーケンス パターンの認識とそのモチーフのインスタンスの発見を繰り返すことで、モチーフ ロゴを改良します。
  
  
• 00:30:00 このセクションでは、深層学習アーキテクチャの表現学習で畳み込みフィルターがどのように使用されるかについてスピーカーが説明します。 DNA シーケンスは、文字ごとに 4 つの異なる入力チャネルを持つワンホット エンコーディング表現に変換されます。さまざまな特徴やモチーフを検出するために、DNA 配列のすべての位置に畳み込みフィルターが適用されます。次に、これらのモチーフが学習され、転写因子がバイナリかどうかを判断するなど、特定のタスクを実行するために適用できます。講演者は、深層学習フレームワークがこれらすべての畳み込みフィルターを学習し、レイヤー数、予測タスク、入出力関係などを変化させることができることを強調しています。最終的に、アーキテクチャは DNA 配列の共通のプロパティ、フィルター、モチーフを抽出し、これらを使用して配列の表現を学習し、さまざまな予測タスクを実行できるようにします。
  
  
• 00:35:00 このセクションでは、講演者は生物学における核酸配列での機械学習の使用について紹介します。彼は、文字列カーネルなどの機械学習の以前の成功した使用の欠点と、k-mer の空間的配置またはそれらの間の関係を考慮できなかった方法について説明します。次に講演者は、深層学習手法がこれらの制限を克服し、機械学習のための DNA 配列のより良い表現を可能にする可能性があることを示唆しています。
  
  
• 00:40:00 ビデオのこのセクションでは、講演者は、画像解析で使用されるプロセスに似た、規制ゲノミクスの深層学習で畳み込みフィルターを使用するプロセスについて説明します。畳み込みフィルターの最初のレイヤーは、シーケンス全体でスキャンされる位置の重み行列を認識し、数値表現を作成します。次に、バッチ正規化操作が適用され、続いて負の値をゼロに設定する非線形関数が適用されます。次に、最大プーリング操作を使用して、各フィルター チャネルの隣接位置の最大値を取得します。次に、畳み込み層がモデルに複数回適用され、その間にプーリング操作が行われ、転写因子と結合部位の間の関係が学習されます。
  
  
• 00:45:00 このセクションでは、スピーカーは、規制ゲノミクスのディープ ラーニングでの予測について説明します。長さ軸を横切ってオブジェクトを折りたたみ、完全に接続されたレイヤーを実行して予測を行います。次に講演者は、DNA 過敏症の例と、どのように細胞タイプを超えてアクセスできる多くのサイトがあるか、また学習しなければならない多くの細胞タイプ固有のピークがあるかを説明します。トレーニング、検証、およびテスト セットは 200 万のサイトで構成され、この DNA 過敏性アッセイから有意なシグナルがあるかどうかを調べる 164 のバイナリ コールに分類されます。スピーカーは、最終的な線形変換を除くすべてのタスク間ですべての畳み込みと完全に接続されたレイヤーが共有されるマルチタスク学習の利点について説明します。彼らは、この共同表現は、タスクごとに個別のモデルをトレーニングするよりも優れた結果をもたらすと説明しています。
  
  
• 00:50:00 このセクションでは、プレゼンターは、転写因子チップ seq やヒストン修飾チップ seq などのさまざまな細胞タイプとアッセイを含む、調節ゲノミクスのディープラーニング モデルに関連するタスクについて説明します。彼らは、モデルが k-mer SVM よりも柔軟で、より多くのものを表すことができる畳み込みニューラル ネットワークを使用していると説明しています。モデルが何をしているかを理解するために、彼らは畳み込みフィルターから得られた位置重み行列を分析し、それらを転写因子結合部位の cisBP データベースと比較します。彼らは、フィルターがデータベース モチーフに類似した配列を大部分認識していることを発見し、CTCF などの重要な転写因子に複数のフィルターを使用することが、アクセシビリティを予測するために重要であることに注目しています。
  
  
• 00:55:00 このセクションでは、深層学習ネットワークで追加レイヤーを使用して、CTCF などの転写因子モチーフの複数のビルディング ブロック表現を認識して組み合わせる可能性について話します。これにより、複雑なモチーフのより効率的な認識が可能になる可能性がありますが、個々のフィルターの正確な位置と寄与を特定することも困難になる可能性があります.講演者はまた、情報内容とモデル内のさまざまなフィルターの影響についての洞察を得るために実行したいくつかの分析についても言及しています。これは、規制ゲノミクスへのディープラーニング アプローチの結果をより適切に解釈するのに役立つ可能性があります。
  
  
• 01:00:00 ビデオのこのセクションでは、スピーカーは既知のモチーフを使用して予測を行い、配列全体のすべてのヌクレオチドを変異させることによって転写因子結合部位を研究することについて説明します。次にスピーカーは、DNA の長い領域内のすべての要素の関数を計算することによって、転写と遺伝子発現を予測するという新しい問題について議論します。ソリューションには、畳み込み構造を使用して、モデルの約 100,000 ヌクレオチドのシーケンスの大きな領域を取り込み、最大プーリングを実行してシーケンスを約 128 塩基対の解像度にする必要があります。課題は、ゲノム全体で情報を共有する方法であり、これにはさまざまなモジュールを使用できます。リカレント ニューラル ネットワークは、この仕事に最適なツールであるという仮説が立てられました。
  
  
• 01:05:00 このセクションでは、スピーカーは、長いシーケンスでのトレーニングが遅いという問題を回避するために、再帰型ニューラル ネットワークの代わりに使用された dilated convolution と呼ばれるツールについて話します。膨張畳み込みには、畳み込みにギャップを挿入して拡張することが含まれます。これにより、受容野が指数関数的に成長し、非常にパラメーター効率の高い画像をカバーする方法が得られます。次にスピーカーは、クロマチン データと遺伝子発現のマルチタスク フレームワークで予測を行うために拡張畳み込みをどのように使用したかについて説明します。彼らはまた、ディープ ニューラル ネットワークのトレーニングに役立つ残差接続またはスキップ接続と呼ばれる追加の手法についても言及しています。
  
  
• 01:10:00 このセクションでは、スピーカーは残差ネットワークを使用して、各レイヤーが新しい情報を学習する前にすべてを再学習することなく簡単に学習できるようにすることについて説明します。これは、さらに離れたさまざまな位置を見る膨張畳み込みに特に役立ちます。残差接続で既に学習したものを直接渡すことにより、各位置のベクトルに新しい情報を追加して正規化したり、その上に畳み込みを投げたりすることができます。残りの接続の数は、処理されているシーケンスの長さに依存します。これは、シーケンスの境界の外に出ないように、十分遠くを見ることができるはずだからです。
  
  
• 01:15:00 ビデオのこのセクションでは、スピーカーは 100,000 の入力シーケンスに対して 5 ～ 10 の拡張畳み込みレイヤーの使用について説明していますが、これはシーケンスのスケールまたはビンのサイズによって変わる可能性があることに注意してください。この場合の入力は、さまざまなデータセットからの連続信号であり、講演者は、遺伝子発現のように簡単に 2 値化できないことに注意します。スピーカーは、プラスの損失関数がデータに対してより適切に機能することを示し、モデルの品質はデータの品質の影響を受け、かなり異なる可能性があることに注意します。講演者は、このモデルを使用して疾患に関連する SNP の変異を予測すること、および計算生物学の研究を疾患の関連性に結び付けることの重要性について簡単に説明します。最後に、講演者は、IC データとモデルを使用した 3D 接触の予測について簡単に説明します。
  
  
• 01:20:00 このセクションでは、講演者は高 c データを使用して予測を行う方法について説明します。データは 2 次元であり、x 軸と y 軸にヌクレオチドがあり、ゲノムのその部分とゲノム内の別のビンの間の接触頻度を表しています。平均二乗誤差とマルチタスク学習を使用して、モデルはデータを予測できます。ただし、100 万個のヌクレオチドが入ってくると、GPU メモリの制限が問題になります。解決策は、位置 i と位置 j の平均を使用して、深層学習ツールが分析できる 2D マトリックスを生成することです。 2D 畳み込み、膨張畳み込み、およびすべてのレイヤーの後に行列を再対称化することを使用して、モデルは ctcf を主な学習要因として予測を行うことができます。
  
  
• 01:25:00 このセクションでは、David Kelley が、CTCF を例として、DNA 配列などの基本的な入力を分析し、転写因子結合を予測するために、調節ゲノミクスでディープラーニングを使用する方法について説明します。十分なデータと適切な変換があれば、ニューラル ネットワーク アーキテクチャはゲノミクス データに基づいて正常に学習し、予測を行うことができます。現在は合成データが主な焦点ですが、このプレゼンテーションでは、深層学習を生物学とゲノミクスに適用する方法の概要を説明します。