머신 러닝 및 신경망

[MetaQuotes]

MQL5가 머신 러닝을 비롯한 다양한 계산 작업에 사용되는 행렬 및 벡터의 연산을 지원합니다. 여러분에게 도움이 될 만한 자료를 선별하여 공유하기 위해 이 스레드를 만들었습니다. 머신 러닝 기술은 신경망을 기반으로 합니다.

신경망은 인간의 두뇌의 활동을 모방하려는 수학적인 모델입니다. 신경망은 상호 연결된 노드로 구성되며 신호를 서로 전송하고 이러한 신호를 기반으로 의사 결정을 내립니다.

머신 러닝의 과정에서 컴퓨터는 데이터를 활용하여 결과를 예측하는 모델을 학습시키는데 새로운 데이터를 계속 사용합니다. 머신러닝은 의학, 비즈니스, 재료 과학 등 다양한 분야에 적용되고 있습니다.

딥러닝은 머신러닝의 하위 분야로 다층 신경망을 사용하여 데이터의 처리 문제를 해결합니다. 딥러닝 모델은 높은 정확도로 데이터를 탐색할 수 있고 복잡한 계층 구조에서 자동으로 특징을 축출할 수 있습니다. 이는 일반적으로 기존의 머신러닝 알고리즘으로는 어려운 작업입니다.

심층 신경망은 일반적으로 입력 데이터를 순차적으로 처리하는 여러개의 계층으로 구성됩니다. 각각의 레이어는 데이터를 처리하고 그 결과를 다음 레이어로 전달하는 뉴런의 집합입니다. 모델 학습의 핵심은 학습 데이터 세트의 오류를 최소화하기 위해 레이어 간 신경 연결의 가중치를 조정하는 것입니다. 심층 신경망 훈련에 가장 널리 사용되는 접근 방식 중 하나는 역전파입니다. 이 알고리즘을 통해 모델은 여러 레이어에 사용된 가중치의 변화가 모델 오류에 어떤 영향을 미치는지를 파악하고 경사도 하강에 따라 가중치를 조정하기 위해 이 정보를 사용합니다.

딥 러닝은 기존의 머신 러닝에 비해 더 정확한 모델을 생성할 수 있습니다. 다음과 같이 말입니다 로지스틱 회귀 또는 의사 결정 트리. 그러나 훈련을 위해서는 대규모의 데이터 세트와 광범위한 컴퓨팅 리소스가 필요하므로 일부 분야에서는 문제가 될 수 있습니다.

딥러닝은 컴퓨터 비전, 자연어 처리, 음성 처리, 추천 시스템 등 다양한 분야에 적용되고 있습니다. 최근 몇 년 동안 딥러닝은 이미지 인식과 자연어 처리 분야에서 압도적인 성공을 거두었습니다.

이 스레드에서는 이러한 기술의 작동 방식을 이해하는 데 도움이 되는 동영상을 공유합니다.

[MetaQuotes]

1. 딥러닝 혁명

딥 러닝 혁명

이 짧은 비디오는 초인적인 능력을 달성하고 새로운 재료를 발견하며 희소한 자원을 보존하는 데 있어 인공 지능(AI)의 혁신적인 역할을 강조합니다.

이러한 기술을 통해 시각 장애인은 얼굴을 인식하고 텍스트를 읽을 수 있을 뿐만 아니라 맹인이 자녀 에게 책을 읽어 줄 수 있습니다. 자율주행차는 우리에게 거리 지도 없이 외딴 지역을 탐험할 수 있는 자유를 줍니다.

이 비디오는 더 나은 결정을 내리고 복잡한 문제를 해결하는 사람들의 능력을 강화하는 데 있어 AI 기술의 역할을 강조합니다.

[MetaQuotes]

짧은 동영상 시리즈: 설명하는 것보다 시청하는 것이 좋습니다.

[MetaQuotes]

3. [딥러닝 | 동영상 1] 신경망 "이란"?

그러나 신경망이란 무엇입니까? | 1장, 딥러닝

이 비디오는 시청자에게 신경망을 소개하고 작동 방식을 설명합니다. 신경망은 여러 계층의 뉴런을 포함하며 각 계층은 가중치와 편향을 통해 이전 계층과 다음 계층의 뉴런에 연결됩니다. 뉴런의 활성화는 이전 계층 뉴런의 활성화의 가중 합에 의해 결정되며, 이는 시그모이드 함수에 의해 압축됩니다.

• 00:00:00 신경망이 뇌에서 영감을 받는 방법과 손으로 쓴 숫자를 인식하는 데 어떻게 사용될 수 있는지 알려주는 신경망 소개. 비디오는 또한 입력 계층, 숨겨진 계층 및 출력 계층을 포함한 신경망의 구조를 설명합니다.
  
  
• 00:05:00 이 부분에서는 신경망의 계층 구조가 지능적으로 동작할 것으로 예상되는 이유를 설명합니다. 네트워크의 중간 계층에 있는 각 뉴런은 전체 이미지를 구성하는 여러 하위 구성 요소 중 하나에 해당한다고 명시되어 있습니다. 예를 들어 루프 이미지가 입력 레이어에 입력되면 뉴런이 활성화될 수 있습니다. 이를 통해 네트워크는 이미지를 구성하는 다양한 구성 요소를 조합하고 궁극적으로 이미지에 표시된 숫자를 인식할 수 있습니다.
  
  
• 00:10:00 신경망의 가중치와 편향이 동작을 결정하는 반면, 학습은 원하는 동작을 달성하기 위해 이러한 값을 조정하는 과정입니다. 신경망은 뉴런의 레이어로 구성되며 각 레이어는 가중치와 편향을 통해 이전 레이어와 다음 레이어의 뉴런에 연결됩니다. 뉴런의 활성화는 이전 계층 뉴런의 활성화의 가중 합에 의해 결정되며, 이는 시그모이드 함수에 의해 압축됩니다. 이 최종 벡터는 다음 레이어로 공급됩니다.
  
  
• 00:15:00 이 비디오에서 저자는 신경망이 무엇이며 어떻게 작동하는지 설명합니다. 그는 또한 시그모이드 함수를 소개하고 0과 1 사이의 해당 가중 합을 압축하는 데 사용되는 방법을 설명합니다.

[MetaQuotes]

4. [딥러닝 | 동영상 2] Gradient Decent, 신경망 학습 방법

경사 하강법, 신경망 학습 방법 | 2장, 딥러닝

이 비디오는 경사 하강법이 신경망이 보다 효과적으로 학습하는 데 어떻게 도움이 되는지 설명합니다.

• 00:00:00 신경망 및 기타 여러 기계 학습 알고리즘이 학습하는 방식의 핵심인 경사 하강법을 소개합니다. 그런 다음 비디오는 필기 숫자 인식 네트워크가 비용 함수, 가중치 및 편향으로 매개변수화되는 방법을 보여줍니다. 네트워크의 성능은 예제 훈련 데이터 세트에서 평가되며 네트워크가 숫자를 더 잘 인식할수록 비용 함수는 점점 더 정확해집니다.
  
  
• 00:05:00 경사 하강법은 신경망 훈련을 위한 강력한 도구이며 비용 함수를 효과적으로 최소화하려면 출력이 부드러워야 한다는 점을 기억하는 것이 중요합니다.
  
  
• 00:10:00 경사하강법 알고리즘과 인공 뉴런의 작동에 대해 설명합니다. 기울기 하강법은 경사를 따라 작은 단계로 이동하는 동안 비용 함수에서 로컬 최소값을 찾는 데 사용됩니다. 이 프로세스는 네트워크가 좋은 솔루션에 도달할 때까지 반복됩니다. 그런 다음 비디오는 숫자를 인식하도록 훈련된 뉴런 네트워크와 함께 작동하는 경사 하강법의 예를 보여줍니다. 네트워크가 완벽하지는 않지만 인상적인 것은 이전에 본 적이 없는 이미지를 처리할 수 있다는 것입니다.
  
  
• 00:15:00 경사하강법은 신경망 훈련에 사용되는 기술입니다. 첫 번째 부분에서 우리는 무작위로 레이블이 지정된 데이터에 대해 훈련된 심층 신경망이 적절하게 레이블이 지정된 데이터와 동일한 정확도를 달성하는 것을 보았습니다. 두 번째 부분은 신경망이 올바른 레이블이 있는 데이터 세트에서 훈련된 경우 비용 함수의 로컬 최소값이 동일한 품질임을 보여줍니다.
  
  
• 00:20:00 경사 하강법이 신경망에서 작동하는 방식과 네트워크가 보다 효과적으로 학습하는 데 어떻게 도움이 되는지 보여줍니다.

[MetaQuotes]

5. [딥러닝 | 동영상 3] 역전파가 실제로 하는 일은 무엇입니까?

역전파는 실제로 무엇을 하는 것입니까? | 3장, 딥러닝

역전파 알고리즘은 신경망에서 학습을 돕기 위해 사용됩니다. 알고리즘은 네트워크의 가중치와 편향에 따라 달라지는 비용 함수의 기울기를 계산합니다. 그런 다음 그래디언트는 네트워크의 가중치와 편향을 조정하는 데 사용됩니다.

• 00:00:00 역전파는 심장 신경망 훈련에 있습니다. 알고리즘은 네트워크의 가중치와 편향에 따라 달라지는 비용 함수의 기울기를 계산합니다. 그런 다음 그래디언트는 네트워크의 가중치와 편향을 조정하는 데 사용됩니다.
  
  
• 00:05:00 역전파는 딥 러닝 네트워크에서 뉴런 활성화를 높이는 지도 학습 알고리즘입니다. 알고리즘은 이 변화가 각 가중치의 크기에 비례하도록 이전 계층에 있는 뉴런의 가중치와 편향을 조정합니다. 역전파는 또한 두 번째 계층에 있는 뉴런의 가중치와 편향에 원하는 변경 사항을 전파하는 데 도움이 됩니다.
  
  
• 00:10:00 역전파는 신경망의 가중치와 편향을 조정하는 데 사용됩니다. 데이터를 무작위로 미니 배치로 나누고 미니 배치를 기반으로 가중치와 편향을 업데이트하는 확률적 경사하강법 알고리즘입니다. 이 알고리즘은 실제 그래디언트 디센트보다 계산 속도가 빠르고 비용 함수의 로컬 최소값으로 수렴할 수 있습니다.

[MetaQuotes]

6. [딥러닝 | 동영상 4] 역전파 미적분

역전파 미적분학 | 4장, 딥러닝

이 비디오는 가중치와 편향으로 정의된 레이어당 하나의 뉴런이 있는 간단한 네트워크를 사용하여 딥 러닝을 위한 역전파 알고리즘의 이면에 있는 수학을 설명합니다. 가중치 변화가 비용에 어떤 영향을 미치는지 이해하기 위해 체인 규칙을 도입하고 비용 함수, 활성화 함수 및 가중 합계의 미분을 통해 작은 가중치 변화에 대한 비용 민감도를 찾습니다. 민감도는 이전 가중치와 편향에 대한 민감도를 찾기 위해 체인 규칙의 확장에서 이전 활성화의 민감도를 반복적으로 계산하여 고려됩니다. 접근 방식은 계층당 여러 개의 뉴런이 있는 경우에도 유사하게 유지되며, 각 가중치에는 계층 내 위치를 추적하기 위한 자체 인덱스가 있습니다.

• 00:00:00 첫 번째 부분에서는 딥 러닝의 역전파에 필요한 수학적 장치에 대해 알아봅니다. 비디오는 3개의 가중치와 3개의 편향으로 정의된 계층당 하나의 뉴런이 있는 간단한 네트워크의 예를 보여줍니다. 목표는 비용 함수가 이러한 변수에 얼마나 민감한지와 비용 함수를 줄이는 데 가장 효과적인 조정을 이해하는 것입니다. 가중치 변수의 변화가 비용 함수에 어떤 영향을 미치는지 이해하기 위해 체인 규칙이 도입되었습니다. 가중치의 작은 변화에 대한 비용 함수의 민감도는 비용 함수, 활성화 함수 및 가중 합계의 미분을 사용하여 계산됩니다.
  
  
• 00:05:00 두 번째 부분에서는 신경망의 가중치 및 편향과 관련된 민감도 개념을 소개합니다. 가중치 및 편향에 대한 비용 함수의 미분은 민감도를 고려해야 하는 체인 규칙의 확장을 통해 발견됩니다. 민감도는 함께 발화하고 서로 통신하는 뉴런의 수로 생각할 수 있지만 미분을 위해서는 표현이 모든 교육 예제에 대해 평균화되어야 합니다. 체인 룰 확장에서 이전 활성화의 민감도가 계산되고 이전 가중치 및 편향에 대한 민감도를 반복적으로 계산하는 데 사용됩니다. 신경망의 계층에 여러 개의 뉴런이 있는 경우에도 접근 방식은 많이 변경되지 않습니다. 그러나 레이어에서 해당 위치를 추적하려면 추가 인덱스로 각 가중치를 인덱싱해야 합니다.

[MetaQuotes]

인공지능 풀코스 | 초보자를 위한 인공 지능 튜토리얼 | 에두레카

위에서 우리는 인공신경망 입문을 위한 최고의 자료를 제시했습니다. Edureka의 이 비디오는 실용적인 예와 함께 AI 개념에 대한 포괄적이고 상세한 지식을 제공합니다.

귀하의 편의를 위해 일반적인 일정과 각 부분에 대한 자세한 일정을 제공합니다. 적절한 순간으로 바로 이동하고 편리한 모드로 시청하며 아무것도 놓치지 않을 수 있습니다.

1. 00:00:00 - 01:00:00 1부에서는 인공 지능에 대한 소개를 제공하고 인공 지능의 역사, 다양한 영역 및 개념, 딥 러닝을 사용하여 실제 문제를 해결하는 방법에 대해 설명합니다. 또한 다양한 유형의 인공 지능과 AI 개발을 위한 널리 사용되는 프로그래밍 언어에 대해 설명합니다.
   
   
2. 01:00:00 - 02:00:00 2부에서는 다양한 유형의 인공 지능과 이를 사용하여 다양한 유형의 문제를 해결하는 방법에 대해 설명합니다. 선형 회귀를 사용하여 주어진 온도 범위에 대한 평균 최대 온도를 예측하는 방법과 로지스틱 회귀를 사용하여 결과가 1 또는 0이 될 가능성을 예측하는 방법을 설명합니다. 또한 의사 결정 트리 알고리즘과 의사 결정 트리를 구축하는 데 사용할 수 있는 방법에 대해 설명합니다. 마지막으로 랜덤 포레스트를 사용하여 보다 정확하고 안정적인 예측을 생성하는 방법을 설명합니다.
   
   
3. 02:00:00 - 03:00:00 3부에서는 Edureka 튜터인 Michael Kennedy가 K-평균 클러스터링 알고리즘이 작동하는 방식과 이를 사용하여 거대한 데이터 세트를 적은 수의 의미 있는 값으로 압축하는 방법을 설명합니다. 그는 또한 강화 학습이 에이전트가 알 수 없는 환경에서 목표를 달성하는 방법을 배우는 데 도움이 되는 또 다른 종류의 기계 학습이라고 설명합니다.
   
   
4. 03:00:00 - 04:00:00 Part 4에서는 상위 노드, 하위 노드 및 다른 유형의 도로에 대한 정보 이득을 계산하는 방법을 학습합니다. 엔트로피는 오른쪽에 대해 계산되고 0으로 판명되어 불확실성이 없음을 나타냅니다. 도로가 평평할 때 자동차의 속도는 빠르며, 이는 이 정보에 불확실성이 없음을 나타냅니다. 도로가 가팔라지면 자동차의 속도가 느리거나 빠를 수 있으며, 이는 특정 도로 유형에 대한 정보가 아님을 나타냅니다.
   
   
5. 04:00:00 - 04:50:00 5부에서는 Edureka 강사인 Kirill Eremenko가 프로그래밍, 데이터 및 기계 학습의 기초를 다루는 인공 지능에 대한 포괄적인 개요를 제공합니다. 그는 신경망이 작동하는 방식과 이를 사용하여 주가를 예측하는 방법을 설명합니다. 또한 데이터 준비, 파티셔닝 및 스케일링을 포함하여 신경망 훈련에 필요한 단계를 설명합니다. 마지막으로 그는 각 숨겨진 레이어의 뉴런 수, 편향 크기 및 비용 함수를 포함하여 AI 시스템의 모델 아키텍처 매개변수에 대해 설명합니다.
   
   

비디오 과정의 일부에 대한 자세한 타임라인

1 부

• 00:00:00 Edureka의 Zulaikha는 AI의 역사, AI와 관련된 다양한 분야 및 개념, AI가 어떻게 탄생했는지, 기계 학습의 한계, 딥 러닝이 필요한 이유에 대해 이야기합니다. 그녀는 또한 딥 러닝의 개념을 소개하고 이것이 실제 문제를 해결하는 데 어떻게 사용될 수 있는지 보여줍니다. 마지막으로 그녀는 다음 모듈인 자연어 처리에 대해 이야기합니다.
  
  
• 00:05:00 인공 지능은 시각적 인식, 음성 인식, 의사 결정 및 언어 간의 번역과 같이 일반적으로 인간 지능이 필요한 작업을 수행할 수 있는 지능형 기계를 만드는 과학 및 공학입니다. 최근 컴퓨팅 성능과 알고리즘의 발전으로 인공 지능을 일상 생활에 보다 효과적으로 통합할 수 있게 되었습니다. 대학, 정부, 신생 기업 및 주요 기술 회사는 AI가 미래라고 믿기 때문에 AI에 자원을 쏟아 붓고 있습니다. 인공 지능은 연구 분야와 경제 분야로 빠르게 발전하고 있습니다.
  
  
• 00:10:00 인공 지능은 금융에서 의료 및 소셜 미디어에 이르기까지 다양한 분야에서 사용됩니다. AI는 Netflix와 같은 기업에서도 사용하고 있을 정도로 중요해졌습니다.
  
  
• 00:15:00 인공지능은 3단계로 나뉘는데 현재 약한 AI 단계입니다. 인공일반지능, 즉 강인공지능(Strong AI)은 아직 달성되려면 멀었지만 이렇게 된다면 인류 역사에 한 획을 그을 일이 될 것이다.
  
  
• 00:20:00 이 섹션에서는 다양한 유형의 인공 지능을 소개하고 AI를 위한 다양한 프로그래밍 언어에 대해 설명합니다. Python은 AI 개발을 위한 최고의 언어로 간주되며 R도 인기 있는 선택입니다. 다른 언어로는 Python, Lisp, Prolog, C++, MATLAB, Julia 및 JavaScript가 있습니다.
  
  
• 00:25:00 Python은 유연하고 사용하기 쉬운 프로그래밍 언어로 인공 지능 분야에서 인기를 얻고 있습니다. 기계 학습은 기계가 예측을 개선하기 위해 데이터에서 학습할 수 있도록 하는 기술입니다.
  
  
• 00:30:00 기계 학습은 알고리즘을 사용하여 경험을 통해 자동으로 학습하고 개선하는 인공 지능의 하위 집합입니다. 기계 학습 프로세스의 주요 구성 요소는 기계 학습 알고리즘을 사용하여 훈련되는 모델입니다.
  
  
• 00:35:00 알고리즘과 모델의 차이점은 알고리즘은 주어진 입력을 기반으로 모델이 내려야 하는 모든 결정을 매핑하는 반면, 모델은 기계 학습 알고리즘을 사용하여 입력에서 유용한 통찰력을 추출하고 당신은 매우 정확한 결과입니다. 그런 다음 출력을 예측하는 데 사용할 수 있는 데이터의 모든 기능인 예측 변수가 있습니다. 따라서 같은 예에서 높이가 응답 변수가 됩니다. 응답 변수는 대상 변수 또는 출력 변수라고도 합니다. 이것은 예측 변수를 사용하여 예측하려는 변수입니다. 따라서 응답 변수는 예측 변수를 사용하여 예측해야 하는 함수 또는 출력 변수입니다. 그런 다음 훈련 데이터라는 것이 있습니다. 기계 학습 과정에서 데이터 "훈련" 및 "테스트"라는 용어를 자주 접하게 됩니다. 학습 데이터는 기계 학습 모델을 구축하는 데 사용되는 데이터입니다. 따라서 기계 학습 과정에서 데이터를 기계에 로드하면 두 부분으로 나뉩니다. 데이터를 두 개의 하위 집합으로 나누는 것을 데이터 분할이라고도 합니다. 입력 데이터를 가져와 두 부분으로 나눕니다.
  
• 00:40:00 데이터 수집은 기계 학습에서 가장 시간이 많이 걸리는 단계 중 하나이며 수동으로 데이터를 수집해야 하는 경우 시간이 많이 걸립니다. 그러나 다행스럽게도 광범위한 데이터 세트를 제공하는 많은 리소스가 온라인에 있습니다. 데이터를 다운로드하기만 하면 되는 웹 스크래핑만 있으면 됩니다. 내가 말할 수 있는 한 사이트는 Cargill입니다. 따라서 기계 학습을 처음 사용하는 경우 데이터 수집 등에 대해 걱정하지 마십시오. Cargill과 같은 웹사이트로 이동하여 데이터 세트를 다운로드하기만 하면 됩니다.
  
  
• 00:45:00 감독 학습은 레이블이 잘 지정된 데이터를 사용하여 머신을 학습시키는 기술입니다. 감독 학습은 교사가 학생들이 수학적 개념을 이해하도록 돕는 방법과 유사합니다.
  
  
• 00:50:00 감독 학습에서 교육 데이터 세트에는 Tom과 Jerry의 이미지와 같은 개체의 모양에 대한 정보가 포함됩니다. 이미지를 식별하고 분류하는 방법을 학습하기 위해 이 레이블이 지정된 데이터 세트에서 머신 러닝 알고리즘을 학습합니다. 비지도 학습에서 기계 학습 알고리즘은 레이블이 지정된 데이터를 수신하지 않고 대신 레이블이 지정되지 않은 데이터를 학습합니다. 강화 학습에서 에이전트는 환경에 배치되고 작업을 수행하고 이러한 작업에 대해 받는 보상을 관찰하여 행동하는 방법을 배웁니다.
  
  
• 00:55:00 기계 학습은 지도 학습, 비지도 학습 및 강화 학습의 세 가지 주요 학습 유형으로 구성됩니다. 지도 학습은 레이블이 지정된 데이터를 학습하는 데 사용되며 비지도 학습은 레이블이 지정되지 않은 데이터를 학습하는 데 사용되며 강화 학습은 조치 및 보상을 학습하는 데 사용됩니다. 기계 학습으로 해결할 수 있는 문제에는 회귀, 분류 및 클러스터링의 세 가지 유형이 있습니다. 회귀, 분류 및 클러스터링 문제를 해결하는 데 사용할 수 있는 많은 알고리즘이 있지만 가장 일반적으로 사용되는 알고리즘은 선형 회귀, 로지스틱 회귀, 서포트 벡터 머신 및 나이브 베이즈입니다.

2 부

• 01:00:00 인공 지능을 사용하여 분류, 회귀 및 클러스터링 문제를 해결할 수 있습니다. 선형 회귀와 같은 지도 학습 알고리즘을 사용하여 입력 데이터를 기반으로 주택 가격 지수와 같은 대상 변수를 예측합니다.
  
  
• 01:05:00 선형 회귀는 독립 변수 x의 값을 기반으로 연속 종속 변수 y를 예측하는 데 사용되는 지도 학습 알고리즘입니다. 선형 회귀는 최적의 선형 맞춤을 사용하여 y와 x 사이의 관계를 구축하여 시작한 다음 선형 회귀선의 기울기와 y-이동을 계산합니다.
  
  
• 01:10:00 Edureka 강사 Michael Kennedy가 전 세계 여러 날에 기록된 기상 조건 데이터 세트에 대한 선형 회귀를 시연합니다. 그는 필요한 라이브러리를 가져오고 데이터를 읽는 방법, 데이터 포인트를 플로팅하고 변수 간의 선형 관계를 찾는 방법을 보여줍니다. 그는 또한 경고 메시지에 대해 논의하고 이 시연의 주요 목적이 일기 예보라고 설명합니다.
  
  
• 01:15:00 이 단원에서는 선형 회귀를 사용하여 주어진 온도 범위에 대한 평균 최고 온도를 예측하는 방법을 설명합니다. 모델은 데이터 세트를 학습 및 테스트 세트로 분할하고 적절한 선형 회귀 클래스를 가져와 학습합니다. 튜토리얼 후 강사는 데이터에 해당하는 선의 기울기와 y-이동을 계산하는 방법을 보여줍니다.
  
  
• 01:20:00 회귀 알고리즘을 사용하여 테스트 데이터 세트의 백분율 점수를 예측하는 방법을 설명합니다. 비디오는 결과를 플로팅하고 실제 값과 비교하는 방법도 보여줍니다.
  
  
• 01:25:00 로지스틱 회귀는 독립 변수 x가 주어졌을 때 종속 변수가 범주형 변수, 즉 출력이 범주형 변수가 되도록 종속 변수 y를 예측하는 데 사용되는 기술입니다. 로지스틱 회귀의 결과는 항상 범주형이며 로지스틱 회귀에 사용되는 기본 기법은 선형 회귀와 매우 유사합니다.
  
  
• 01:30:00 로지스틱 회귀는 방정식 Pr(X = 1) = beta0 + beta1*X를 사용하여 결과가 1 또는 0이 될 확률을 예측하는 데 사용됩니다. 로지스틱 함수 또는 S-곡선은 0과 1 사이의 범위가 준수되도록 합니다.
  
  
• 01:35:00 의사 결정 트리 알고리즘은 이해하기 쉬운 감독 학습 알고리즘입니다. 루트 노드(첫 번째 분할이 발생하는 곳), 내부 노드(결정이 이루어지는 곳) 및 리프 노드(결과가 저장되는 곳)로 구성됩니다. 노드 사이의 분기는 화살표로 표시되며 알고리즘은 터미널 노드에 도달할 때까지 트리를 통해 데이터를 탐색하여 작동합니다.
  
  
• 01:40:00 "ID3" 알고리즘은 의사 결정 트리를 생성하는 데 사용되는 알고리즘입니다. 이 알고리즘을 사용하는 데 필요한 단계는 다음과 같습니다. (1) 최상의 속성 선택, (2) 해당 속성을 루트 노드의 결정 변수로 할당, (3) 각 결정 변수 값에 대한 하위 생성, (4) 리프 노드 분류에 레이블을 지정합니다. 데이터가 올바르게 분류되면 알고리즘이 중지됩니다. 그렇지 않은 경우 알고리즘은 예측 변수 또는 루트 노드의 위치를 변경하면서 트리를 계속 반복합니다. 가장 좋은 속성은 데이터를 서로 다른 클래스로 가장 효과적으로 구분하는 속성입니다. 엔트로피와 정보 이득은 데이터를 가장 잘 구분하는 변수를 결정하는 데 사용됩니다. 정보 획득의 가장 높은 척도는 루트 노드에서 데이터를 분할하는 데 사용됩니다.
  
  
• 01:45:00 초보자를 위한 인공 지능에 대한 이 비디오 자습서에서는 부모 노드, 자식 노드 및 다른 유형의 도로에 대한 정보 이득을 계산하는 방법을 배웁니다. 오른쪽의 엔트로피가 계산되고 0으로 판명되며 이는 불확실성이 없음을 나타냅니다. 도로가 직선일 때 차량의 속도가 빠르며, 이는 이 정보에 불확실성이 없음을 나타냅니다. 도로가 가팔라지면 차량 속도가 느리거나 빠를 수 있으며 이는 정보가 특정 도로 유형에 국한되지 않음을 나타냅니다.
  
  
• 01:50:00 결정 트리에서 정보 이득을 계산하기 위해 엔트로피를 사용하는 방법에 대해 논의합니다. 부모 노드에 대한 엔트로피, 자식 노드에 대한 가중 평균 및 각 예측 변수에 대한 정보 획득을 계산합니다. 도로 유형 변수의 엔트로피는 0이며 데이터 세트에 불확실성이 없음을 의미합니다. 도로 유형 변수에 대한 정보 이득은 0.325이며, 이는 데이터 세트에 도로 유형 변수에 대한 정보가 거의 포함되어 있지 않음을 의미합니다. 장애물 변수에 대한 정보 이득은 0이며, 이는 장애물 변수가 의사 결정 트리에 영향을 미치지 않음을 의미합니다. 속도 제한 변수에 대한 정보 이득은 1이며, 이는 속도 제한 변수가 의사 결정 트리에 가장 큰 영향을 미친다는 것을 의미합니다.
  
  
• 01:55:00 랜덤 포레스트에서는 여러 개의 의사 결정 트리가 구축된 후 이를 결합하여 보다 정확하고 안정적인 예측을 생성합니다. 부트스트래핑은 의사 결정 트리를 훈련하는 데 사용되는 작은 데이터 세트를 만드는 데 사용됩니다. 랜덤 포레스트는 과적합(훈련 데이터의 암기)을 줄이기 때문에 새로운 데이터를 예측할 때 결정 트리보다 더 정확합니다.

파트 3

• 02:00:00 이 비디오는 랜덤 포레스트를 사용하여 결정 트리를 만드는 방법을 설명합니다. 먼저 2~3개의 변수를 임의로 선택하여 의사결정나무의 각 노드에서 사용할 수 있도록 하고 각각에 대한 정보이득과 엔트로피를 계산한다. 그런 다음 이 프로세스는 각 다음 분기 노드에 대해 반복되어 선택한 예측 변수를 기반으로 출력 클래스를 예측하는 의사 결정 트리를 생성합니다. 마지막으로 첫 번째 단계로 돌아가 원래 변수의 하위 집합을 기반으로 새 의사 결정 트리를 만듭니다. 이 프로세스는 여러 의사 결정 트리가 생성될 때까지 반복되며, 각각은 서로 다른 예측 변수를 기반으로 출력 클래스를 예측합니다. 마지막으로, 모델의 정확도는 out-of-bag 데이터 세트를 사용하여 평가됩니다.
  
  
• 02:05:00 이 비디오에서는 Edureka 강사인 Michael Kennedy가 Random Forest의 작동 방식을 설명합니다. 먼저 정확한 예측을 위해 부트스트랩 데이터 세트를 만듭니다. 그런 다음 임의의 예측 변수 집합을 사용하여 의사 결정 트리를 만듭니다. 이 과정은 모델이 생성될 때까지 수백 번 반복됩니다. 모델 정확도는 외부 샘플링을 사용하여 계산할 수 있습니다.
  
  
• 02:10:00 K 최근접 이웃 알고리즘은 새로운 데이터 포인트를 인접한 데이터 포인트의 특징에 따라 대상 클래스 또는 출력 클래스로 분류하는 지도 학습 알고리즘입니다.
  
  
• 02:15:00 KNN 알고리즘은 데이터를 사용하여 새로운 입력 데이터 포인트의 출력을 예측하는 감독 학습 알고리즘입니다. 인접 데이터 포인트에 대한 기능의 유사성을 기반으로 하며 파라메트릭이 아닙니다. KNN 알고리즘은 게으르고 판별 함수를 학습하는 대신 훈련 세트를 기억할 수 있습니다.
  
  
• 02:20:00 Edureka 강사 Alan C가 KNN 및 SVM 분류 알고리즘의 기본 사항을 설명합니다. 각 알고리즘에는 고유한 강점이 있으며 SVM은 비선형 데이터를 처리할 수 있는 기능으로 인해 분류에 널리 사용됩니다.
• 02:25:00 Python을 이용한 다양한 분류 알고리즘의 사용을 고려합니다. 먼저 데이터를 읽고 레이블에 따라 과일 유형으로 그룹화합니다. 그런 다음 데이터에 대해 다양한 알고리즘을 구현하고 테스트합니다. 마지막으로 결과를 보여주고 논의합니다.
  
  
• 02:30:00 기계 학습에서 시각화의 중요성에 대해 논의하고 상자 그림, 히스토그램 및 스케일러의 사용을 설명합니다. 또한 데이터를 교육 및 테스트 세트로 분할하는 것의 중요성에 대해 논의합니다.
  
  
• 02:35:00 이 비디오는 분류 문제에서 로지스틱 회귀, 결정 트리 및 지원 벡터 머신의 사용을 다룹니다. 로지스틱 회귀 분류기는 훈련 데이터 세트에서 좋은 결과를 주었지만 테스트 데이터 세트에서는 덜 정확했습니다. 의사 결정 트리 분류기는 교육 데이터 세트에서 더 정확했지만 테스트 데이터 세트에서는 더 나빴습니다. 서포트 벡터 머신은 훈련 및 테스트 데이터 세트 모두에서 좋은 결과를 제공했습니다.
  
  
• 02:40:00 K-평균 클러스터링 알고리즘은 유사한 항목이나 데이터 포인트를 클러스터로 그룹화하는 데 사용되는 감독되지 않은 기계 학습 알고리즘입니다. 특정 고객에게 특정 제품을 홍보하는 것과 같은 표적 마케팅에 사용됩니다.
  
  
• 02:45:00 팔꿈치 방법은 특정 문제에 대한 k의 최적 값을 찾는 데 사용되는 간단한 방법입니다. 엘보 방법은 다양한 k 값에 대한 제곱 오차의 합을 계산한 다음 이를 시각화하는 것으로 시작합니다. k가 증가하면 오류가 감소하여 클러스터가 많을수록 왜곡이 줄어듭니다. k의 최적값은 오류 감소가 느려지는 그래프의 지점에서 "팔꿈치" 모양을 형성합니다.
  
  
• 02:50:00 엘보 방법은 K-평균 알고리즘에 대한 최적의 K 값을 선택하는 간단한 방법입니다. 이 방법은 다양한 K 값에 대한 제곱 오차의 합을 계산하고 그래프에 플로팅하는 것으로 시작합니다. K가 증가하면 오류가 감소하여 클러스터가 많을수록 왜곡이 줄어듭니다. K-means에 대한 최적의 K 값은 왜곡이 급격히 감소하는 지점입니다. 이 방법은 표준 라이브러리 함수를 사용하여 쉽게 구현할 수 있습니다. 이 비디오에서는 scikit-learn 데이터 세트의 샘플 이미지를 사용하여 팔꿈치 방법을 시연합니다.
  
  
• 02:55:00 이 비디오는 K-평균 클러스터링 알고리즘의 작동 방식과 이를 사용하여 대규모 데이터 세트를 소수의 의미 있는 값으로 압축하는 방법을 설명합니다. 또한 강화 학습은 에이전트가 알 수 없는 환경에서 목표를 달성하는 방법을 배우는 데 도움이 되는 다른 종류의 기계 학습이라고 생각합니다.

파트 4

• 03:00:00 Counter Strike와 같은 비디오 게임의 강화 학습 에이전트는 현재 상태와 환경에 따라 최선의 행동을 취함으로써 보상을 극대화하려고 합니다. 예를 들어 에이전트가 호랑이에게 접근하면 죽을 가능성을 고려하여 예상 보상을 낮출 수 있습니다. 동작, 상태, 보상 및 감마와 같은 이러한 개념은 다음 슬라이드에서 자세히 설명합니다.
  
  
• 03:05:00 이 비디오에서 Edureka 강사 Adriano Ferreira는 탐색 및 활용의 개념, Markov 의사 결정을 해결하기 위한 수학적 접근 방식 및 최단 경로 문제에 대해 설명합니다. 그런 다음 욕심 많은 전략을 사용하여 문제를 해결하기 위한 전략을 선택하는 방법과 탐색 전략을 사용하여 전략을 선택하는 방법의 예를 보여줍니다.
  
  
• 03:10:00 Edureka 강사가 정책 기반, 가치 기반, 행동 기반의 세 가지 주요 방법을 포함하여 강화 학습의 기본 사항을 설명합니다. 그런 다음 중요한 강화 학습 알고리즘인 Q-러닝 알고리즘을 시연합니다. Q-러닝의 목표는 보상이 가장 높은 상태를 찾는 것이며, Q-러닝에서 사용하는 용어는 상태(state)와 행동(action)을 포함합니다.
  
  
• 03:15:00 작동 방식과 경험을 통해 배울 수 있는 에이전트를 만드는 방법을 포함하여 인공 지능의 기본 사항을 설명합니다. 이 비디오는 에이전트의 현재 상태와 미래 보상을 결정하기 위해 보상 행렬과 균일한 Q 행렬이 어떻게 사용되는지 설명합니다. 감마는 탐색 및 에이전트 사용을 제어하는 데 사용됩니다.
  
  
• 03:20:00 에이전트의 행렬 Q가 메모리를 저장하는 방법과 업데이트하는 방법을 포함하여 인공 지능의 기본 개념에 대한 비디오입니다. 그런 다음 NumPy 및 R 라이브러리를 사용하여 Python에서 동일한 작업을 수행하는 방법으로 이동합니다.
  
  
• 03:25:00 동영상은 초보자에게 코드를 사용하여 보상 행렬과 Q 행렬을 만들고 감마 매개변수를 설정하는 방법을 가르쳐 인공 지능(AI) 시스템을 만드는 방법을 보여줍니다. 그런 다음 비디오는 AI 시스템을 10,000회 반복 실행하여 교육하는 방법과 임의의 상태를 선택하고 목표 상태인 5번 방에 도달하려고 시도하여 시스템을 테스트하는 방법을 보여줍니다.
  
  
• 03:30:00 기계 학습은 컴퓨터가 데이터에서 학습하도록 돕는 연구 분야입니다. 그러나 고차원 데이터를 처리할 수 없습니다. 기계 학습의 또 다른 한계는 측정 횟수가 증가함에 따라 계산 능력 요구 사항이 증가한다는 것입니다.
  
  
• 03:35:00 이미지에는 많은 픽셀이 포함되어 있고 오만한 데이터가 많기 때문에 인공지능은 이미지 인식에 활용되는 능력에 한계가 있습니다. 특징 추출은 알고리즘의 효율성이 프로그래머가 데이터를 얼마나 깊이 분석했는지에 따라 달라지기 때문에 머신 러닝 워크플로우의 중요한 부분입니다. 딥 러닝은 우리의 두뇌가 작동하는 방식을 모방하고 프로그래머의 지도가 거의 필요하지 않은 올바른 기능에 집중하기 위해 스스로 학습할 수 있습니다.
  
  
• 03:40:00 딥 러닝은 데이터의 기능 계층 구조를 효율적으로 학습할 수 있는 일련의 기계 학습 기술입니다. 딥 러닝은 우리의 뇌처럼 작동하는 인공 뉴런의 신경망으로 구성됩니다. 레이어 수와 각 레이어의 퍼셉트론 수는 작업이나 애플리케이션에 따라 완전히 달라집니다.
  
  
• 03:45:00 활성화 함수 계산에 가중치가 어떻게 사용되는지 설명합니다. 그런 다음 이 활성화 함수는 출력(1)을 생성하는 데 사용되는 특정 입력(X 1)의 양을 결정합니다.
  
  
• 03:50:00 다층 퍼셉트론은 단층 퍼셉트론과 구조가 같지만 하나 이상의 은닉층이 있습니다. 가중치는 처음에 무작위로 할당되며 오류를 최소화하려면 가중치가 정확해야 합니다. 역전파는 가중치를 업데이트하여 오류를 줄이는 방법입니다.
  
  
• 03:55:00 Edureka 강사 Emmanuel이 청중에게 역전파를 사용하여 모델의 출력을 계산하는 방법을 알려줍니다. 먼저 모델이 부정확한 위치를 보여주는 오류를 계산합니다. 그런 다음 오류 역전파를 사용하여 오류를 최소화하는 방식으로 가중치를 업데이트합니다. 오류가 계속 높으면 가중치 업데이트를 중지하고 전역 손실 최소값을 찾은 다음 중지합니다.

파트 5

• 04:00:00 역전파는 출력 계층의 오류를 줄이기 위해 네트워크 가중치를 조정하는 데 사용되는 수학적 기술입니다. 경사 하강법은 네트워크 순방향 전파 성능을 최적화하는 데 사용됩니다. 순환 신경망은 일련의 데이터에서 패턴을 인식하는 데 사용할 수 있는 일종의 인공 신경망입니다.
  
  
• 04:05:00 심층 신경망이 작동하는 방식과 주가 예측에 어떻게 사용될 수 있는지 설명합니다. 순방향 신경망, 다층 퍼셉트론 및 순환 신경망의 기본 사항을 다룹니다.
  
  
• 04:10:00 데이터 준비, 파티셔닝 및 스케일링을 포함하여 신경망을 교육하는 데 필요한 단계를 설명합니다. 자리 표시자와 이니셜라이저의 사용에 대해서도 설명합니다.
  
  
• 04:15:00 각 숨겨진 레이어의 뉴런 수, 편향 차원 및 비용 함수를 포함하여 인공 지능 시스템의 모델 아키텍처 매개 변수에 대해 설명합니다. 그런 다음 활성화 함수가 숨겨진 레이어를 변환하는 방법과 출력이 어떻게 바뀌고 비용이 계산되는지 설명합니다.
  
  
• 04:20:00 Edureka 강사 Kirill Eremenko가 신경망, 옵티마이저 및 이니셜라이저의 역할을 포함하여 딥 러닝의 기본 사항을 설명합니다. 또한 미니 배치 훈련이 작동하는 방식과 신경망 훈련에 에포크가 사용되는 방식도 설명합니다.
  
  
• 04:25:00 y에 저장된 실제 관찰 대상과 모델의 예측 값을 비교하여 딥 러닝 시연. 그런 다음 TensorFlow를 사용하여 가중치 및 바이어스 요인을 업데이트합니다. 그런 다음 모델은 테스트 데이터에 대해 학습되고 해당 예측은 실제 값과 비교됩니다. 10 epoch 후에는 모델의 정확도가 실제 값에 매우 근접한 것으로 나타납니다.
  
  
• 04:30:00 텍스트 마이닝 또는 텍스트 분석은 자연어 텍스트에서 의미 있는 정보를 추출하는 프로세스입니다. 텍스트 마이닝은 NLP를 사용하여 텍스트 마이닝 및 텍스트 데이터 분석을 수행하는 방대한 분야입니다. NLP는 기계가 데이터를 0과 1로 이해하도록 돕는 텍스트 마이닝의 일부입니다. 자연어 처리는 컴퓨터와 스마트폰이 말과 글 모두에서 우리의 언어를 이해하는 데 사용하는 것입니다. 텍스트 마이닝 및 자연어 처리 애플리케이션의 예로는 스팸 탐지, 예측 입력 및 감정 분석이 있습니다.
  
  
• 04:35:00 자연어 처리에서 토큰화, 형태소 분석 및 원형 복원의 중요성에 대해 설명합니다. 토큰화는 문장을 단어로 나누고 형태소 분석은 단어를 기본 형식으로 줄이며 표제어 추출은 단어를 다시 표제어에 연결한다고 설명합니다. 중지 단어는 중요한 단어에 초점을 맞추기 위해 제거되는 일반적인 단어입니다.
  
  
• 04:40:00 이 Edureka 자습서는 이 작업을 수행하는 데 필요한 모든 기능이 포함된 라이브러리인 NaiveBayesClassifier를 사용하여 자연어 처리를 수행하는 방법을 설명합니다. 그런 다음 영화 리뷰 데이터 세트에 대한 감정 분석을 수행하여 프로세스를 시연합니다. 분류기는 어떤 리뷰가 긍정적이고 어떤 리뷰가 부정적인지 정확히 찾아낼 수 있었습니다.
  
  
• 04:45:00 Edureka 기계 학습 엔지니어 프로그램에는 Python 프로그래밍, 기계 학습, 자연어 처리(NLP), 그래픽 모델링, 심층 학습 및 Spark를 다루는 200시간 이상의 대화형 학습이 포함된 9개의 모듈이 포함되어 있습니다. 커리큘럼에는 지도 및 비지도 알고리즘, 통계 및 시계열, 딥 러닝 및 Spark가 포함됩니다. 기계 학습 엔지니어의 평균 연봉은 $134,000 이상입니다.
  
  
• 04:50:00 프로그래밍, 데이터 처리 및 기계 학습의 기초를 포함하여 인공 지능에 대한 포괄적인 소개가 제공됩니다. 이 입문 모듈을 완료한 후 학생은 이러한 주제에 대한 이해를 심화하기 위한 추가 과정을 진행할 수 있습니다.

[MetaQuotes]

MIT 딥 러닝 입문 과정은 딥 러닝의 기본 원리에 대한 빠르고 집중적인 학습을 위해 설계되었습니다.

MIT 딥 러닝 소개 과정은 컴퓨터 비전, 자연어 처리, 생물학 및 기타 분야의 응용 프로그램을 통해 딥 러닝의 기본 원리에 대한 빠르고 집중적인 교육을 제공하도록 설계되었습니다. 이 과정에서 학생들은 딥 러닝 알고리즘에 대한 기본 지식과 TensorFlow에서 신경망을 구축하는 실제 경험을 얻습니다. 이 프로그램은 직원 및 업계 스폰서가 평가하는 프로젝트 제안 대회에서 절정에 이릅니다. 학생들이 미적분학(예: 도함수를 사용할 수 있음) 및 선형 대수학(예: 행렬을 곱할 수 있음)에 익숙하다고 가정하지만 다른 모든 것은 과정이 진행됨에 따라 설명됩니다. Python 작업 경험이 도움이 되지만 필수는 아닙니다.

강의 1. MIT 딥러닝 입문 | 6.S191

이 비디오에서는 MIT Alexander Amini가 퍼셉트론에 대한 토론과 함께 딥 러닝의 기초를 소개합니다. 계속해서 TensorFlow라는 라이브러리를 사용하여 프로세스를 단순화하여 처음부터 신경망을 구축하는 방법을 보여줍니다. 그는 출력 레이어가 있는 단일 레이어 및 2 레이어 신경망을 만드는 방법을 논의하면서 비디오를 마무리합니다.

• 00:00:00 딥 러닝에 대한 이 1주 소개 과정에서 학생들은 현장의 기초를 배우고 딥 러닝 소프트웨어 랩을 사용하여 실습 경험을 얻습니다. 과정은 가짜지만 비디오와 오디오는 실제로 딥 러닝 기술을 사용하여 생성됩니다. 이를 통해 강사는 고품질의 실제 딥 러닝 사례를 보여줄 수 있습니다.
  
  
• 00:05:00 이 비디오는 관련 용어 및 개념을 포함하여 딥 러닝의 기본 사항을 소개합니다. 수업은 기술 강의와 소프트웨어 실습으로 나뉘며 최종 프로젝트는 창의적이고 혁신적인 아이디어에 중점을 둡니다. 비디오는 과정의 강사에 대한 간략한 개요와 질문이 있는 경우 연락하는 방법으로 끝납니다.
  
  
• 00:10:00 딥 러닝의 주요 목표는 데이터에서 기능을 학습하는 것입니다. 이는 계층적 뉴런 계층을 사용하여 심층 신경망을 훈련함으로써 수행됩니다. 이를 통해 계층적 기능을 감지할 수 있을 뿐만 아니라 대규모 병렬화가 가능합니다.
  
  
• 00:15:00 이 강의에서는 시그모이드 활성화 기능과 relu 기능을 포함하여 딥 러닝의 기술 개념에 대해 배웁니다. 또한 비선형성을 도입하기 위해 현대 신경망에서 활성화 기능이 어떻게 사용되는지 살펴봅니다. 마지막으로 퍼셉트론 방정식을 사용하여 입력 데이터 포인트의 가중 조합을 계산하는 방법을 보여줍니다.
  
  
• 00:20:00 Alexander Amini가 퍼셉트론에 대한 토론과 함께 딥 러닝의 기본 사항을 소개합니다. 계속해서 TensorFlow라는 라이브러리를 사용하여 프로세스를 단순화하여 처음부터 신경망을 구축하는 방법을 보여줍니다. 그는 출력 레이어가 있는 단일 레이어 및 2 레이어 신경망을 만드는 방법을 논의하면서 비디오를 마무리합니다.
  
  
• 00:25:00 이 섹션에서 그는 딥 러닝이 작동하는 방식과 학생의 수업 통과 또는 실패 여부를 예측하기 위해 신경망을 구축하는 방법을 설명합니다. 네트워크가 올바르게 학습되지 않았으며 결과적으로 예상 통과 확률이 잘못되었습니다.
  
  
• 00:30:00 이 비디오에서 Alexander Amini는 심층 학습의 기본 사항과 경사 하강법을 사용하여 신경망을 최적화하는 방법에 대해 설명합니다. 그는 딥 러닝에는 데이터를 기반으로 예측을 개선하기 위해 네트워크를 훈련하는 것이 포함된다고 설명합니다. 목표는 모든 데이터 세트에서 평균적으로 네트워크 오류를 최소화하는 가중치(w's)를 찾는 것입니다.
  
  
• 00:35:00 딥 러닝에서 역전파는 손실을 줄이기 위해 각 가중치를 어떻게 변경해야 하는지 결정하기 위해 기울기를 신경망의 입력으로 다시 전파하는 프로세스입니다. 실제로는 너무 작지도 크지도 않은 학습률을 사용하면 로컬 최소값을 피하고 여전히 전역 최적값으로 수렴합니다.
  
  
• 00:40:00 Alexander Amini가 경사 하강법, 적응형 학습 속도 및 일괄 처리를 사용하여 심층 신경망을 교육하는 방법에 대해 설명합니다. 또한 과적합의 위험성과 이를 완화하는 방법에 대해서도 설명합니다.
  
  
• 00:45:00 이번 강의에서는 신경망의 기본 빌딩 블록, 퍼즐을 완성하고 훈련시키는 방법, 손실 함수를 사용하는 방법에 대해 중점적으로 다루었습니다. 다음 강의에서 Ava는 rnn을 사용한 심층 시퀀스 모델링과 변환기라고 하는 새롭고 흥미로운 유형의 모델에 대해 이야기할 것입니다.

[MetaQuotes]

MIT 6.S191(2022): 순환 신경망 및 변환기

강의 2. MIT 6.S191 (2022): Recurrent Neural Networks and Transformers

MIT 강의의 이 섹션에서는 공의 궤적 예측과 같은 예제를 통해 순차적 데이터 처리의 중요성을 설명하는 시퀀스 모델링에 대한 소개를 제공합니다. 반복 신경망(RNN)은 시퀀스 모델링을 처리하는 수단으로 소개되며, 강의에서는 RNN이 내부 메모리(또는 상태)를 사용하여 현재 및 미래 예측을 알리는 이전 기록을 캡처하는 방법을 설명합니다. 이 강의에서는 가중치 행렬을 보다 명확하게 만들기 위해 시간에 따라 RNN을 펼치는 방법에 대해서도 논의하고 시퀀스 모델링에 대한 설계 문제와 기준을 소개합니다. 이 비디오는 또한 기울기 소실 문제와 같은 RNN의 일반적인 문제를 다루고 모델이 반복 없이 입력의 가장 중요한 부분에 주의를 기울일 수 있는 잠재적인 솔루션으로 주의 개념을 소개합니다. 강의는 self-attention 메커니즘이 생물학 및 컴퓨터 비전과 같은 언어 처리를 넘어서는 영역에 어떻게 적용될 수 있는지에 대한 토론으로 끝납니다.

• 00:00:00 비디오의 이 섹션에서는 강의에서 시퀀스 모델링의 개념과 시퀀스 데이터를 포함하는 작업을 처리할 때의 중요성을 소개합니다. 강사는 공의 궤적을 예측하는 간단한 예부터 시작하며 공의 이전 위치 데이터를 추가하면 예측이 크게 향상됩니다. 순차 데이터는 오디오, 텍스트, EKG 신호 및 주가와 같은 다양한 형태로 우리 주변에 있습니다. 그런 다음 강사는 피드포워드 모델과 시퀀스 모델의 차이점을 설명하고 시퀀스 모델링이 필요한 실제 응용 프로그램의 예를 제공합니다. 시퀀스 모델링에 대한 근본적인 이해를 구축하기 위해 강사는 퍼셉트론의 개념을 다시 살펴보고 순차 데이터를 처리하기 위해 퍼셉트론을 수정하는 방법을 단계별로 보여줍니다.
  
  
• 00:05:00 이 섹션에서는 비디오에서 순환 신경망(RNN)의 개념과 순차적 데이터를 처리하는 방법에 대해 설명합니다. 특정 시간 단계에서 RNN의 출력은 해당 시간 단계의 입력뿐만 아니라 이전 시간 단계의 메모리에도 의존합니다. 이 메모리는 시퀀스에서 이전에 발생한 이전 기록을 캡처하고 각 이전 시간 단계에서 앞으로 전달됩니다. 이 비디오는 RNN이 내부 메모리(또는 상태)를 사용하여 메모리 개념을 캡처하는 방법과 특정 시간 단계의 출력이 현재 입력과 과거 메모리 모두의 함수인 방법을 설명합니다. 비디오는 또한 이러한 유형의 뉴런이 어떻게 반복 관계로 정의되고 묘사될 수 있는지 설명합니다.
  
  
• 00:10:00 강의의 이 섹션에서 강사는 신경망에서 순환 관계의 개념과 순환 신경망(RNN)의 핵심 아이디어를 형성하는 방법을 설명합니다. RNN은 현재 입력과 이전 상태 모두의 조합으로 기능하는 반복 관계를 적용하여 각 시간 단계에서 업데이트되는 내부 상태 h of t를 유지합니다. 이 함수의 매개변수는 훈련 중에 학습된 일련의 가중치로 표시됩니다. RNN은 시퀀스의 모든 단어와 시점을 처리한 후 출력을 예측합니다. 출력 벡터 y/t는 가중치 행렬을 통해 내부 상태를 전달하고 비선형성을 적용하여 생성됩니다. 강의는 RNN 루프가 자체적으로 어떻게 피드백되고 시간이 지남에 따라 전개될 수 있는지에 대한 시각적 표현을 제공합니다.
  
  
• 00:15:00 이 섹션에서 발표자는 입력에 적용되는 가중치 행렬을 보다 명시적으로 만들기 위해 시간에 따라 RNN을 펼치는 방법을 설명합니다. 가중치 행렬은 모든 개별 시간 단계에서 재사용됩니다. 발표자는 또한 처음부터 RNN을 구현하는 방법의 예를 포함하고 RNN 모델을 통한 정방향 전달을 정의하는 호출 기능을 정의합니다. 발표자는 다양한 애플리케이션에서 RNN의 유용성을 강조하고 염두에 두어야 할 일련의 구체적인 설계 기준에 동기를 부여합니다.
  
  
• 00:20:00 이 섹션에서 발표자는 가변 길이 시퀀스 처리, 장기 종속성 추적, 순서 보존 및 추론, 시퀀스 간 매개 변수 공유를 포함하는 시퀀스 모델링의 설계 문제 및 기준에 대해 논의합니다. 발표자는 언어를 신경망에 입력할 수 있는 숫자 벡터로 표현하기 위한 임베딩의 중요성을 설명합니다. 한 가지 예는 이진 벡터가 단어의 ID를 나타내는 원-핫 임베딩입니다. 화자는 또한 신경망과 같은 기계 학습 모델을 사용하여 임베딩을 학습할 것을 제안합니다. 전반적으로 이러한 개념은 강의 후반부에서 논의될 순환 신경망 및 새로운 변환기 아키텍처의 기초 역할을 합니다.
  
  
• 00:25:00 이 섹션에서는 단어의 의미를 유사한 의미를 가진 유사한 단어가 유사한 임베딩을 가질 수 있도록 보다 유익한 인코딩으로 매핑하는 학습된 임베딩의 개념을 소개합니다. 순환 신경망(RNN)은 가변 시퀀스 길이를 처리하고, 장기 종속성을 캡처 및 모델링하고, 순서 감각을 유지할 수 있으므로 문장의 다음 단어 예측과 같은 시퀀스 모델링 작업에 유용합니다. 시간 알고리즘을 통한 역전파는 RNN 훈련을 위한 수단으로 도입되었으며, 여기에는 각 시간 단계에서 역전파 오류를 포함하고 행렬 곱셈을 수행하여 잠재적으로 계산 문제가 발생할 수 있습니다.
  
  
• 00:30:00 이 섹션에서는 순환 신경 모델에서 기울기 폭발 및 기울기 소실 문제에 대해 논의하고 기울기 소실 문제를 완화하기 위한 세 가지 솔루션을 제시합니다. 기울기 소실 문제로 인해 신경 모델이 장기 종속성보다 단기 종속성을 우선시하여 부정확한 예측이 발생할 수 있습니다. 논의된 세 가지 솔루션은 적절한 활성화 함수를 선택하고, 가중치를 지능적으로 초기화하고, 다양한 게이트를 통해 정보 흐름을 선택적으로 제어할 수 있는 장단기 기억 네트워크(LSTM)와 같은 더 복잡한 순환 단위를 사용하는 것입니다. LSTM 네트워크는 관련 정보를 유지하고 관련 없는 정보를 제거하기 위해 상호 작용하는 여러 게이트를 사용합니다.
  
  
• 00:35:00 비디오의 이 섹션에서 강사는 게이트 구조의 중요성과 기울기 소실 문제에 대한 완화를 포함하여 순환 신경망(RNN) 및 해당 아키텍처의 기본 사항에 대해 논의합니다. 그런 다음 새로운 음악 및 트윗 감정 분류를 생성하기 위해 시퀀스에서 다음 음표를 예측하는 것을 포함하여 RNN을 사용할 수 있는 방법에 대한 구체적인 예를 제공합니다. 강사는 또한 인코딩 병목 현상, 비효율성 및 잠재적인 인코딩 정보 손실과 같은 RNN의 한계를 강조합니다.
  
  
• 00:40:00 이 섹션에서는 긴 시퀀스를 처리하는 순환 신경망(RNN)의 한계, 특히 순환 관계로 인한 병목 현상에 대해 설명합니다. 주의 개념은 이 문제에 대한 잠재적 솔루션으로 도입되어 모델이 입력의 가장 중요한 부분을 식별하고 주의를 기울일 수 있도록 합니다. 어텐션은 특히 트랜스포머 아키텍처의 맥락에서 현대 신경망을 위한 새롭고 강력한 메커니즘으로 설명됩니다. 셀프 어텐션 이면의 직관은 인간이 이미지의 중요한 부분을 식별하고 주목도가 높은 영역에서 특징을 추출하는 능력을 고려하여 개발되었습니다.
  
  
• 00:45:00 이 섹션에서는 검색의 개념과 변환기와 같은 신경망에서 자가 주의와 어떻게 관련되는지 설명합니다. 아이디어는 반복 없이 입력 시퀀스에서 가장 중요한 기능에 주의를 기울이고 일부 위치 개념이 있는 임베딩을 사용하는 것입니다. 이 프로세스에는 동일한 위치 임베딩의 세 가지 고유한 변환인 쿼리, 키 및 값 기능을 추출하는 작업이 포함됩니다. 어텐션 메커니즘은 쿼리와 키 사이의 겹침을 계산하고 추출된 값은 이 계산을 기반으로 하므로 네트워크가 입력의 가장 관련성이 높은 부분을 식별하고 주의를 기울일 수 있습니다.
  
  
• 00:50:00 비디오의 이 섹션에서 강사는 주의 메커니즘이 신경망에서 어떻게 작동하는지 설명합니다. 어텐션 메커니즘은 입력의 다른 영역에 지불할 주의 가중치를 계산합니다. 이는 내적을 사용하여 쿼리와 키 벡터 간의 유사성을 계산하고 크기를 조정하여 달성할 수 있습니다. 그런 다음 softmax 함수를 사용하여 범위가 0과 1 사이가 되도록 각 값을 스쿼시합니다. 결과 매트릭스는 입력 구성 요소 간의 관계를 반영하는 어텐션 가중치입니다. 이 가중치 매트릭스는 주의력이 높은 기능을 추출하는 데 사용되며 여러 개별 주의 헤드를 사용하여 입력의 다양한 측면에 주의를 기울일 수 있습니다. 이 어텐션 메커니즘은 다양한 애플리케이션, 특히 언어 처리에서 사용되는 변환기 아키텍처에서 사용되는 것으로 예시되는 강력한 도구입니다.
  
  
• 00:55:00 이 섹션에서 발표자는 단백질 구조 예측을 위한 Alpha Fold 2 신경망 아키텍처를 사용하는 생물학 및 Vision Transformers를 사용하는 컴퓨터 비전과 같이 언어 처리를 넘어 도메인에 self-attention 메커니즘을 적용할 수 있는 방법에 대해 논의합니다. . 연사는 또한 시퀀스 모델링 작업에 대한 이전 논의와 RNN이 순차적 데이터를 처리하는 데 얼마나 강력한지, self-attention 메커니즘이 반복할 필요 없이 시퀀스를 효과적으로 모델링할 수 있는 방법을 요약합니다. 강의의 남은 시간은 학생들이 과정 웹 사이트에서 랩을 다운로드하고 코드 블록을 실행하여 랩을 완료할 수 있는 소프트웨어 랩 세션에 할애되며 가상 및 대면 오피스 아워에서 도움을 받을 수 있습니다.

[MetaQuotes]

MIT 6.S191: 컨벌루션 신경망

강의 3. MIT 6.S191(2022): Convolutional Neural Networks

이 비디오는 이미지에서 특징을 감지하는 데 사용되는 일종의 기계 학습 알고리즘인 컨볼루션 신경망을 소개합니다. 동영상에서는 더 적은 수의 기능을 사용하여 네트워크가 이미지를 더 정확하게 분류할 수 있다고 설명합니다. 비디오는 또한 cnn을 사용하여 이미지에서 여러 개체를 감지하고 위치를 파악하는 방법에 대해서도 설명합니다.

• 00:00:00 이 비디오에서 Alexander Amini는 딥 러닝이 컴퓨터 비전과 애플리케이션을 어떻게 혁신했는지, 그리고 한 가지 예가 데이터 안면 인식에 대해 설명합니다.
  
  
• 00:05:00 이 섹션에서는 컴퓨터 비전을 사용하여 이미지를 인식하고 분류하는 방법에 대해 설명합니다. 또한 이미지에서 특징을 감지하는 방법과 특징을 사용하여 이미지를 분류하는 방법에 대해서도 설명합니다.
  
  
• 00:10:00 이 부분에서는 컨벌루션 신경망을 사용하여 이미지의 특징을 감지하는 방법에 대해 설명합니다. 영상은 이미지를 평면화하면 공간 구조가 손실되어 네트워크가 기능을 학습하기가 더 어려워진다고 설명합니다. 비디오는 또한 가중치 패치를 사용하여 네트워크가 공간 구조를 보존하고 기능을 더 쉽게 학습할 수 있다고 설명합니다.
  
  
• 00:15:00 컨벌루션 신경망은 이미지에서 특징을 감지하는 데 사용되는 일종의 기계 학습 알고리즘입니다. 이 알고리즘은 이미지에 작은 패치를 밀어 넣고 패치에 있는 기능을 감지하는 방식으로 작동합니다. 그런 다음 일련의 예제에 대해 네트워크를 훈련하여 패치의 가중치를 결정합니다.
  
  
• 00:20:00 컨벌루션 신경망은 이미지에서 특징을 추출하는 데 사용할 수 있는 일종의 기계 학습 알고리즘입니다. 컨볼루션의 목표는 두 개의 이미지를 입력으로 받아 픽셀 간의 공간 관계를 유지하는 세 번째 이미지를 출력하는 것입니다.
  
  
• 00:25:00 이 비디오에서 발표자는 컨볼루션 신경망이 신경망에서 어떻게 구현되고 어떻게 구성되는지 설명합니다. 그는 또한 컨볼루션 신경망의 세 가지 주요 작업(컨볼루션, 비선형 및 풀링)이 작동하는 방식을 설명합니다.
  
  
• 00:30:00 이 비디오는 i번째 출력에서 다른 노드에 연결되는 기계 학습 파이프라인의 노드인 컨벌루션 신경망을 소개합니다. 컨벌루션 계층은 계층 출력의 공간 배열을 정의하는 매개변수로 정의됩니다. 컨볼루션 레이어의 목적은 한 컨볼루션 레이어에서 다음 레이어로 계층적 기능을 학습하는 것입니다. 이는 기능 추출, 공간 축소 및 최대 풀링의 세 단계를 동시에 쌓아서 수행됩니다. 마지막으로 비디오는 첫 번째 종단간 컨벌루션 신경망의 코드를 보여줍니다.
  
  
• 00:35:00 Alexander Amini가 이미지 분류 작업에 컨벌루션 신경망을 사용하는 방법에 대해 설명합니다. 그는 더 많은 수의 특징을 사용함으로써 자동차의 축소된 이미지를 더 정확하게 택시로 분류할 수 있다고 설명합니다. 또한 이미지의 여러 위치에 있는 경우에도 cnn을 사용하여 이미지의 여러 개체를 감지하고 위치를 파악하는 방법에 대해 설명합니다.
  
  
• 00:40:00 MIT 6.S191: Convolutional Neural Networks 과정에서는 다른 방법보다 훨씬 느리고 깨지기 쉬운 개체 감지를 위한 휴리스틱에 대해 설명합니다. 이러한 문제에 대한 해결책으로 단순한 휴리스틱에 의존하는 대신 영역 학습을 시도하는 더 빠른 rcnn 방법이 제안됩니다.
  
  
• 00:45:00 이 비디오에서 Alexander Amini는 컨벌루션 신경망, 그 기원 및 응용에 대해 설명합니다. 또한 다양한 작업과 분야에 대한 cnns의 영향을 다룹니다.