이 비디오는 고유값과 고유벡터의 개념과 선형 변환을 계산하는 데 어떻게 사용할 수 있는지 설명합니다. 또한 고유 벡터를 사용하여 시스템에서 선형 방정식을 찾는 방법을 보여줍니다.
00:00:00 이 비디오에서 저자는 정사각형 행렬에 대한 고유 벡터 및 고유 값의 개념을 설명합니다. 또한 특정 문제에 대한 고유 벡터와 고유 값의 유용성에 대해서도 논의합니다. 마지막으로 저자는 양의 정부호 대칭 행렬과 그 중요성에 대해 설명합니다.
00:05:00 동영상에서는 고유값과 고유벡터의 개념과 선형 변환을 계산하는 데 사용할 수 있는 방법에 대해 설명합니다. 또한 고유 벡터를 사용하여 시스템에서 선형 방정식을 찾는 방법을 보여줍니다.
00:10:00 이 동영상은 고유값과 고유벡터를 사용하여 차분 방정식을 빠르게 푸는 방법을 설명합니다. 고유 벡터의 첫 번째 용도는 벡터 방정식의 차이를 해결할 수 있는 고유 벡터가 발명된 기본 용도를 풀 수 있다는 것입니다. 또한 비디오는 유사한 행렬이 동일한 고유값을 갖는 방법을 설명합니다.
00:15:00 동영상은 고유값이 계산되는 방법과 고유벡터와 어떻게 관련되는지 설명합니다. 또한 행렬을 곱할 때 고유값이 보존되는 방법에 대해서도 설명합니다.
00:20:00 이 비디오에서 발표자는 고유값과 고유벡터의 개념에 대해 논의하고 이들이 동일하지 않을 수 있는 이유를 설명합니다. 그런 다음 동일한 고유값을 가진 두 행렬이 고유벡터 측면에서 어떻게 여전히 다를 수 있는지에 대해 논의합니다.
00:25:00 이 비디오에서 저자는 고유값과 고유벡터의 특별한 점을 논의하기 위해 대칭 행렬을 전문으로 합니다. 그는 반대칭 행렬이 가상의 고유값을 갖는다고 주장합니다.
00:30:00 이 비디오에서는 행렬의 고유값과 고유벡터에 대해 설명합니다. 계산이 올바르게 수행되었는지 확인하기 위해 두 가지 빠른 확인이 수행된 다음 행렬의 추적이 표시됩니다. 마지막으로 대칭 및 양의 정부호 행렬에 대해 설명합니다.
00:35:00 비디오는 대칭 행렬의 고유값과 고유벡터에 대해 설명합니다. 고유값과 고유벡터는 행렬의 구조를 이해하는 데 중요하며 고유값이 그대로 유지되는지 확인할 수 있습니다. 또한 비디오에서는 대각 행렬을 얻는 방법에 대해 설명합니다.
00:40:00 이 영상에서 저자는 행렬을 대각화하여 고유값을 구하고, 고유벡터가 유사하도록 M을 구합니다. 그런 다음 이 정보를 행렬 형식으로 작성하고 올바른지 확인합니다.
00:45:00 이 동영상에서는 고유값과 고유벡터의 개념과 이들이 어떻게 관련되어 있는지 설명합니다. 계속해서 대칭 행렬이 어떻게 다른 고유벡터 및 고유값 표현을 가질 수 있는지, 그리고 스펙트럼 정리를 사용하여 이러한 표현을 계산하는 방법을 설명합니다.
이 비디오에서 발표자는 고유값, 행렬식 및 피벗을 포함하여 양의 정부호 행렬에 대한 테스트를 제공하는 선형 대수학의 이전 강의에서 하이라이트를 요약합니다. 그런 다음 화자는 양의 정부호 행렬과 부정부호 행렬 사이의 관계, 고유값과 결정자에 대한 연결, 행렬에 대한 벡터 X의 에너지를 계산하는 방법을 설명합니다. 연사는 또한 딥 러닝, 신경망, 기계 학습 및 에너지 최소화의 개념에 대해 논의합니다. 그들은 볼록 함수의 개념을 다루고 그것이 딥 러닝에서 어떻게 사용될 수 있는지 설명합니다. 마지막으로 연사는 양의 정부호 및 준정부호 행렬에 대한 연습을 소개하고 특이값 분해에 대한 다음 주제를 간략하게 언급합니다.
00:00:00 이 섹션에서 발표자는 고유값, 전치 행렬식 및 피벗을 포함하여 양의 정부호 행렬에 대한 테스트를 제공하는 선형 대수학의 이전 5개 강의의 하이라이트를 요약합니다. 그는 양의 정부호 행렬이 대칭행렬 중 가장 우수하고 양의 고유값을 가지지만 고유값 이외의 추가 테스트가 있다고 설명합니다. 화자는 2x2 행렬이 양의 고유값, 양의 결정 요인, 양의 피벗을 갖는지 또는 특정 방식으로 인수분해할 수 있는지 질문하여 2x2 행렬이 양의 정부호인지 확인하는 방법을 보여줍니다.
00:05:00 이 섹션에서 화자는 양의 한정 및 부정 행렬과 고유값 및 행렬식과의 연결에 대해 설명합니다. 행렬의 행렬식은 고유값의 곱이므로 고유값에 연결되며 행렬식이 음수이면 적어도 하나의 음수 고유값이 있습니다. 부정 행렬은 대각선 항목을 조정하여 양의 정부호로 만들 수 있으며 선행 결정자(왼쪽 상단 모서리에 있는 부분 행렬의 결정자)는 양의 정부호를 보장하기 위한 테스트를 통과해야 합니다. 화자는 또한 피벗을 행렬식과 소거점에 연결합니다. 궁극적으로 화자는 양의 정부호 행렬을 에너지 테스트를 통과하는 행렬로 정의합니다.
00:10:00 이 섹션에서 발표자는 행렬에 대한 벡터 X의 에너지를 계산하는 방법을 보여주고 양의 정부호 행렬의 에너지가 0보다 크다는 것을 보여줍니다. 이 경우 에너지는 트레이닝 데이터와 얻은 수의 차이를 최소화하기 위해 딥 러닝에서 사용되는 손실 함수가 될 수 있는 순수한 2차 함수입니다. 행렬 3과 6의 대각선 수는 대각선 조각을 제공하고 음수가 될 수 있는 교차 항은 8 X Y를 제공합니다.
00:15:00 이 섹션에서 연사는 딥 러닝, 신경망, 기계 학습 및 에너지 최소화 간의 관계를 설명합니다. 화자는 그릇의 비유를 사용하여 신경망이 문제에 대한 최소 2차 방정식을 찾는 방법과 비선형 항이 문제를 더 복잡하게 만드는 방법을 시각적으로 보여줍니다. 그런 다음 그들은 100,000개 이상의 변수를 포함할 수 있는 복잡한 함수를 최소화해야 하기 때문에 대규모 문제에 대한 기계 학습이 어떻게 계산하는 데 일주일 이상 걸릴 수 있는지 설명합니다. 연사는 또한 볼록 함수의 개념을 다루고 딥 러닝에서 볼록 함수를 사용할 수 있는 방법을 설명합니다.
00:20:00 이 섹션에서는 연사가 딥 러닝, 신경망 및 기계 학습에 사용되는 기본 알고리즘인 경사 하강법의 개념에 대해 설명합니다. 알고리즘은 표면의 초기 지점에서 시작하여 함수의 도함수를 계산하여 가장 가파른 경사 또는 기울기의 방향을 결정한 다음 이 경로를 따라 최소값에 도달하거나 위쪽으로 향합니다. 이 알고리즘은 원하는 수준의 정확도에 도달할 때까지 각 단계에서 기울기의 재계산을 포함합니다.
00:25:00 이 섹션에서는 기계 학습에서 최적화를 위해 일반적으로 사용되는 경사 하강법의 개념을 설명합니다. 많은 수의 변수에 대한 2차 도함수를 계산하는 것은 복잡할 수 있으므로 일반적으로 최적화를 위해 1차 도함수만 계산한다고 언급됩니다. 그러나 경사하강법은 좁은 계곡을 내려갈 때와 같이 한계가 있습니다. 양의 정부호 행렬은 최적화를 위해 그릇과 같은 모양을 제공하므로 중요하지만 고유값이 멀리 떨어져 있으면 문제가 발생할 수 있습니다. 마지막으로 대화는 숙제로 이동합니다.
00:30:00 이 섹션에서 화자는 양의 정부호 및 준정부호 행렬에 대한 연습을 소개합니다. 화자는 양의 정부호 행렬 S와 양의 정부호 행렬 T의 예를 제공하고 이들의 덧셈 S + T가 양의 정부호인지 묻습니다. 화자는 에너지 테스트를 사용하여 이 질문에 답하고 방정식을 두 부분으로 분리하여 실제로 양의 정부호임을 보여줍니다. 연사는 또한 첫 번째 테스트를 사용하여 죄의 역의 양성에 대해 논의합니다. 발표자는 매트릭스가 실제 고유값을 갖고 추가 질문을 받을 수 있으려면 먼저 대칭이어야 한다고 말합니다.
00:35:00 이 섹션에서 화자는 양의 정부호 행렬의 개념에 대해 논의하고 준정부호 행렬의 개념을 소개합니다. 양의 정부호 행렬은 모든 고유값이 양수인 대칭 행렬입니다. 스피커는 양의 정부호 행렬에서 직교 행렬과 조옮김이 어떻게 대칭 행렬을 제공하는지 보여줍니다. 그런 다음 유사한 행렬이 동일한 고유값을 갖는 방법과 이 새로운 대칭 행렬이 실제로 양의 정부호임을 설명합니다. 그런 다음 화자는 0보다 크거나 같은 고유값을 갖는 준정부호 행렬의 개념을 소개합니다. 그들은 준정호 행렬이 어떻게 0의 결정자를 갖고 하나의 0 고유값을 가질 수 있는지 설명하지만 추적 값은 양수를 제공합니다.
00:40:00 이 섹션에서 양의 정부호 행렬의 개념은 양의 정부호 행렬의 가장자리에 있는 양의 준정부호 행렬을 포함하도록 확장됩니다. 모두 1인 행렬의 고유값은 3, 0, 0으로 계산되어 양의 준정부호 행렬이 됩니다. 0보다 크거나 같은 고유값 및 에너지에 대한 테스트는 동일하게 유지되지만 이제 종속 열이 허용됩니다. 행렬은 대칭이어야 하며 순위가 1이면 양의 정부호가 될 수 없지만 고유값이 양수이면 양의 준정부호입니다.
00:45:00 이 섹션에서 화자는 다음 섹션의 주제가 특이값 분해(SVD)가 될 것이라고 간략하게 언급합니다. 그들은 또한 이제 양의 정부호 및 준정부호 행렬을 다루었다는 점에 주목하여 선형 대수학의 고급 주제로 이동하고 있음을 나타냅니다.
이 비디오는 행렬을 3개의 행렬로 분해하는 데 사용되는 SVD(Singular Value Decomposition)의 개념을 설명합니다. 여기서 가운데 행렬은 대각선이고 특이값을 포함합니다. SVD는 A, 시그마 및 V 간의 관계를 이해하는 데 도움이 되며 궁극적으로 방정식을 푸는 데 도움이 됩니다. 이 동영상에서는 SVD에서 직교 벡터, 고유 벡터 및 고유값의 중요성에 대해 설명하고 A 및 V 행렬의 직교성을 강조합니다. 비디오는 또한 SVD 프로세스의 그래픽 표현과 매트릭스의 극점 분해를 설명합니다. 마지막으로 비디오는 SVD를 사용하여 큰 데이터 매트릭스의 가장 중요한 부분을 추출하는 프로세스에 대해 설명합니다.
00:00:00 이 섹션에서 강사는 고유값과 유사하지만 직사각형 행렬에 적용할 수 있는 특이값 분해(SVD)의 개념에 대해 설명합니다. 고유 벡터는 복소수이거나 직교하지 않기 때문에 고유값은 직사각형 행렬에 적합하지 않습니다. SVD는 각각 고유 벡터와 고유 값 대신 특이 벡터와 특이 값의 두 세트를 도입합니다. SVD의 핵심은 전치 a가 정사각형이고 직사각형 행렬의 곱을 나타내는 큰 행렬이라는 것입니다. SVD를 수행하는 첫 번째 단계는 모든 행렬이 u 곱하기 시그마 곱하기 V 전치로 분해될 수 있음을 보여주는 것입니다.
00:05:00 이 섹션에서 발표자는 행렬 A 전치 A의 인수분해에 대해 논의하고 고유벡터 및 고유값의 개념을 소개합니다. 행렬에는 제곱근을 계산하는 데 사용되는 양의 정부호 고유값이 있습니다. 이 행렬의 고유 벡터는 정사각형, 대칭 및 양의 정부호입니다. 결과 행렬은 고유값은 같지만 고유벡터는 다릅니다. 그런 다음 화자는 A의 분해에 대해 이야기합니다. 여기서 우리는 직교 벡터 집합 U를 얻기 위해 A로 곱할 수 있는 직교 벡터 집합 V를 찾고 있습니다. 이 벡터는 특이값 분해(SVD)를 계산하는 데 사용됩니다. ). SVD의 목표는 A를 3개의 행렬로 분해하는 것입니다. 여기서 가운데 행렬은 대각선이고 A의 특이값을 포함합니다.
00:10:00 이 섹션에서는 출력 공간에서 V의 직교 속성 개념을 선형 대수학의 큰 그림에서 탐구합니다. 여기서 공간은 열 공간, 널 공간 등으로 구분됩니다. V에 a를 곱하면 결과 용도도 직교하므로 V를 특별하게 만드는 것으로 나타났습니다. 방정식의 행렬 형태가 제시되고 전치 a를 보면 직교 및 직교 사용을 찾는 문제가 단순화될 수 있음이 밝혀졌습니다. 전치 a는 대칭적이고 양의 정부호이며 V의 속성을 알려주는 대각선 형태를 갖는다고 결론지었습니다.
00:15:00 이 섹션에서 발표자는 SVD(Singular Value Decomposition)의 개념에 대해 설명합니다. SVD의 V는 A 전치의 고유 벡터입니다. 시그마 전치 시그마는 A 전치 A의 고유 값입니다. SVD는 이중 또는 삼중 고유 값에 대한 고유 벡터를 이해하는 마지막 단계를 수행하여 설정됩니다. SVD는 A, 시그마 및 V 간의 관계를 이해하는 데 도움이 되며 궁극적으로 A 곱하기 A 전치 곱하기 X = B와 같은 방정식을 푸는 데 도움이 됩니다.
00:20:00 이 섹션에서 발표자는 SVD(Singular Value Decomposition) 프로세스의 마지막 단계를 설명합니다. 이는 선택된 기저 벡터 U가 직교임을 증명합니다. 이를 위해 화자는 U1과 U2의 내적이 0임을 보여줍니다. U1은 AV1/시그마1이고 U2는 AV2/시그마2이므로 분수의 분모는 취소되어 V1 전치 곱하기 행렬 곱하기 V2, 즉 Sigma2 전치 V2가 됩니다. V2는 A 전치 A의 고유 벡터이므로 U1과 U2 사이의 내적은 0이므로 기본 벡터 U가 직교임을 증명합니다.
00:25:00 이 섹션에서는 SVD(Singular Value Decomposition)에서 A 및 V 행렬의 직교성과 고유 벡터와의 관계에 대해 설명합니다. A 및 V 행렬은 각각 열 공간과 행 공간에서 서로 직교하는 것으로 표시됩니다. 그런 다음 연사는 데이터 매트릭스에서 이 관계의 발견 및 중요성에 대한 역사에 대해 논의합니다. 발표자는 계산 비용이 많이 들고 반올림 오류에 취약할 수 있으므로 A 전치 A를 사용하여 SVD를 계산하지 않도록 주의합니다. 마지막으로 화자는 다이어그램을 사용하여 SVD 요소가 일련의 회전 및 확장으로 생각할 수 있는 방법을 설명합니다.
00:30:00 이 섹션에서는 SVD(Singular Value Decomposition)의 개념을 프로세스의 그래픽 표현을 통해 설명합니다. 비디오는 직교 행렬이 단위 벡터를 어떻게 회전하는지, Sigma가 어떻게 확장하여 타원을 만드는지 보여줍니다. 마지막으로 타원을 회전시키는 직교 행렬 U가 적용됩니다. 행렬이 양의 정부호이고 대칭인 경우 U는 V와 동일하고 원래 입력으로 제공된 S는 A 출력과 동일합니다. 동영상에서는 인수분해의 매개변수를 계산하는 방법도 설명합니다.
00:35:00 이 섹션에서 화자는 2x2 예를 사용하여 SVD(Singular Value Decomposition)에서 왼쪽과 오른쪽 사이의 숫자 일치를 설명합니다. SVD의 회전에는 2개의 매개변수가 필요한 반면 스트레칭에는 2개의 매개변수가 필요하므로 SVD의 4개 숫자와 일치하는 총 4개의 매개변수가 필요합니다. 또한 발표자는 3x3 행렬의 SVD 계산에 대해 이야기하고 3D 공간에서의 회전에는 롤, 피치 및 요의 세 가지 매개변수가 필요하다고 제안합니다. 마지막으로 화자는 텍스트에 제시된 SVD의 예가 특정 행렬에 대한 것이라고 언급하고 고유값과 특이값에 대한 몇 가지 사실을 소개합니다.
00:40:00 이 섹션에서 화자는 SVD 곱의 결정 요인이 특이값의 곱과 같다고 설명합니다. 사용된 예는 시그마의 곱이 행렬식과 동일함을 보여줍니다. 그러나 SVD의 컴퓨팅 예제는 인수의 제곱근을 취해야 하므로 시간이 더 걸립니다. 연사는 각각 0이 아닌 값으로 구성되고 null 공간 항목을 설명하는 더 작은 SVD 모양과 더 큰 SVD 모양을 포함하여 SVD의 가장 중요한 부분이 다음 세션에서 사용될 것이라고 강조합니다.
00:45:00 이 섹션에서 발표자는 행렬의 극 분해를 소개합니다. 이 분해는 모든 행렬을 대칭 행렬 곱하기 직교 행렬로 분해합니다. 이것은 공학 및 기하학에서 유명한 인수 분해이며 SVD에서 빠르게 얻을 수 있습니다. 항등식을 입력하고 항목을 약간 이동하면 SVD에서 S와 Q를 판독하여 매트릭스의 이러한 분해를 복구할 수 있습니다. 기계 공학 언어에서는 모든 변형이 대칭 확장 및 내부 비틀림으로 설명될 수 있음을 알려줍니다. .
00:50:00 이 섹션에서 발표자는 데이터 과학이 수행해야 하는 큰 데이터 매트릭스의 가장 중요한 부분을 추출하는 과정을 설명합니다. 매트릭스의 일부는 노이즈이고 일부는 신호이기 때문입니다. 신호의 가장 중요한 부분을 찾기 위해 화자는 u 시그마 Vtranspose를 검사하여 가장 중요한 숫자인 시그마 1을 선택합니다. 이 숫자는 열 및 행과 함께 행렬의 가장 중요한 부분을 형성합니다. 가장 실질적인 랭크 1, 따라서 분산이 가장 높은 행렬의 일부입니다. 다음 단계는 데이터를 보다 완벽하게 이해하기 위해 이 세 가지 요소를 계산하는 것입니다.
이 YouTube 동영상에서 강사는 데이터 매트릭스를 이해하고 의미 있는 정보를 추출하는 데 사용되는 주성분 분석(PCA)의 개념을 설명합니다. 가장 중요한 정보를 담고 있는 행렬의 가장 큰 k개의 특이값의 중요성을 강조하고, 특이값 분해의 처음 k개의 조각이 랭크 k 행렬에 대한 최상의 근사치를 제공한다는 Eckart-Young 정리를 설명합니다. , 소개합니다. 발표자는 또한 l2, l1 및 무한대 규범을 포함하여 벡터 및 행렬에 대한 다양한 유형의 규범에 대해 논의합니다. A에 가장 가까운 랭크 k 행렬의 개념과 함께 Netflix 경쟁 및 MRI 스캔에서 Frobenius 놈의 중요성이 강조됩니다. 발표자는 또한 원본 행렬의 속성을 보존하는 직교 행렬의 사용에 대해 논의하고 개념을 소개합니다. SVD(Singular Value Decomposition)와 PCA와의 관계 마지막으로, 주어진 데이터 세트에 대한 최적의 나이 대 키 비율을 찾는 데 SVD 방법을 사용하는 것과 함께 직사각형 행렬 A와 그 전치를 포함하는 선형 방정식 시스템을 푸는 것의 중요성에 대해 논의합니다.
00:00:00 이 섹션에서 강사는 데이터 매트릭스를 이해하는 데 사용되는 도구인 주성분 분석(PCA)의 개념을 설명합니다. 그는 데이터를 모두 복사하는 것보다 데이터에서 의미 있는 정보를 추출하는 것의 중요성을 강조합니다. 그는 행렬의 가장 큰 k 특이값이 가장 중요한 사실을 포함하고 있으며 K는 랭크 K 행렬에 대한 최상의 근사치라고 설명합니다. 특이값 분해의 첫 번째 K 조각을 사용하는 것이 랭크 K 행렬에 대한 최상의 근사치라는 Eckert-Young 정리를 소개하고 강사는 행렬 노름의 다양한 측정을 설명합니다.
00:05:00 이 섹션에서 발표자는 벡터 및 행렬에 대한 다양한 유형의 규범에 대해 설명합니다. l2 놈 또는 가장 큰 특이값은 행렬의 중요한 놈입니다. 발표자는 l1 놈을 사용하여 함수를 최소화할 때 위닝 벡터가 희박하거나 대부분 0 성분으로 구성되어 신호 처리 및 감지에 유용하다고 설명합니다. l1 규범은 기본 추구라고도 알려져 있으며 우승 벡터의 구성 요소를 해석할 수 있기 때문에 중요합니다. l2와 l1 규범을 비교하고 화자는 무한대 규범도 소개합니다.
00:10:00 이 섹션에서 화자는 세 가지 중요한 행렬 규범을 설명합니다. 첫 번째는 벡터의 길이와 유사하고 삼각형 부등식을 만족시키는 두 놈입니다. 두 번째는 행렬의 항목을 긴 벡터처럼 취급하고 해당 제곱합의 제곱근을 취하는 Frobenius 놈입니다. 세 번째는 행렬의 특이값의 합인 핵 놈입니다. 이러한 규범은 행렬에 가장 가까운 랭크 K 근사값을 첫 번째 K 특이값에서 찾을 수 있다는 Eckart-Young 문을 모두 충족하기 때문에 중요합니다.
00:15:00 이 섹션에서 발표자는 행렬의 L2 및 Frobenius 노름이 특이값에만 의존하는 방식에 대해 설명합니다. Frobenius 규범은 참가자들이 항목이 누락된 대규모 영화 순위 매트릭스를 완료해야 하는 Netflix 경쟁에서 사용되었으며 매트릭스의 최고의 핵 규범 완성을 위한 올바른 규범으로 판명되었습니다. 이 매트릭스 완성 방법은 현재 누락된 데이터가 있는 MRI 스캔에 사용되고 있으며 불완전한 데이터로도 우수한 사진을 생성할 수 있습니다.
00:20:00 이 섹션에서 발표자는 A에 가장 가까운 랭크 k 행렬의 개념에 대해 설명합니다. 여기에는 MRI가 충분히 길게 보이지 않는 위치에서 보았을 것을 다음을 사용하여 채워서 행렬을 완성하는 작업이 포함됩니다. 핵 규범. 주어진 예는 순위 4 행렬이며 순위 2의 최상의 근사치를 찾기 위해 화자는 4와 3을 가장 큰 두 값으로 선택합니다. 다른 행렬 B는 노름에 의존하기 때문에 명확하지 않지만 이 선택된 행렬보다 A에서 더 멀리 떨어져 있을 것입니다. 정리의 요점은 A에 가장 가까운 랭크 k 행렬을 찾는 것이 쉽지 않고 증명이 필요하다는 것입니다.
00:25:00 이 섹션에서 발표자는 대각선 행렬이 보이는 것처럼 특별하지 않은 방법에 대해 설명하고 주어진 행렬의 양쪽에서 곱하는 데 사용할 수 있는 직교 행렬의 개념을 소개합니다. 발표자는 직교 행렬을 곱하면 행렬의 특이값이 어떻게 되는지 질문을 던지고 특이값은 변하지 않을 것이라고 설명합니다. 화자는 또한 벡터의 노름이 직교행렬에 의해 변경되지 않는다고 설명하고, 직교행렬은 원래 행렬의 속성을 보존한다는 점에서 대각행렬만큼 좋다는 결론을 내립니다.
00:30:00 이 섹션에서는 행렬 QA의 맥락에서 SVD(Singular Value Decomposition)의 개념을 설명했습니다. 행렬 QA의 SVD는 오른쪽에 있는 대각 행렬 Sigma로 구성됩니다. V는 시그마의 오른쪽에서 전치합니다. Q u는 직교 행렬입니다. 이 섹션에서는 주성분 분석(PCA)의 개념을 소개하고 데이터 포인트에서 의미 있는 인사이트를 추출하는 방법을 설명했습니다. PCA의 첫 번째 단계는 각 구성 요소에 대한 데이터 포인트의 평균 값을 빼 평균 0을 얻는 것입니다. 이 섹션에서는 결과 값을 사용하여 구성 요소 간의 선형 관계를 찾는 방법에 대해 자세히 설명했습니다.
00:35:00 이 섹션에서 발표자는 주성분 분석(PCA)과 최소 제곱과의 차이점에 대해 설명합니다. 최소 제곱은 점과 선 사이의 오차를 측정하는 반면 PCA는 선에서 점의 수직 거리를 측정하고 제곱을 합산하여 최소화합니다. 따라서 이 문제에 대한 해결책은 일반 선형 대수학에서 발견되는 방정식 대신 SVD(Singular Value Decomposition) 시그마를 포함합니다. 화자는 PCA에서 최상의 선형 관계를 찾는 문제와 최소 제곱 솔루션을 찾는 문제를 구별합니다. 전자는 비선형 데이터를 선형 방식으로 모델링하는 것을 목표로 하기 때문입니다.
00:40:00 이 섹션에서 발표자는 직교 행렬 A와 그 조옮김을 포함하는 선형 방정식 시스템을 푸는 것의 중요성에 대해 논의합니다. 이것은 1806년의 근본적인 응용이지만 통계학자들이 오랫동안 적용해 온 주성분 분석(PCA)과 동일하지 않다고 발표자는 지적합니다. 그는 평균과 분산을 포함하는 공분산 행렬 또는 샘플 공분산 행렬이 이러한 통계적 응용에서 큰 역할을 한다는 점에 주목합니다. 특히 샘플 공분산 행렬은 샘플에서 계산되고 데이터 포인트 수로 정규화되며 정확히 기차 aa 전치입니다.
00:45:00 이 섹션에서 발표자는 주어진 데이터 세트에 대해 연령과 키의 최적 비율을 찾는 것과 관련된 문제를 소개합니다. 목표는 주어진 데이터와 솔루션 사이의 거리를 최소화하는 것입니다. 화자는 답이 올바른 방향을 가리키는 벡터를 찾는 데 있다고 제안합니다. 이는 양의 정부호 대칭 행렬의 주성분이 될 수 있습니다. 이 문제에 대한 해결책으로 SVD 방법이 제안됩니다.
이 강의에서는 L1 및 최대 놈을 포함한 벡터 및 행렬의 놈의 개념과 압축 감지 및 신호 처리와 같은 분야에서의 응용에 대해 논의합니다. 강의는 또한 노름에서 삼각형 부등식의 중요성, s-노름의 모양, 벡터와 행렬의 L2 노름 사이의 연결을 다룹니다. 또한 신경망 최적화를 위한 추측으로 남아있는 프로베니우스 규범과 핵 규범을 탐구하고 학생들과 함께 가르치고 배우는 것의 중요성을 강조합니다.
00:00:00 이 섹션에서 발표자는 사람들이 동전 던지기의 결과를 추측하는 방법에 대해 MIT 슬로안 학교 교수진이 한 흥미로운 관찰에 대해 논의합니다. 그는 이론적으로 최적의 전략은 지속적으로 머리를 추측하는 것이지만, 머리를 얻을 확률이 훨씬 높음에도 불구하고 사람과 동물은 약 1/4 시간 동안 꼬리를 추측하게 된다고 설명합니다. 그 이유는 화자가 설명을 들을 충분한 시간이 없었기 때문에 설명되지 않습니다. 연사는 또한 규범의 개념과 벡터, 행렬, 텐서 및 함수의 크기를 측정할 때 규범의 중요성을 간략하게 소개합니다.
00:05:00 이 섹션에서는 벡터와 행렬의 규범 개념에 대해 설명합니다. 강사는 압축 감지 및 신호 처리 분야에서 필수적인 L1 놈 및 최대 놈과 같은 다양한 유형의 놈을 소개합니다. 그는 P-norm이 P 거듭제곱과 여기서 P까지의 P 거듭제곱과 같다고 설명합니다. 여기서 P 거듭제곱과 P 근을 취하면 V의 규범과 비교하여 2의 인수를 갖는 2 V의 규범이 생성됩니다. 또한 0 0이 아닌 구성 요소의 수가 행렬과 벡터의 희소성을 측정하는 규범이 도입되었습니다. 그러나 같은 수의 0이 아닌 성분이 동일한 노름을 갖는 것은 규칙을 위반하기 때문에 노름이 아니며, 적절한 노름이 존재하는 1과 무한대 사이의 수학 논문이 논의됩니다.
00:10:00 이 섹션에서 강사는 벡터와 행렬의 규범에 대해 논의합니다. 노름의 단위 공은 방정식 v1 제곱 더하기 v2 제곱이 1인 원입니다. l1 규범의 단위 공은 v1 더하기 v2의 직선 그래프가 양의 사분면에 있는 것과 같은 다이아몬드입니다. 최대 노름에 대한 단위 공도 점 0, +/- 1 및 +/- i가 최대로 표시되며 경계의 나머지 부분은 파악하는 데 약간의 생각이 필요합니다. 숫자 p가 변함에 따라 노름은 다이아몬드로 시작하여 p가 2일 때 원으로 부풀어 오르고 p가 무한대일 때 정사각형이 됩니다. 마지막으로 0 노름은 포함되지 않으며 0이 아닌 점 하나만 축에 있습니다.
00:15:00 이 섹션에서 강사는 L1 또는 맨해튼 노름, L2 또는 유클리드 노름, 양의 정부호 대칭 행렬의 노름인 s-노름과 같은 다양한 유형의 노름에 대해 설명합니다. 강사는 p가 1보다 작은 Lp 노름을 사용할 때와 같은 특정 경우에 깨지는 노름의 삼각형 부등식의 중요성에 주목합니다. 또한, s-norm은 규범의 규칙을 위반하는 특정 규범이 갖지 않는 볼록성 속성을 만족하는 특정 모양을 갖는 것으로 나타났습니다.
00:20:00 이 섹션에서 강사는 벡터와 행렬에 적용할 수 있는 다양한 유형의 규범에 대해 설명합니다. L2 놈은 행렬 S가 항등 행렬일 때 사용되지만 다른 행렬 S를 사용하면 놈의 모양이 바뀝니다. 일반적인 경우는 타원으로 표시되는 가중 표준을 생성하는 S = 3입니다. 모든 벡터 놈은 P 값이 다른 L2 놈의 변형입니다. 강사는 또한 각각의 L1 및 L2 놈과 함께 기저 추적 문제 및 릿지 회귀에 대해 간단히 언급합니다.
00:25:00 이 섹션에서 강사는 최적화의 규범, 특히 L1 및 L2 규범의 개념에 대해 논의합니다. 강사는 L2 놈이 가장 작은 선상에서 L1 놈이 가장 작은 점을 찾는 예를 들어 L1 놈이 가장 작은 점이 승자이고 0이 가장 많아 희소 벡터라고 강조한다. 이것은 더 높은 차원으로 확장되고 L1 규범을 특별하게 만드는 중요한 사실입니다. 전반적으로 강의는 신경망과 일반적인 삶을 최적화하는 규범의 뉘앙스와 적용에 대해 탐구합니다.
00:30:00 이 섹션에서 발표자는 L1 표준 승자에 대해 논의하고 두 번째 구성 요소보다 0이 아닌 값을 증가시키기 때문에 라인 위로 올라가는 것이 권장되지 않는 방법에 대해 설명합니다. 그들은 또한 행렬의 2노름 개념과 X의 2노름에 대한 AX의 2노름의 최대 비율인 확대 요인을 통해 벡터의 2노름에 연결하는 방법을 소개합니다. 행렬 노름 모든 X에 대한 최대 폭발 계수로 정의됩니다.
00:35:00 이 섹션에서 강사는 행렬의 노름과 행렬의 좋은 노름을 찾는 방법에 대해 설명합니다. 그는 두 개의 노름으로 얻은 비율의 최대값을 시그마 1이라고 설명합니다. 이 값은 실제로 모든 것을 찾지 않고도 특이 벡터가 무엇인지 결정하는 데 사용할 수 있습니다. 또한 해당 벡터 노름의 확대 요인을 최대화하여 다른 매트릭스 노름을 얻을 수 있습니다. 특이 벡터는 규범을 찾는 방법이므로 대칭이 아닌 행렬을 처리할 때 고유 벡터가 작동하지 않을 수 있습니다.
00:40:00 이 섹션에서 강사는 대문자 F로 표시되고 모든 행렬 요소의 제곱합의 제곱근에 해당하는 행렬의 Frobenius 노름에 대해 설명합니다. 이 노름은 SVD 특이값의 제곱인 시그마와 관련이 있습니다. 또한 강의에서는 직교 행렬과 Frobenius 놈이 어떻게 연결되어 있는지, 핵 놈이 딥러닝 최적화 알고리즘과 어떻게 관련되어 있는지 탐구합니다.
00:45:00 이 섹션에서 강사는 모델 상황에서 경사 하강법에 의한 최적화가 핵 노름을 최소화하는 가중치를 선택한다는 추측에 대해 논의합니다. 핵 노름은 벡터의 L1 노름과 유사하게 행렬의 특이값의 합입니다. 이 추측은 아직 입증되지 않았지만 이 아이디어는 딥 러닝 및 압축 감지에 잠재적으로 적용될 수 있습니다. 강사는 자신의 임무가 학생들을 채점하는 것이 아니라 그들과 함께 가르치고 배우는 것이라고 강조합니다. 강의는 섹션 8과 9의 메모를 사용하는 숙제 3 발표로 끝납니다.
이 비디오에서 강사는 최소 제곱의 개념과 이에 접근하는 다양한 방법에 대해 설명합니다. 그는 선형 대수학에서 필수적인 문제이고 전체 과정을 하나로 묶는 접착제 역할을 하는 최소 제곱의 중요성을 강조합니다. 이 비디오는 행렬의 의사 역행렬, 가역 및 비가역 행렬의 SVD, 최소 제곱 문제를 해결하기 위한 다양한 방법(가우스 계획 및 직교 열 포함)을 다룹니다. 비디오는 또한 L2 표준 제곱을 사용하여 ax + b와 실제 측정 사이의 거리를 최소화하는 아이디어와 이것이 선형 회귀 및 통계와 어떻게 관련되는지에 대해 설명합니다. 또한 이 비디오는 기계 학습 및 딥 러닝과 같은 영역에 중점을 두고 과정에서 학습한 자료를 사용하는 프로젝트에 대한 통찰력을 제공합니다.
00:00:00 이 섹션에서 강사는 최소 제곱의 중요성과 그것이 선형 대수학에서 어떻게 필수적인 문제인지에 대해 설명합니다. 그는 최소 제곱에 접근하는 다양한 방법이 있으며 이 주제는 전체 과정을 하나로 묶는 접착제라고 언급합니다. 그는 또한 최종 시험이나 테스트가 없을 것이라고 언급했지만 대신 과정에서 배운 자료를 사용하는 프로젝트를 장려할 것입니다. 이 프로젝트에는 기계 학습 및 딥 러닝과 같은 다양한 영역이 포함되며 시간이 되는 대로 프로젝트 세부 사항에 대한 메시지를 보낼 것입니다.
00:05:00 이 섹션에서 화자는 행렬의 의사 역행렬의 개념을 설명합니다. 역행렬이 존재하는 경우 이를 곱한 다음 원래 벡터로 돌아갈 수 있지만 역행렬이 없는 행렬의 경우 의사 역행렬로 전환합니다. 이는 행렬이 직사각형이거나 고유값이 0이거나 null 공간이 있는 경우와 관련이 있습니다. 화자는 행과 열 공간의 그림을 사용하여 이미지의 어떤 부분이 뒤집힐 수 있고 어떤 부분이 가망이 없는지 설명합니다. 의사 역행렬은 행렬이 가역이 아닌 경우 문제를 해결하는 데 사용되어 적절한 솔루션을 제공합니다.
00:10:00 이 섹션에서 발표자는 행렬을 반전할 수 없는 상황에 대해 행렬의 유사 역행렬을 정의하는 방법을 설명합니다. 행렬의 영공간을 처리하는 방법과 이 경우 의사 역행렬이 수행해야 하는 작업에 대해 설명합니다. 화자는 아무도 치지 않는 열 공간과 직교 공간에서 의사 역행렬이 무엇을 해야 하는지에 대한 계획을 제공합니다. 그들은 SVD를 사용하여 상단 절반의 단위 행렬에 행렬을 투영하고 하단 절반의 0을 포함하는 의사 역행렬에 대한 공식을 제공합니다.
00:15:00 이 섹션에서는 동영상에서 SVD가 V를 U로 되돌리거나 그 반대로 하는 역행렬의 SVD(특이값 분해)에 대해 설명합니다. 행렬이 가역이 아닌 경우 SVD는 직사각형 시그마 행렬을 의사 역행렬로 대체해야 합니다. 비디오는 Sigma에 0이 아닌 값이 두 개만 있고 나머지는 0인 두 개의 독립적인 열이 있는 행렬의 예를 보여줍니다. 전체 특이 상황을 나타냅니다. 결과적으로 가장 좋은 옵션은 시그마 역 대신 시그마의 의사 역을 사용하는 것입니다.
00:20:00 이 섹션에서는 반전될 수 없는 직사각형 행렬에 대한 솔루션으로 시그마의 의사 역행렬인 시그마 플러스의 개념을 소개합니다. 의사 역은 방정식 ax = B가 있지만 a가 가역이 아닌 최소 제곱 문제를 해결하는 데 사용됩니다. 이 문제는 측정값이나 노이즈가 너무 많을 때 발생합니다. 시그마 플러스 행렬은 열 공간에서 벡터를 얻는 데 사용되는 반면 직교 공간의 벡터는 풀 수 없는 것으로 간주됩니다. 최소 제곱 문제를 해결하는 첫 번째 방법은 시그마 플러스 행렬을 사용하여 솔루션을 제공하는 것입니다.
00:25:00 이 섹션에서 연사는 선형 방정식 시스템을 사용하여 노이즈 측정에 직선을 맞추는 최소 제곱 문제에 대해 논의합니다. 그들은 측정값이 직선에 있으면 선형 시스템에 솔루션이 있지만 일반적으로 그렇지 않다고 설명합니다. 그런 다음 L2 놈 제곱을 사용하여 ax + b와 실제 측정 사이의 거리를 최소화하는 아이디어를 소개합니다. 이 기술은 Gauss에 의해 제안되었으며 측정에 가장 가까운 직선을 나타내는 방정식 Cx + D에서 C와 D의 최상의 값을 찾는 데 사용됩니다.
00:30:00 이 섹션에서 발표자는 최소 제곱의 개념과 선형 회귀 및 통계에서 해결할 수 없는 문제를 해결하는 데 사용되는 방법을 설명합니다. 2차 손실 함수를 최소화함으로써 Gauss의 조언에 따라 궁극적으로 최상의 답을 제공하는 선형 방정식 시스템이 생성됩니다. 최적의 X는 방정식 a 전치 a 곱하기 X = 전치 B와 같다는 방정식을 풀면 발견되며, 이는 최소값으로 이어집니다. 그런 다음 화자는 A의 열 공간 개념과 B가 열 공간에 없는 방법, 제곱 및 정규 방정식이 최상의 AX로 이어지는 방법을 설명하기 위해 그래프를 그립니다.
00:35:00 이 섹션에서 발표자는 최소 제곱 문제를 해결하는 다양한 방법에 대해 설명합니다. 방법 2는 MATLAB에서 행렬을 사용하여 정규 방정식을 푸는 것입니다. 그러나 행렬에 거의 단일 열이 있는 경우 이 방법이 작동하지 않을 수 있습니다. 방법 3은 행렬에 독립 열이 있는 경우에만 작동하는 Gauss 계획을 사용하는 것과 관련이 있습니다. 의사 역행렬 방법은 행렬이 가역 행렬이 아니지만 독립 열이 있는 경우에도 사용할 수 있습니다. 행렬의 가역성의 중요성은 섹션 전체에서 강조됩니다.
00:40:00 이 섹션에서 화자는 영공간이 0일 때 의사 역행정법의 답이 a 전치 a 역 a 전치 B의 방법에서 나오는 답과 같다고 설명합니다. 화자는 전치의 null space는 가역이 아니지만 전치 a는 가역임을 지적합니다. 게다가 화자는 행렬 aa transpose가 역행렬이 되기 위해 최선을 다하고 있지만 충분히 가깝지는 않다고 설명합니다. 의사 역은 순위가 같을 때 작동하는 것으로 표시됩니다.
00:45:00 이 섹션에서 발표자는 최소 제곱 문제를 해결하는 두 가지 방법을 더 논의합니다. 세 번째 방법은 직교 열을 먼저 얻는 것과 관련되어 문제를 더 쉽게 만듭니다. 그람-슈미트 절차는 자연스러운 방식으로 직교 벡터를 얻는 한 가지 방법입니다. 최소 제곱 문제를 해결하는 네 번째이자 마지막 방법은 자세히 논의되지 않지만 실생활의 데이터가 종종 희소하다는 사실을 활용하는 것과 관련됩니다. 연사는 최소 제곱이 새로운 개념이 아니며 정당한 이유로 계속 사용된다는 점을 언급하며 결론을 내립니다.
수치 선형 대수학에 대한 이 강의에서는 Ax=b 형식의 선형 방정식을 풀 때의 어려움에 대해 논의합니다. 이러한 어려움은 행렬 A가 거의 단일 행렬이어서 역행렬이 터무니없이 커질 때, 문제가 너무 커서 실현 가능한 시간 안에 풀 수 없는 거대한 행렬일 때 발생합니다. 강사는 쉬운 일반적인 경우부터 미달 방정식의 매우 어려운 경우에 이르기까지 문제 해결을 위한 몇 가지 가능성을 설명합니다. 무작위 선형 대수학, 반복적 방법 및 SVD의 사용과 특히 딥 러닝을 통해 테스트 데이터에서 작동하는 솔루션을 찾는 것의 중요성에 대해 논의합니다. 또한 강사는 SVD가 여전히 매트릭스 문제를 진단하는 데 가장 좋은 도구라고 강조합니다.
00:00:00 이 섹션에서 강사는 방정식 Ax = B를 풀려고 시도할 때 발생할 수 있는 어려움에 대해 논의합니다. 그는 문제가 다양한 크기와 순위에서 발생할 수 있으며 거의 특이하거나 거의 특이하지 않을 수 있음을 지적합니다. 그는 합리적인 조건수를 가진 정사각 행렬의 쉬운 일반적인 경우부터 과소 결정된 방정식의 매우 어려운 경우에 이르기까지 문제를 풀기 위한 몇 가지 가능성을 설명합니다. 후자의 경우 강사는 문제가 딥 러닝에서 일반적이며 여러 솔루션이 존재할 수 있다고 지적합니다.
00:05:00 이 섹션에서 강사는 Ax = b의 어려운 문제와 접근 방법에 대해 설명합니다. 이러한 문제는 일반적으로 행렬의 열이 거의 종속적일 때 발생하여 주어진 행렬의 열 a1, a2를 허용하는 데 문제가 있습니다. 이에 대한 해결책은 Gram-Schmidt를 사용하여 해당 열 공간에서 정규 직교 열 벡터를 찾고 열을 직교화하여 열을 고정하는 것입니다. 강사는 그람-슈미트 토론을 다음 강의로 저장하지만 제거에도 적용할 수 있는 개념인 열의 재정렬을 허용하는 열 피벗의 중요성을 미리 봅니다.
00:10:00 이 섹션에서 강사는 Ax=b 형식의 선형 방정식을 풀 때의 어려움에 대해 논의합니다. 여기에는 행렬이 거의 특이 행렬이어서 역행렬이 터무니없이 커질 가능성도 포함됩니다. 강사는 일반적으로 시스템의 출력을 알고 있지만 네트워크의 구조나 입력을 결정해야 하는 문제인 역 문제에 대해서도 이야기합니다. 이러한 문제는 종종 거의 단일 행렬을 제공하므로 문제를 최소화하기 위해 페널티 항을 추가하지 않고는 시스템을 정확하게 풀기가 어렵습니다. Leu 및 QR 세계, 행 교환 및 Gram-Schmidt 직교화도 언급됩니다.
00:15:00 이 섹션에서는 Ax=b 방법을 사용하여 선형 방정식을 푸는 것과 관련된 몇 가지 어려움에 대해 배웁니다. 이러한 어려움 중 하나는 행렬 A의 조건이 좋지 않아 벡터가 0에 가까워지고 전치 a의 거대한 역이 발생하는 경우입니다. 이에 대응하기 위해 우리는 A에 페널티를 부여해야 합니다. 그러면 A가 더 잘 조건화되지만 문제는 페널티를 얼마만큼 부여할지 결정하는 것으로 이동합니다. 또 다른 방법은 켤레 기울기 방법과 같은 반복 방법으로, 충분히 가까워질 때까지 정확한 답에 점점 더 가까워집니다. 가능한 시간 내에 풀 수 없는 거대한 행렬로 문제가 너무 큰 경우 무작위 선형 대수를 사용하여 행렬의 열과 행을 샘플링하여 샘플에서 답을 제공합니다.
00:20:00 이 섹션에서 강사는 행렬이 합리적인 경우 어려운 문제에 대한 솔루션을 결정하기 위해 무작위 선형 대수학을 사용하는 방법에 대해 설명합니다. 솔루션이 올바르다는 보장은 없지만 부등식의 확률을 사용하면 문제에 대한 좋은 솔루션을 얻을 수 있습니다. 솔루션을 찾는 방법으로 SVD의 사용과 함께 반복적 방법과 무작위 알고리즘이 논의됩니다. 강사는 특히 딥 러닝을 통해 테스트 데이터에서 작동하는 솔루션을 찾는 것의 중요성을 강조하고 이 문제에서 발생하는 심오한 수학적 질문에 대해 논의합니다. SVD는 행렬이 거의 특이할 때 가능한 솔루션으로 설명됩니다.
00:25:00 이 섹션에서 교수는 큰 역이 있을 때 ax 빼기 B 제곱의 최소 합을 찾는 문제를 정규화하는 방법에 대해 논의합니다. 양의 델타를 포함하는 추가 페널티 항과 함께 최소 제곱 문제를 사용하면 이 값이 0이 되거나 a가 미친 짓을 하더라도 문제를 여전히 해결할 수 있고 함수가 singular에서 벗어나도록 보장됩니다. 델타가 0이 되면 결과의 동작이 크게 변경되며 이 요소는 시스템의 노이즈 수준에 따라 달라질 수 있습니다.
00:30:00 비디오의 이 섹션에서 발표자는 주어진 델타에 대한 솔루션에 대해 논의하고 솔루션이 존재하는 경우를 분석합니다. 초점은 벌점 최소 제곱 문제의 최소값을 찾는 것과 관련된 문제를 하나씩 해결하는 데 있습니다. 미분을 0으로 설정하여 방정식을 풀고 결과 X 값은 델타가 0이 될 때 한계를 결정하는 데 사용됩니다. 두 가지 가능성은 시그마가 0이 아니고 솔루션이 시그마의 역수에 접근하거나 시그마가 0이고 솔루션이 존재하지 않는 것입니다.
00:35:00 비디오의 이 섹션에서 화자는 페널티 항이 0이 될 때 페널티 제곱 접근법의 동작에 대해 설명합니다. 화자는 이 경우 시스템이 0과 0이 아닌 한계 사이에서 갑작스러운 분기와 함께 이상한 방식으로 작동한다고 지적합니다. 이 극한을 의사 역으로 식별하고 델타가 점점 작아질수록 시스템의 솔루션은 시스템에 대한 항상 정답인 의사 역에 접근합니다. 발표자는 실제 사례에서 이 접근 방식이 전기 회로의 저항 및 인덕턴스와 같은 시스템의 알려지지 않은 매개변수를 찾는 데 유용할 것이라고 언급합니다.
00:40:00 이 섹션에서 강사는 문제를 정규화하기 위해 페널티 항을 추가하여 문제 Ax=b에 대한 솔루션을 얻을 수 있다고 설명합니다. 페널티 항은 L1 표준을 사용하여 도입할 수 있으며, 이는 답에 작은 구성 요소가 많지 않은 희소 솔루션을 제공합니다. 그는 또한 기존의 선형 대수학 및 Gram-Schmidt에서 피봇팅이 있거나 없는 반복 방법의 중요성에 대해 논의합니다. 그러나 그는 다음 강의에서 이러한 주제를 다루기로 결정했습니다.
00:45:00 이 섹션에서 강사는 SVD가 행렬에 대한 것을 증명하는 데 효과적인 도구인 방법에 대해 설명합니다. 복잡한 문제를 중간에 있는 대각행렬 시그마에 대한 문제로 단순화하므로 모든 행렬 문제를 진단하는 데 유용합니다. 또한 강사는 시그마를 대각선 행렬로 사용하여 문제의 특수한 경우에 대한 공식을 제공합니다. 이는 특히 각 대각선 항목에서 시그마의 동작을 이해하는 것이 이러한 경우를 추구하는 데 필수적임을 의미합니다. 강사가 강조하는 SVD는 여전히 이를 위한 최고의 도구입니다. 마지막으로 강사는 이 강의가 수치 선형 대수학이 다루는 내용에 대한 조사이며 아직 모든 주제가 다루어지지는 않았지만 남은 세션에 있을 것이라고 강조합니다.
이 강의에서 발표자는 수치 선형 대수와 관련된 다양한 주제를 다룹니다. 그들은 Ax=b를 풀 때 발생할 수 있는 문제를 논의하는 것으로 시작한 다음, 공간에 대한 직교 기저를 찾기 위한 Gram-Schmidt 프로세스로 이동하고 Ax = b에 따라 ‖x‖를 최소화하기 위한 수정된 Gram-Schmidt 방법으로 이동합니다. . 연사는 또한 보다 전문적인 Gram-Schmidt 알고리즘에서 열 교환 또는 열 피벗의 개념을 소개하고 행렬 A의 열을 직교 정규화하기 위한 표준 Gram-Schmidt 프로세스의 개선 사항에 대해 논의합니다. 그들은 또한 Krylov 공간의 아이디어를 다룹니다. 문제 Ax=b와 Ax = b에 따라 ‖x‖를 최소화하기 위한 좋은 근거를 갖는 것의 중요성을 해결합니다. 마지막으로, 그들은 Ax=b에 따라 x를 최소화하는 문제를 끝내고 매우 큰 행렬을 다루는 문제를 다루는 것으로 이동한다고 언급합니다.
00:00:00 이 섹션에서 강사는 세 가지를 언급합니다. 첫째, A가 너무 커서 코어에 맞지 않지만 다른 방법을 사용할 수 있는 경우를 포함하여 Ax=b를 풀 때 발생할 수 있는 문제입니다. 둘째, 그는 자신의 책 두 페이지에 대한 대략적인 초안을 보여주고 이를 완성하고 개선하기 위해 거쳐온 2년 간의 과정을 설명합니다. 세 번째로, 만족 방정식의 제약조건으로 해결하는 조건에 대해 L1 또는 L2 또는 최대 L 무한대 놈과 같은 다른 놈을 최소화하는 것에 대해 논의하여 L1, L2 및 L 무한대 놈 사이의 차이를 시각적으로 표현합니다.
00:05:00 이 섹션에서 연사는 L1, L2 및 L 무한대를 포함하여 서로 다른 규범 공간에서 서로 다른 단위 공의 승점에 대해 논의합니다. 그는 각각의 경우에 승점 또는 선에 먼저 닿는 점을 찾는 방법을 보여줍니다. 그런 다음 오늘의 주제인 그램-슈미트(Gram-Schmidt)를 소개합니다. 이는 직교하면서 같은 공간에 걸쳐 있는 다른 벡터 집합을 찾아 비직교 행렬을 직교로 만드는 방법입니다. 그는 Gram-Schmidt의 일반적인 사실을 설명하고 그것이 선형 대수 과정에서 가르치는 표준 주제라고 언급합니다.
00:10:00 이 섹션에서 교수는 직교 정규 Q1에서 Qn까지의 열이 있는 직교 행렬을 얻기 위해 행렬의 그림을 여는 그람-슈미트 과정을 설명합니다. 행렬 R은 Q가 어떤 조합으로 구성되었는지 또는 거꾸로 A가 최종 Q와 어떻게 관련되어 있는지 알려주는 데 사용됩니다. R에 대한 방정식은 Q 전치 곱하기 A이고 R의 항목은 Q의 내적일 뿐입니다. 애스와 함께. 교수는 직교 행렬 Q 때문에 R에 신비한 것이 없다는 것을 보여줍니다. MATLAB 명령은 A의 Lu 대신 A의 QR이 됩니다.
00:15:00 이 섹션에서 강의는 공간에 대한 직교 기반을 찾는 그램-슈미트 과정을 설명합니다. 강의는 비직교 기저 집합으로 시작하며 목표는 직교 기저 집합을 구성하는 것입니다. 프로세스는 첫 번째 기본 벡터인 첫 번째 열 벡터로 시작한 다음 두 번째 벡터를 가져와 첫 번째 벡터와 직교화합니다. 다음 단계는 처음 두 벡터에 직교하는 세 번째 벡터를 구성하는 것입니다. 이것은 전체 기본 집합이 직각으로 구성될 때까지 계속됩니다. 마지막으로 각 벡터를 노름으로 나누어 각 기저 벡터를 단위 벡터로 만듭니다. Gram-Schmidt는 비직교 기저 집합을 취하고 투영 방법에 적합한 직교 집합을 생성합니다.
00:20:00 이 섹션에서 발표자는 Ax = b에 따라 'x'를 최소화하기 위한 수정된 Gram-Schmidt 방법에 대해 설명합니다. 그들은 벡터에서 Q1과 Q2의 구성 요소를 빼고 결과 벡터가 직교하는지 확인하는 과정을 설명합니다. 또한 소거 중에 행을 순서대로 가져오는 위험을 다루고 수정된 Gram-Schmidt 방법을 사용하여 계산 오류를 피할 것을 제안합니다.
00:25:00 강의의 이 섹션에서 연사는 보다 전문적인 그램-슈미트 알고리즘에서 열 교환 또는 열 피벗에 대한 아이디어를 논의합니다. 제거와 유사하게 gram-schmidt에서 열의 새 부분이 너무 작으면 제거할 수 없는 반올림 오류가 발생할 수 있습니다. 따라서 알고리즘이 피벗의 크기를 확인하고 필요한 경우 행을 교환하는 것이 필수적입니다. 컬럼 교환의 주요 아이디어는 다음 단계를 결정하기 전에 가장 큰 구성 요소를 찾기 위해 컬럼의 새 부분을 다른 모든 잠재적 가능성과 비교하는 것입니다. 이 프로세스는 결과의 정확도에 영향을 줄 수 있는 반올림 오류를 방지하는 데 중요합니다.
00:30:00 이 섹션에서 발표자는 행렬 A의 열을 직교 정규화하기 위한 표준 Gram-Schmidt 프로세스의 개선 사항을 설명합니다. A의 다음 열만 고려하는 대신 A의 나머지 열을 모두 고려하는 개선 사항은 각각의 새 열을 직교 정규화합니다. 화자는 필요한 모든 빼기가 상관없이 더 빨리 계산되기 때문에 이것이 표준 방법보다 더 많은 작업이 아니라고 주장합니다. 개선은 가장 큰 나머지 열을 선택하는 것에 의존하며 가우시안 소거법에서 가장 큰 피벗을 선택하는 것과 유사합니다.
00:35:00 이 섹션에서 강사는 큰 행렬 문제인 Ax=b를 풀기 위한 Krylov 공간의 아이디어를 소개합니다. Krylov 공간은 공간에 걸쳐 있는 벡터의 조합이며 강사는 이러한 벡터의 조합을 사용하여 해당 공간에서 최소 제곱 솔루션인 XJ를 찾습니다. Krylov 공간은 A에 J 벡터를 최대 A^k-1B까지 곱하여 결정됩니다. 강사는 Ax=b 문제를 해결하기 위해 이 공간에서 최상의 솔루션을 찾습니다. 그러나 이 방법에는 여전히 문제가 있습니다.
00:40:00 이 섹션에서 발표자는 Ax = b에 따라 'x'를 최소화하기 위한 좋은 근거를 갖는 것의 중요성에 대해 논의합니다. 기저는 계산을 더 쉽게 하기 위해 직교화되어야 하며, 여기에서 우리의 nolde 및 Lan 쇼의 기여가 들어옵니다. 직교 기저는 투영에 적합하며 연사는 계산을 쉽게 만드는 방정식을 설명합니다. Q가 직교일 때 주어진 벡터 X와 각 Q의 내적을 계산한 다음 Q 전치를 적용하여 계수 C를 쉽게 찾을 수 있습니다. 이를 통해 문제를 효율적으로 해결할 수 있습니다.
00:45:00 강의의 이 섹션에서 연사는 기저의 개념과 Gram-Schmidt 또는 Krylov 벡터를 사용하여 좋은 기저를 찾는 방법에 대해 논의합니다. 발표자는 이 경우 Gram-Schmidt 방법을 사용하는 것이 바람직하다고 언급하고 Krylov, Arnoldi 및 Lanczos와 같은 분야의 일반적인 기술을 요약한 수치 선형 대수학 책의 섹션 2.1도 언급합니다. 그는 Golub과 van Loan의 'Numerical Linear Algebra'를 주제에 대해 더 배우고 싶은 사람들에게 훌륭한 교과서로 추천합니다.
00:50:00 비디오의 이 섹션에서 화자는 Ax=b에 따라 x를 최소화하는 문제를 끝내고 매우 큰 행렬을 다루는 문제를 다루는 것으로 이동한다고 언급합니다.
이 동영상에서는 고유값과 특이값을 계산하는 QR 방법을 소개합니다. 이 프로세스에는 원하는 행렬로 시작하여 QR로 분해하여 비직교 기저와 직교 기저를 연결하는 상위 삼각 행렬 R을 생성하는 작업이 포함됩니다. 이 프로세스는 대각선 항목이 작아질 때까지 반복되며, 이 시점에서 고유값을 근사화하는 데 사용할 수 있습니다. 발표자는 프로세스 속도를 높이기 위해 고유 벡터를 계산하기 위한 이동 방법에 대해서도 설명합니다. 대칭 행렬에 MATLAB을 사용할 때의 이점도 강조 표시됩니다. 비디오는 또한 큰 행렬에 대한 고유값 문제를 해결하기 위한 Krylov 벡터의 개념을 다룹니다.
00:00:00 이 섹션에서 교수는 행렬의 고유값과 특이값을 계산하기 위한 QR 방법을 소개합니다. QR 방법은 고유값이 원하는 행렬로 시작하여 QR로 분해하는 것을 포함합니다. 행렬의 열을 직교화하고 직교하지 않은 기저와 직교 기저인 상부 삼각을 연결하는 행렬 R을 생성하여 직교 기저로 변환합니다. 다음으로 이 방법은 순서를 반대로 하고 다음 행렬을 생성하기 위해 동일한 작업을 다시 수행하는 것을 포함합니다. 교수는 변환 전과 후의 고유값이 동일하고 행렬이 유사하여 행렬의 특이값을 계산하는 데 유용하다고 주장합니다.
00:05:00 이 섹션에서 교수는 QR 분해를 사용하여 고유값을 계산하는 과정을 설명합니다. 프로세스에는 결과 행렬의 대각선 항목이 매우 작아질 때까지 QR 분해를 여러 번 반복하는 작업이 포함됩니다. 이 시점에서 대각선 항목은 원래 행렬의 실제 고유값에 가깝고 이를 근사화하는 데 사용할 수 있습니다. 교수는 또한 비대각선 항목이 세제곱되고 빠르게 0에 접근하여 방법을 매우 정확하게 만드는 방법의 빠른 수렴을 강조합니다.
00:10:00 이 섹션에서 비디오는 이동을 도입하는 것과 관련된 고유 벡터 계산 알고리즘의 개선 사항에 대해 설명합니다. 행렬 A를 취하는 대신 행렬 A - siI를 취합니다. 여기서 si는 항등 행렬의 배수입니다. 이는 행렬 A의 모든 고유값을 si만큼 이동합니다. 그런 다음 그들은 이 이동된 행렬로 작업하고, 그램-슈미트 과정을 수행하고, 가능한 한 A에 가까운 행렬을 얻기 위해 순서를 반대로 합니다. 마지막으로, 그들은 새로운 행렬 A1을 얻기 위해 이동을 취소합니다. 희망은 A1이 여전히 A와 유사하지만 계산 시간이 더 빠르다는 것입니다.
00:15:00 이 섹션에서 교수는 행렬의 고유값을 계산하기 위한 QR 방법에 대해 설명합니다. 그는 QR 방법을 사용하여 행렬의 하부 삼각 부분이 사라지기 시작하고 고유값이 대각선에 나타나기 시작하는 불완전한 예를 보여줍니다. 그런 다음 교수는 원래 행렬의 0을 활용하여 QR 방법의 효율성을 개선하는 방법에 대해 논의합니다. 0이 포함된 추가 대각선이 있는 경우 QR 분해 프로세스의 일부 단계를 건너뛰어 방법을 가속화할 수 있습니다.
00:20:00 이 섹션에서 화자는 고유값과 특이값을 계산하는 방법에 대해 설명합니다. 고유값을 제공하는 0과 같은 전체 하부 삼각 부분을 얻는 것이 불가능하기 때문에 모든 고유값을 얻는 것은 불가능합니다. 이것은 고유값이 n차 방정식을 풀기 때문에 몇 세기 전에 간단한 단계로 순간 방정식을 푸는 것이 불가능하다는 것이 입증되었습니다. 또한 람다 또는 특이값을 찾는 간단한 공식이 없습니다. 그러나 QR 방법을 계속 사용하고 행렬을 하나의 삼각형에 하나의 대각선을 더하고 0이 많은 Hessenberg 형식으로 줄임으로써 원하는 만큼 가까워질 수 있습니다. MATLAB 및 기타 매트릭스 시스템은 la pack 및 Linpack을 사용하여 이러한 값을 계산합니다.
00:25:00 비디오의 이 섹션에서 연사는 MATLAB 사용의 이점에 대해 논의하고 대칭 행렬의 특성에 대한 통찰력을 제공합니다. 그는 행렬이 대칭이면 주대각선 위에 하나의 대각선만 있을 것이라고 안전하게 예측할 수 있다고 설명합니다. 이렇게 하면 N^2 대신 2n개의 숫자로만 작업하면 되므로 QR 계산을 수행하는 시간이 크게 줄어듭니다. 화자는 또한 특이값에 대해 간단히 언급하면서 이들이 전치 행렬의 고유값이라고 말하지만 결정자를 사용하여 계산하는 것은 느리고 조건이 좋지 않으며 정보 손실로 이어지기 때문에 경고합니다.
00:30:00 이 섹션에서 발표자는 직교 행렬을 사용하여 대칭 행렬을 단순화하고 고유값을 쉽게 찾을 수 있도록 삼중 대각선으로 만드는 개념에 대해 설명합니다. 그런 다음 화자는 특이 값을 변경하지 않고 그대로 두는 방식으로 일반 행렬을 단순화하기 위해 일반 행렬에 수행할 수 있는 작업에 대한 질문을 던집니다. 화자는 이 질문을 SVD에 연결하고 직교 행렬을 곱하는 것과 같은 특정 작업에서 특이값의 불변성에 대해 논의합니다. 어떤 다른 작업이 특이값을 불변으로 남겨두는지에 대한 질문은 청중이 고려할 수 있도록 열려 있습니다.
00:35:00 이 섹션에서 강사는 특이값이 있는 대각 행렬에 직교 행렬 Q를 곱하는 효과에 대해 설명합니다. 대각 행렬에 Q를 곱해도 특이값이 변경되지 않으며 이는 서로 다른 직교 행렬을 사용하여 방정식의 양쪽에서 수행될 수 있음을 보여줍니다. 이렇게 향상된 유연성을 통해 행렬을 3중 대각선에서 2중 대각선으로 줄일 수 있으므로 각 단계를 진행할 때 알고리즘이 더 빨라집니다. 강사는 또한 행렬 곱셈을 단순화하는 양방향 행렬의 유용성에 대해서도 설명합니다.
00:40:00 이 섹션에서 발표자는 특히 최대 1000차 행렬에 대한 고유값 및 특이값 계산에 대해 설명합니다. SVD는 삼중 대각선이 될 행렬의 전치를 보는 것과 관련됩니다. 특이값을 찾으려면 행렬의 전치를 얻을 수 있지만 고유값을 찾으려면 대칭 및 삼중 대각선이어야 합니다. 이 방법은 특정 크기까지의 행렬에 효과적이며, 그 크기 이상에서는 희소 행렬에 대해 Krylov의 방법을 사용할 수 있습니다. Krylov의 방법은 행렬을 특정 크기(일반적으로 100 x 100)로 제한하고 해당 공간에서 고유 벡터를 찾습니다.
00:45:00 이 섹션에서 발표자는 큰 행렬의 고유값 문제를 해결하는 데 사용할 수 있는 Krylov 벡터라는 접근 방식을 설명합니다. 원래 행렬보다 차원이 작은 Krylov 벡터에 행렬 연산을 적용하면 더 작은 고유값 문제를 만들고 해결할 수 있습니다. 정확한 고유값을 제공하지는 않지만 Krylov 벡터는 특정 문제에 대해 좋은 근사값을 제공할 수 있습니다. 발표자는 또한 큰 행렬에 대한 무작위 샘플링의 아이디어를 소개하고 다음 강의에서 이에 대해 탐구할 것이라고 언급합니다.
이 비디오 강의에서는 행렬 A의 열과 행렬 B의 해당 행을 더한 확률이 1이 되는 확률로 샘플링하는 무작위 행렬 곱셈의 개념에 대해 설명합니다. 무작위 샘플의 평균값을 계산하여 정답을 얻을 수 있지만 여전히 분산이 있습니다. 강의는 계속해서 평균과 분산의 개념과 분산을 최소화하는 최상의 확률을 선택하는 방법에 대해 논의합니다. 이 프로세스에는 Lambda라는 알려지지 않은 변수를 도입하고 이에 대한 파생물을 취하여 최상의 PJ를 찾는 작업이 포함됩니다. 그런 다음 행렬의 어떤 열이 더 크거나 작은지 확인할 때 확률에 가중치를 부여하는 방법에 대한 질문으로 초점이 이동합니다. 강사는 두 가지 가능성을 제안합니다. 규범 제곱에 따라 확률에 가중치를 두거나 행렬의 열을 혼합하고 동일한 확률을 사용합니다. 전반적으로 비디오는 무작위 행렬 곱셈에 대한 자세한 설명과 가장 작은 분산을 얻기 위해 확률을 최적화하는 프로세스를 제공합니다.
00:00:00 비디오의 이 섹션에서 화자는 무작위 선형 대수학에 속하는 아이디어인 무작위 행렬 곱셈의 개념을 설명합니다. 이 방법은 행렬 A의 열과 행렬 B의 해당 행을 샘플링하여 큰 행렬에 사용되지만 전부는 아닙니다. 대신, 서로 다른 조각이 1이 되는 확률로 무작위로 샘플링됩니다. 무작위 샘플의 평균값을 계산하면 정답을 얻을 수 있지만 여전히 분산이 있습니다. 그런 다음 목표는 분산을 최소화하는 최상의 확률을 선택하는 것입니다. 강의는 계속해서 평균과 분산의 개념에 대해 논의하고 예제를 통해 연습합니다.
00:05:00 이 섹션에서 화자는 행렬 곱셈을 위한 무작위 샘플링 프로세스를 설명합니다. 이 프로세스에는 각각 절반의 확률로 두 개의 열을 가져와 더한 다음 샘플링된 횟수로 나누는 작업이 포함됩니다. 그런 다음 두 샘플의 평균을 계산하는 공식을 사용하여 무작위 매트릭스의 평균을 계산합니다. 분산은 두 가지 방법 중 하나를 사용하여 계산됩니다. 그 중 하나는 서로 다른 출력 값의 확률을 제곱한 값을 더하는 것이고 다른 하나는 평균에서 제곱한 평균 거리를 구하는 것입니다.
00:10:00 비디오의 이 섹션에서 연사는 통계의 평균 및 분산 개념과 이들이 무작위 행렬 곱셈을 위한 분산 계산의 현재 예와 어떻게 관련되는지 설명합니다. 그는 분산이 평균 양쪽에 있는 점 사이의 제곱합의 측정치이며 그의 예에서 그는 출력과 평균 사이의 차이의 제곱을 합산한다고 설명합니다. 그런 다음 그는 각각에 대한 두 가지 가능한 결과와 확률을 포함하는 특정 예에 대한 분산을 계산합니다.
00:15:00 이 섹션에서 화자는 분산 계산에 대해 논의하고 확률과 평균 제곱으로부터의 거리를 사용하여 분산에 대한 새로운 공식을 소개합니다. 연사는 또한 선형 대수학에서 무작위 샘플링의 개념과 B가 A보다 훨씬 클 때 확률을 조정하는 것이 분산을 줄이는 데 어떻게 도움이 될 수 있는지를 제시합니다. 최적의 확률은 B 크기를 A로 나눈 값의 제곱에서 나오며 화자 계획은 앞으로 이에 대해 더 논의하기 위해. 마지막으로 화자는 확률과 출력으로부터의 거리 제곱을 포함하는 분산에 대한 두 번째 공식을 언급합니다.
00:20:00 이 섹션에서 화자는 확률의 평균과 분산에 대해 논의하고 평균을 뺄 때 평균 제곱을 계산하는 두 가지 방법을 보여줍니다. 그런 다음 행렬의 어떤 열이 더 크거나 작은지 확인할 때 확률에 가중치를 부여하는 방법에 대한 질문으로 초점이 이동합니다. 화자는 두 가지 가능성을 제안합니다. 규범 제곱에 따라 확률에 가중치를 두거나 행렬의 열을 혼합하고 동일한 확률을 사용합니다. 화자는 첫 번째 접근 방식을 선호하며 규범 제곱에 비례하는 확률을 사용하는 방법을 설명합니다.
00:25:00 이 섹션에서 강사는 확률이 1이 되도록 확률을 재조정하는 방법을 설명합니다. 그런 다음 특정 확률로 행 열과 행 J 열을 선택하는 계획과 이를 곱하는 방법에 대해 설명합니다. 그의 근사치, 근사치 aB는 S 샘플에 대한 모든 샘플의 합이 될 것입니다. 강사는 또한 전체 분산을 최소화하기 위해 PJ를 선택하는 계획이며 평균이 정확하다고 언급합니다.
00:30:00 이 섹션에서 강사는 무작위 행렬 곱셈에서 샘플의 분산을 계산하는 방법을 설명합니다. 모든 샘플의 합의 평균은 한 샘플의 평균에 샘플 수를 곱하여 계산하므로 분산 계산이 어려운 부분입니다. 분산 계산은 크기에 따른 확률로 선택된 P1에서 PR까지의 조각에 따라 달라집니다. 각 샘플은 랭크 1이기 때문에 확실히 틀립니다. 따라서 분산을 계산할 때 확실히 0이 되지는 않습니다. 표본에 대한 분산은 AJ AJ 전치 확률 제곱에 대한 합으로 밝혀졌습니다. 전체 분산을 얻기 위해 이 계산에서 평균 제곱을 뺍니다.
00:35:00 이 섹션에서 화자는 PJ 값을 연결하고 분모를 JP j bj 규범의 JPG 합계로 단순화합니다. 첫 번째 거듭제곱을 더하고 C를 얻음으로써 화자는 분산에 대한 표현을 얻습니다. s개의 샘플을 취하여 결합한 후 분산은 고정된 숫자이며 작게 만들고자 하는 C입니다. 화자는 a의 길이와 B의 길이를 기준으로 확률의 가중치를 선택하여 이것이 최선의 선택임을 보여주고자 합니다.
00:40:00 이 섹션에서 발표자는 행렬 A의 행 또는 열과 행렬 B의 행에 대한 P1에서 PR까지의 확률을 최적화하는 마지막 단계에 대해 논의합니다. 이 두 행의 합이 1이 된다는 제약 조건이 적용됩니다. 목표 최적의 PJ를 선택하여 분산 표현을 최소화하는 것입니다. 발표자는 최상의 PJ를 찾기 위해 종종 람다라고 하는 알려지지 않은 숫자를 도입하여 함수에 제약 조건을 구축하는 라그랑주 아이디어를 도입합니다. 이 섹션은 무작위 샘플링에 대한 논의를 마치고 마지막 하위 문제로 이어집니다.
00:45:00 이 섹션에서 강사는 확률을 1에 추가하는 조건에서 확률을 최적화하는 라그랑주 아이디어의 개념에 대해 설명합니다. 이 프로세스에는 방정식을 함수로 작성하고 미지 변수인 람다에 대한 도함수를 취하는 작업이 포함됩니다. 도함수를 0으로 설정하고 풀면 P에 대한 도함수를 취하여 검증할 수 있는 최종 권장 답변을 얻습니다. 강사는 또한 라그랑주 승수가 방정식을 1과 같게 만드는 올바른 숫자라고 설명합니다.
00:50:00 이 섹션에서 교수는 무작위 시스템에서 가장 작은 분산을 얻기 위해 확률을 선택하는 과정을 설명합니다. 그는 기둥이 클수록 이상적인 확률이 더 높다고 언급하므로 무작위 샘플링 전에 기둥의 길이를 찾는 것이 전제 조건입니다. 분산을 계산하기가 약간 어려울 수 있지만, 그는 학생들이 앞으로 확률을 더 진지하게 사용할 것이기 때문에 더 나은 이해를 위해 노트를 천천히 살펴보고 공식을 다시 방문하도록 권장합니다.
강의 4. 고유값과 고유벡터
4. 고유값과 고유벡터
이 비디오는 고유값과 고유벡터의 개념과 선형 변환을 계산하는 데 어떻게 사용할 수 있는지 설명합니다. 또한 고유 벡터를 사용하여 시스템에서 선형 방정식을 찾는 방법을 보여줍니다.
강의 5. 양의 정한행렬과 준정부호 행렬
5. 양의 유한 및 준정부호 행렬
이 비디오에서 발표자는 고유값, 행렬식 및 피벗을 포함하여 양의 정부호 행렬에 대한 테스트를 제공하는 선형 대수학의 이전 강의에서 하이라이트를 요약합니다. 그런 다음 화자는 양의 정부호 행렬과 부정부호 행렬 사이의 관계, 고유값과 결정자에 대한 연결, 행렬에 대한 벡터 X의 에너지를 계산하는 방법을 설명합니다. 연사는 또한 딥 러닝, 신경망, 기계 학습 및 에너지 최소화의 개념에 대해 논의합니다. 그들은 볼록 함수의 개념을 다루고 그것이 딥 러닝에서 어떻게 사용될 수 있는지 설명합니다. 마지막으로 연사는 양의 정부호 및 준정부호 행렬에 대한 연습을 소개하고 특이값 분해에 대한 다음 주제를 간략하게 언급합니다.
강의 6. 특이값 분해(SVD)
6. 특이값 분해(SVD)
이 비디오는 행렬을 3개의 행렬로 분해하는 데 사용되는 SVD(Singular Value Decomposition)의 개념을 설명합니다. 여기서 가운데 행렬은 대각선이고 특이값을 포함합니다. SVD는 A, 시그마 및 V 간의 관계를 이해하는 데 도움이 되며 궁극적으로 방정식을 푸는 데 도움이 됩니다. 이 동영상에서는 SVD에서 직교 벡터, 고유 벡터 및 고유값의 중요성에 대해 설명하고 A 및 V 행렬의 직교성을 강조합니다. 비디오는 또한 SVD 프로세스의 그래픽 표현과 매트릭스의 극점 분해를 설명합니다. 마지막으로 비디오는 SVD를 사용하여 큰 데이터 매트릭스의 가장 중요한 부분을 추출하는 프로세스에 대해 설명합니다.
강의 7. Eckart-Young: The Closest Rank k Matrix to A
7. Eckart-Young: A에 가장 가까운 랭크 k 행렬
이 YouTube 동영상에서 강사는 데이터 매트릭스를 이해하고 의미 있는 정보를 추출하는 데 사용되는 주성분 분석(PCA)의 개념을 설명합니다. 가장 중요한 정보를 담고 있는 행렬의 가장 큰 k개의 특이값의 중요성을 강조하고, 특이값 분해의 처음 k개의 조각이 랭크 k 행렬에 대한 최상의 근사치를 제공한다는 Eckart-Young 정리를 설명합니다. , 소개합니다. 발표자는 또한 l2, l1 및 무한대 규범을 포함하여 벡터 및 행렬에 대한 다양한 유형의 규범에 대해 논의합니다. A에 가장 가까운 랭크 k 행렬의 개념과 함께 Netflix 경쟁 및 MRI 스캔에서 Frobenius 놈의 중요성이 강조됩니다. 발표자는 또한 원본 행렬의 속성을 보존하는 직교 행렬의 사용에 대해 논의하고 개념을 소개합니다. SVD(Singular Value Decomposition)와 PCA와의 관계 마지막으로, 주어진 데이터 세트에 대한 최적의 나이 대 키 비율을 찾는 데 SVD 방법을 사용하는 것과 함께 직사각형 행렬 A와 그 전치를 포함하는 선형 방정식 시스템을 푸는 것의 중요성에 대해 논의합니다.
강의 8: 벡터와 행렬의 노름
강의 8: 벡터와 행렬의 노름
이 강의에서는 L1 및 최대 놈을 포함한 벡터 및 행렬의 놈의 개념과 압축 감지 및 신호 처리와 같은 분야에서의 응용에 대해 논의합니다. 강의는 또한 노름에서 삼각형 부등식의 중요성, s-노름의 모양, 벡터와 행렬의 L2 노름 사이의 연결을 다룹니다. 또한 신경망 최적화를 위한 추측으로 남아있는 프로베니우스 규범과 핵 규범을 탐구하고 학생들과 함께 가르치고 배우는 것의 중요성을 강조합니다.
강의 9. 최소 제곱 문제를 해결하는 4가지 방법
9. 최소 제곱 문제를 해결하는 4가지 방법
이 비디오에서 강사는 최소 제곱의 개념과 이에 접근하는 다양한 방법에 대해 설명합니다. 그는 선형 대수학에서 필수적인 문제이고 전체 과정을 하나로 묶는 접착제 역할을 하는 최소 제곱의 중요성을 강조합니다. 이 비디오는 행렬의 의사 역행렬, 가역 및 비가역 행렬의 SVD, 최소 제곱 문제를 해결하기 위한 다양한 방법(가우스 계획 및 직교 열 포함)을 다룹니다. 비디오는 또한 L2 표준 제곱을 사용하여 ax + b와 실제 측정 사이의 거리를 최소화하는 아이디어와 이것이 선형 회귀 및 통계와 어떻게 관련되는지에 대해 설명합니다. 또한 이 비디오는 기계 학습 및 딥 러닝과 같은 영역에 중점을 두고 과정에서 학습한 자료를 사용하는 프로젝트에 대한 통찰력을 제공합니다.
강의 10: Ax = b의 난이도 조사
강의 10: Ax = b의 난이도 조사
수치 선형 대수학에 대한 이 강의에서는 Ax=b 형식의 선형 방정식을 풀 때의 어려움에 대해 논의합니다. 이러한 어려움은 행렬 A가 거의 단일 행렬이어서 역행렬이 터무니없이 커질 때, 문제가 너무 커서 실현 가능한 시간 안에 풀 수 없는 거대한 행렬일 때 발생합니다. 강사는 쉬운 일반적인 경우부터 미달 방정식의 매우 어려운 경우에 이르기까지 문제 해결을 위한 몇 가지 가능성을 설명합니다. 무작위 선형 대수학, 반복적 방법 및 SVD의 사용과 특히 딥 러닝을 통해 테스트 데이터에서 작동하는 솔루션을 찾는 것의 중요성에 대해 논의합니다. 또한 강사는 SVD가 여전히 매트릭스 문제를 진단하는 데 가장 좋은 도구라고 강조합니다.
강의 11: Ax = b일 때 ‖x‖ 최소화하기
강의 11: Ax = b일 때 ‖x‖ 최소화하기
이 강의에서 발표자는 수치 선형 대수와 관련된 다양한 주제를 다룹니다. 그들은 Ax=b를 풀 때 발생할 수 있는 문제를 논의하는 것으로 시작한 다음, 공간에 대한 직교 기저를 찾기 위한 Gram-Schmidt 프로세스로 이동하고 Ax = b에 따라 ‖x‖를 최소화하기 위한 수정된 Gram-Schmidt 방법으로 이동합니다. . 연사는 또한 보다 전문적인 Gram-Schmidt 알고리즘에서 열 교환 또는 열 피벗의 개념을 소개하고 행렬 A의 열을 직교 정규화하기 위한 표준 Gram-Schmidt 프로세스의 개선 사항에 대해 논의합니다. 그들은 또한 Krylov 공간의 아이디어를 다룹니다. 문제 Ax=b와 Ax = b에 따라 ‖x‖를 최소화하기 위한 좋은 근거를 갖는 것의 중요성을 해결합니다. 마지막으로, 그들은 Ax=b에 따라 x를 최소화하는 문제를 끝내고 매우 큰 행렬을 다루는 문제를 다루는 것으로 이동한다고 언급합니다.
강의 12. 고유값과 특이값 계산하기
12. 고유값과 특이값 계산하기
이 동영상에서는 고유값과 특이값을 계산하는 QR 방법을 소개합니다. 이 프로세스에는 원하는 행렬로 시작하여 QR로 분해하여 비직교 기저와 직교 기저를 연결하는 상위 삼각 행렬 R을 생성하는 작업이 포함됩니다. 이 프로세스는 대각선 항목이 작아질 때까지 반복되며, 이 시점에서 고유값을 근사화하는 데 사용할 수 있습니다. 발표자는 프로세스 속도를 높이기 위해 고유 벡터를 계산하기 위한 이동 방법에 대해서도 설명합니다. 대칭 행렬에 MATLAB을 사용할 때의 이점도 강조 표시됩니다. 비디오는 또한 큰 행렬에 대한 고유값 문제를 해결하기 위한 Krylov 벡터의 개념을 다룹니다.
강의 13: 무작위 행렬 곱셈
강의 13: 무작위 행렬 곱셈
이 비디오 강의에서는 행렬 A의 열과 행렬 B의 해당 행을 더한 확률이 1이 되는 확률로 샘플링하는 무작위 행렬 곱셈의 개념에 대해 설명합니다. 무작위 샘플의 평균값을 계산하여 정답을 얻을 수 있지만 여전히 분산이 있습니다. 강의는 계속해서 평균과 분산의 개념과 분산을 최소화하는 최상의 확률을 선택하는 방법에 대해 논의합니다. 이 프로세스에는 Lambda라는 알려지지 않은 변수를 도입하고 이에 대한 파생물을 취하여 최상의 PJ를 찾는 작업이 포함됩니다. 그런 다음 행렬의 어떤 열이 더 크거나 작은지 확인할 때 확률에 가중치를 부여하는 방법에 대한 질문으로 초점이 이동합니다. 강사는 두 가지 가능성을 제안합니다. 규범 제곱에 따라 확률에 가중치를 두거나 행렬의 열을 혼합하고 동일한 확률을 사용합니다. 전반적으로 비디오는 무작위 행렬 곱셈에 대한 자세한 설명과 가장 작은 분산을 얻기 위해 확률을 최적화하는 프로세스를 제공합니다.