이 강의에서 Ajay Jain은 장면의 3D 기하학 및 색상의 표현을 구성하기 위해 희소하게 샘플링된 입력 보기를 사용하는 Neural Radiance Fields 모델에 특히 중점을 둔 신경 장면 표현에 대한 작업을 발표합니다. Jain은 Neural Radiance Field를 단일 장면에 맞추는 문제와 측광 손실 및 의미론적 일관성 손실을 추가하여 훈련 프로세스의 데이터 효율성을 개선하는 방법에 대해 논의합니다. 또한 CLIP을 사용하여 NeRF에서 아티팩트를 제거하고 Dream Fields 프로젝트의 캡션에서 3D 개체를 생성하는 방법에 대해 이야기합니다. 다른 주제에는 장면에서 일관된 전경 개체 만들기, 캡션이 있는 3D 개체 데이터 세트 획득, 렌더링 비용 절감 및 시스템 성능 최적화가 포함됩니다.
00:00:00 비디오의 이 섹션에서 Ajay Jain은 생성 모델 및 AI 도구에 대한 그의 여정과 연구 관심사에 대해 이야기합니다. 그는 또한 그래픽 응용 프로그램에서 일반적으로 사용되는 메시 표현과 비교하여 학습 컨텍스트에서 훈련하고 사용하기 더 쉬운 체적 접근 방식에 초점을 맞춰 다양한 유형의 장면 표현에 대해 설명합니다. Jain은 또한 신경 장면 표현에 대한 최근의 관심을 강조합니다.
00:05:00 이 섹션에서 화자는 특히 Neural Radiance Fields라는 모델에 중점을 둔 신경 장면 표현의 개념에 대해 설명합니다. 이 모델은 장면의 희박하게 샘플링된 입력 보기를 사용하여 장면의 3D 기하학 및 색상 표현을 구성하여 새로운 관점에서 렌더링할 수 있는 보기 합성 문제를 해결합니다. Neural Radiance Field는 이러한 이미지에서 추정되며 희박하게 샘플링된 보기의 부드러운 보간을 허용합니다. 이 모델은 반짝이는 표면의 반사와 같은 보기 종속 효과를 모델링할 수도 있습니다. 신경망은 3D 공간 좌표와 보는 방향에서 함수 매핑으로 표현되며 각 좌표에 대한 색상과 밀도를 예측합니다. 렌더링은 레이 트레이싱과 볼륨 렌더링을 통해 이루어집니다.
00:10:00 이 섹션에서 화자는 신경망의 가중치를 최적화하여 원하는 색상을 얻기 위해 신경 장면 표현에 따라 색상을 렌더링하는 프로세스에 대해 설명합니다. 그들은 장면을 인코딩하는 MLP가 최적화를 더 쉽게 만드는 관점의 차별화 가능한 렌더링을 허용한다고 설명합니다. 이 프로세스를 역 그래픽이라고 하며 2D 공간에서 해당 보기를 재구성할 기본 3D 표현을 최적화하는 작업을 포함합니다. 발표자는 또한 5차원 입력을 더 높은 차원의 공간으로 투영하는 정현파 위치 인코딩 접근 방식을 사용하여 입력 좌표가 신경망에 어떻게 공급되는지 설명합니다.
00:15:00 이 섹션에서는 일반적으로 훈련하는 데 많은 양의 데이터가 필요하므로 단일 장면에 Neural Radiance Field를 맞추는 문제에 대해 설명합니다. 비디오는 현장에 맞추기 위해 100개의 이미지가 필요한 하나의 합성 장면을 보여주지만 일부 야외 장면에는 더 적은 수의 이미지가 필요했습니다. 그런 다음 비디오는 관측되지 않은 위치에서 광도 손실이라고 하는 신경 복사 장 교육에 추가 손실을 추가하여 교육 프로세스의 데이터 효율성을 개선하는 방법에 대해 설명합니다. 이를 통해 장면이 수렴되기 전에도 새로운 뷰를 렌더링할 수 있습니다.
00:20:00 이 섹션에서 연사는 훈련 중 모든 관점에서 장면을 정규화할 수 있는 의미론적 일관성 손실의 개념에 대해 논의합니다. 시각적 인코더를 사용하여 각 입력 보기는 기능 공간에 표시되므로 개체 ID 및 관점에서 일관된 기타 기능을 인코딩할 수 있습니다. 기능 선택은 픽셀 색상과 같은 낮은 수준의 세부 정보 대신 개체의 ID와 속성을 인코딩해야 하므로 매우 중요합니다. 화자는 CLIP 네트워크 사용을 제안합니다. 왜냐하면 CLIP 네트워크는 이미지를 관련 캡션과 일치시키는 방법을 배웠기 때문에 개체 클래스, 개체 포즈 및 전체 장면에 대한 세부 정보를 인코딩할 수 있습니다. 화자는 다른 카메라 포즈의 특정 장면 내에서 CLIP의 이미지 인코더에서 임베딩의 코사인 유사성이 매우 유사하지만 픽셀 공간에서는 매우 다르다는 것을 보여줍니다.
00:25:00 비디오의 이 섹션에서 발표자는 기능 공간 유사성을 최대화하여 NeRF에서 아티팩트를 제거하기 위해 CLIP을 사용하는 실험에 대해 이야기한 다음 두 번째 작업에서 CLIP을 사용하여 캡션에서 3D 개체를 생성하는 방법에 대해 논의합니다. 꿈의 들판. 추가 정규화가 있는 다이어트 NeRF와 유사하게 보이도록 공유된 장면 표현을 최적화한 다음 각 관점에 대한 새로운 뷰를 렌더링합니다. 그들은 CLIP의 텍스트 인코더를 사용하여 이미지 특징 공간의 특징 유사성을 최적화하는 대신 장면과 캡션 사이의 특징 공간 유사성을 최대화합니다. 그들은 검색 및 최적화 프로세스의 어려움으로 인해 CLIP을 사용한 자동 캡션이 어렵다는 점에 주목합니다.
00:30:00 이 섹션에서 Ajay Jain은 Dream Fields를 사용하여 3D 장면에서 일관된 전경 개체를 만드는 프로세스에 대해 설명합니다. 장면에서 무작위로 포즈를 샘플링하고 이미지를 렌더링하여 시맨틱 기능이 캡션 기능과 일치하는지 확인합니다. 그러나 정규화 없이 이 접근 방식을 순진하게 적용하면 장면이 퇴화될 수 있습니다. 따라서 무작위로 샘플링된 배경과 매우 투명한 전경 개체를 합성하여 장면을 정규화하여 장면의 희소성을 높입니다. 이 정규화를 통해 장면에서 보다 일관된 전경 개체를 만들 수 있습니다. 또한 모델의 구성 일반화를 측정하기 위해 다양한 캡션 템플릿을 실험합니다.
00:35:00 이 섹션에서 발표자는 캡션이 있는 3D 개체 데이터 세트를 획득하는 데 따르는 어려움과 사전 훈련된 2D 이미지 및 텍스트 인코더인 CLIP을 사용하여 이 문제를 해결한 방법에 대해 설명합니다. Dream Fields 프로젝트는 기하학의 공유 표현을 통해 이 2D 표현을 3D로 들어 올립니다. 발표자는 또한 생성된 3D 개체의 품질을 개선하는 데 사용되는 기술과 최적화 프로세스 비용에 대해서도 이야기합니다. 이 프로젝트의 목표는 3D 콘텐츠 생성을 더 쉽게 만들고 다운스트림 애플리케이션에 유용한 자산을 생성하는 것이며 코드는 시도하려는 모든 사람이 사용할 수 있습니다.
00:40:00 이 섹션에서 Ajay Jain은 객체의 3D 구조는 모든 관점에서 CLIP을 만족시키는 공유 표현으로 인해 나타날 뿐이라고 설명합니다. 데이터에서 학습된 3D 구조에 대한 사전이 없으므로 3D 데이터에 대한 일부 일관성이 누락되었으며 이는 향후 작업에 대한 기회입니다. Jain은 또한 기본 형상이 보이지 않으면 일관성이 유지되지 않아 구조가 반복된다는 점을 언급합니다. 좌표의 함수 매핑에서 생성된 신경망은 사후 처리되어야 합니다. 여기에는 신경장의 출력을 .fbx 파일 또는 메쉬로 변환하는 작업이 포함되며 일부 알고리즘을 사용하여 이 변환을 허용합니다.
00:45:00 이 섹션에서 발표자는 저해상도에서 이미지를 렌더링하고 단일 저메모리 GPU를 사용하여 프로세스 속도를 크게 높이는 것을 포함하여 신경 복사 필드 체적 표현에서 렌더링 비용을 줄이는 전략에 대해 논의합니다. 또한 이러한 유형의 표현 내에서 투명 개체를 처리할 수 있는 방법을 설명하고 변형 가능한 개체를 합성하고 교육 중에 사람의 피드백을 통합하는 것과 같이 3D 아티스트에게 이 접근 방식을 보다 실용적으로 만들기 위한 향후 단계를 언급합니다. 마지막으로 Colab 노트북을 공유하여 시스템을 구현하고 다양한 프롬프트에 대한 품질 설정을 조정합니다.
00:50:00 이 섹션에서 화자는 일관된 신경 필드를 사용하여 3D 콘텐츠를 만드는 것과 관련된 학습 곡선 및 최적화 프로세스에 대해 설명합니다. 장면의 픽셀 투명도 및 반복당 데이터 증가 수와 같이 최적화 프로세스에 영향을 미치는 다양한 요소를 설명합니다. 또한 샘플 수를 줄이고 기본 CLIP b16 대신 CLIP b32를 사용하는 등 메모리 사용량을 줄이기 위해 구성 매개변수를 조정할 것을 제안합니다. 마지막으로 성능을 최적화하기 위해 여러 GPU에서 병렬화하는 옵션에 대해 언급합니다.
이 강의에서 OpenAI의 Prafulla Dhariwal은 특히 확산 모델을 사용하여 어려운 창의적 작업을 위한 생성 모델링의 진행 상황에 대해 논의합니다. 이 프로세스는 이미지로 시작하여 천천히 가우시안 노이즈를 추가한 다음 노이즈가 있는 손상을 일부 제거하고 노이즈가 적은 이미지를 만들기 위해 노이즈를 제거하여 프로세스를 반대로 합니다. 생성 모델은 이와 같이 노이즈를 반전하도록 모델을 훈련하여 얻습니다. 모델을 단계별로 역방향으로 실행하여 테스트 시 순수 노이즈에서 이미지를 생성합니다. 프로세스의 역방향 예측도 추가된 노이즈의 양이 매우 적을 때 가우시안 분포처럼 보이며, 이는 모델의 평균 및 분산을 예측하는 데 사용됩니다. Dhariwal은 또한 인페인팅에 확산 모델을 사용하는 방법과 AI 생성 콘텐츠의 잠재적 위험을 해결하는 방법에 대해서도 논의합니다.
동영상의 이 섹션에서는 OpenAI 의 Prafulla Dhariwal이 AI 연구를 수행한 배경과 동기에 대해 설명합니다. 또한 몇 가지 예에서 각각 시와 음악을 생성할 수 있는 GPT-3 및 JukeBox와 같은 강력한 창의적 ML 모델의 몇 가지 예를 보여줍니다. 비디오에는 음악과 가사가 상호 의존적이기 때문에 함께 생성된 JukeBox의 샘플 출력도 포함되어 있습니다. 시청자는 프레젠테이션 중 언제든지 질문할 수 있습니다.
00:05:00 이 섹션에서 Prafulla Dhariwal은 어려운 창의적 작업을 위한 생성 모델링의 진행 상황에 대해 논의합니다. 연사는 모델이 실제로 무언가를 배우고 있는지 이해하는 한 가지 방법은 모델이 복잡하고 이해하기 어려운 것을 만들 수 있는지 확인하는 것이라고 설명합니다. 이미지, 오디오 및 비디오를 생성하도록 모델을 교육하는 것은 이러한 영역에서 가장 어려운 작업 중 하나이지만 모델 또는 생성 모델링에서 무언가를 생성하려는 시도에서 많은 진전이 있었습니다. Dhariwal은 생성 모델의 작동 방식, 필요한 입력 및 평가 방법에 대해 설명합니다. 연사는 또한 사실적인 얼굴과 다양한 범주의 이미지를 생성할 수 있는 확산 모델의 최근 발전에 대해 이야기합니다. Dhariwal은 이러한 모델이 이미지 생성 시 GAN보다 우수함을 보여줍니다.
강의의 이 섹션에서 Prafulla Dhariwal은 확산 모델을 사용 하여 생성 예술에 대해 논의합니다. 이 모델은 이미지에서 시작하여 천천히 가우시안 노이즈를 추가하는 방식으로 작동하며 노이즈가 적은 이미지를 생성하기 위해 약간의 노이즈 손상을 받고 노이즈를 제거하여 프로세스를 역전시키려고 합니다. 생성 모델은 이와 같이 노이즈를 반전하도록 모델을 훈련하여 얻습니다. 모델을 단계별로 역방향으로 실행하여 테스트 시 순수 노이즈에서 이미지를 생성합니다. 프로세스의 역방향 예측도 추가된 노이즈의 양이 매우 적을 때 가우시안 분포처럼 보이며, 이는 모델의 평균 및 분산을 예측하는 데 사용됩니다.
이 섹션에서 Prafulla Dhariwal은 확산을 사용하여 이미지 에 추가된 노이즈를 반전시키는 프로세스에 대해 설명합니다. 이 프로세스에는 역방향으로 가우시안을 예측하고 프로세스를 단순화하기 위해 훈련 트릭을 사용하는 것이 포함됩니다. 모델은 이미지 x0, 랜덤 노이즈 및 이 둘의 조합을 가져와 노이즈가 있는 x_t를 생성하고 네트워크는 L2 손실을 사용하여 이미지에 추가된 노이즈를 예측하도록 훈련됩니다. 이 작업에 사용되는 모델은 일반적으로 이미지를 다운샘플링하고 노이즈 예측으로 다시 업샘플링하기 전에 다양한 세분화 수준에서 기능을 학습하는 컨볼루션 UNet 스타일 모델입니다. 이 프로세스는 역 프로세스의 평균을 예측하여 생성 모델을 얻는 데 사용할 수 있습니다.
이 섹션에서는 학습 시간 동안 모델에 레이블을 제공하여 확산 모델 클래스를 조건부로 만드는 방법에 대해 배웁니다. 그러면 모델이 레이블로 표시되는 이미지 분포인 y가 주어진 x의 p에서 이미지를 생성할 수 있습니다. 또한 모델은 저해상도 이미지에서 조건을 지정하고 고해상도 이미지로 업샘플링할 수 있습니다. 그러나 이러한 유형의 모델은 일관되지 않은 샘플을 생성하므로 지침 트릭이 도입됩니다. 여기에는 잡음이 많은 이미지에 대한 분류기를 교육한 다음 원하는 레이블로 분류될 가능성이 더 높은 이미지를 생성하도록 확산 모델을 안내하기 위해 분류기의 기울기를 취하는 것이 포함됩니다.
이 섹션에서 Dhariwal은 그래디언트가 분류기 에서 직접 사용되기 때문에 샘플링 프로세스에서 분류기를 유지해야 하는 필요성에 대해 설명합니다. 수정된 역 프로세스는 추가 분산이 있는 항을 사용하는데, 이는 추가 매개변수 s에서 스케일링이 있는 프로세스의 단계 크기 제어입니다. s 매개변수는 모델이 분포 모드와 더 좁은 결과에 초점을 맞추는 데 도움이 됩니다. s의 작은 값은 분류기에 큰 영향을 미치지 않지만 큰 값은 큰 영향을 미칩니다. 스케일 팩터는 분류자로부터 받은 지침을 제어하고 그것이 축소되는 분포에 영향을 미칩니다.
이 섹션에서 Prafulla Dhariwal은 확산 모델을 사용하여 텍스트 설명을 기반으로 예술을 생성하는 방법에 대해 설명합니다. 텍스트 설명에 대한 확산 모델을 조정함으로써 모델이 텍스트와 일치하는 이미지를 생성하도록 유도할 수 있습니다. CLIP을 사용하여 이미지와 텍스트가 얼마나 밀접하게 정렬되는지 측정할 수 있으며 그라데이션을 사용하여 모델의 생성 프로세스가 텍스트 설명을 향하도록 할 수 있습니다. 또는 분류기 없는 안내를 사용하여 레이블이 있거나 없는 확산 모델을 훈련한 다음 두 예측 간의 차이를 테스트 시간 동안 넛지 방향으로 사용할 수 있습니다. 척도 매개변수는 레이블 기반 분포에 대한 넛지의 양을 제어하는 데 사용됩니다.
00:35:00 이 섹션에서 발표자는 분류자 없는 안내라는 텍스트 조건부 모델에 대한 안내 형식에 대해 설명합니다. 이 방법은 생성된 이미지가 올바른 클래스에서 나올 확률을 높이기 위해 모델이 어느 방향으로 가야 하는지 예측하도록 모델에 요청함으로써 안내를 위해 확산 모델 자체를 사용하는 것을 포함합니다. 화자는 또한 이미지에 점진적으로 요소를 추가하는 것에 대한 질문에 답하고 이를 달성하기 위한 두 가지 가능한 방법을 제안합니다. 그 중 하나는 노이즈를 사용하여 생성된 이미지를 반복적으로 수정하고 새로운 프롬프트로 프로세스를 다시 실행하는 것입니다. 연사는 CLIP 안내와 분류기 없는 안내의 효과를 비교하는 샘플을 제시하며 후자가 최상의 결과를 생성합니다.
이 섹션에서 Prafulla Dhariwal은 확산 기술을 사용하는 이미지 생성을 위한 새로운 모델 클래스에 대해 설명합니다. 그는 이 모델이 자동 회귀적으로 작업을 수행하는 것이 아니라 인페인팅과 같은 더 복잡한 작업을 허용하는 전체 이미지를 생성한다고 설명합니다. 인페인팅에는 이미지의 일부를 마스킹한 다음 모델을 사용하여 해당 부분을 채우는 작업이 포함됩니다. 이는 텍스트 조건 인페인팅으로 수행할 수도 있습니다. 여기서 텍스트 레이블이 제공되어 모델에 영역을 인페인팅하는 방법을 알려줍니다. 반복 인 페인팅을 사용하여 소파 위 벽에 코기 그림을 추가하는 것과 같이 이미지에 항목을 하나씩 추가할 수 있습니다. 이 모델은 DALL·E와 같은 이전 모델보다 더 사실적인 샘플을 생성하고 더 적은 매개변수를 사용했습니다.
강의의 이 섹션에서 Prafulla Dhariwal은 인 페인팅을 사용하여 이미지에서 개체를 제거하거나 누락된 정보를 채우는 방법에 대해 설명합니다. 그는 또한 사각형을 이미지 외부로 이동하고 모델이 해당 영역을 채우도록 요청하는 아웃 페인팅에 대해 설명합니다. 또한 Dhariwal은 원본이 문제 이미지를 생성할 수 있기 때문에 출시된 노트북은 필터링된 GLIDE 모델을 사용한다고 지적합니다. 성능 차이에도 불구하고 더 작은 모델은 여전히 사실적으로 보이는 이미지를 생성할 수 있습니다. 그는 멋진 프롬프트를 찾고 이를 아웃 페인팅 기법으로 확장하여 Twitter에서 사용자가 생성한 아트워크의 예를 보여줍니다. 마지막으로 원본 GLIDE 모델에 의해 생성된 위험에 관한 질문이 있습니다. Dhariwal은 자세한 내용을 위해 논문을 읽을 것을 권장합니다.
이 섹션에서 발표자는 모델의 유용성과 생성된 콘텐츠의 잠재적 인 위험 간의 균형에 대해 논의합니다. 연사는 모델이 오해의 소지가 있거나 폭력적인 데이터를 쉽게 생성할 수 있는 강력한 도구라는 점에서 모델이 안전한 콘텐츠만 생성하도록 보장하는 것이 어렵다는 점을 강조합니다. 모델의 안전하지 않은 부분을 걸러내기 위해 팀은 잠재적으로 문제가 있는 데이터 포인트를 식별하도록 분류자를 훈련해야 합니다. 발표자는 확산 프로세스의 스케일 및 시간 단계 선택, 이미지 파일에 사용자 지정 마스크를 추가하여 특정 영역을 인페인팅하는 방법과 같이 모델을 배포할 때의 실질적인 문제에 대해 계속 논의합니다.
00:55:00 이 섹션에서 Prafulla Dhariwal은 생성 예술에 사용되는 모델 뒤에 있는 이론에 관심이 있는 사람들을 위해 추가 읽기를 권장합니다. 그는 CLIP 지침 및 분류자 없는 지침에 대한 자세한 내용은 Jonathan Ho의 "De-Noising Diffusion Probabilistic Models Paper"와 "Diffusion Models Beat GANs on Image Synthesis"에 대한 자신의 문서를 읽을 것을 제안합니다. 또한 Dhariwal은 확산 모델을 이해하기 위한 다른 렌즈인 스코어 매칭의 다른 관점에서 문제에 접근하는 Yang Song의 논문 "Generative Modeling by Estimating Gradients of the Data Distribution"을 추천합니다. Q&A 중에 Dhariwal은 사용된 2차원 노이즈와 모델의 출력 사이에 관계가 있지만 간접적이라는 점에 주목합니다. 그는 이 관계를 보다 명확하게 만드는 방법으로 처음에 노이즈를 한 번 샘플링한 다음 모델에서 샘플링하기 위해 결정적 역 프로세스를 실행할 것을 제안합니다.
이 섹션에서 연사는 노이즈 제거 프로세스와 CLIP 없이 이미지를 생성할 때 텍스트 컨디셔닝의 역할에 대해 논의합니다. 그들은 텍스트 레이블 없이 모델을 훈련하면 주어진 텍스트 분포에 대한 샘플을 생성하기 어렵지만 확산 모델은 텍스트 조건부로 훈련된다고 설명합니다. 무조건 모델과 조건부 모델 모두에서 지침을 사용할 수 있지만 원래 모델은 지침을 사용하여 텍스트가 주어진 이미지를 생성하는 능력을 향상시킬 수도 있습니다. 연사는 시청자에게 블로그를 읽고 자세한 내용은 다른 Colab 노트북을 탐색하도록 권장합니다.
이 강의에서 Sarah Schwettmann은 예술, 정신 및 기계 간의 교차점에 대해 논의합니다. 그녀는 시각적 인식과 2D 캔버스를 통해 풍부한 3D 세계를 경험하는 도전에 대해 탐구합니다. 이를 위해서는 뇌가 역 문제를 해결하고 들어오는 정보에 대한 최상의 설명을 구성해야 합니다. Schwettmann은 또한 GAN 반전을 사용하여 Met 컬렉션 이미지를 기본 모델의 기능 공간에 삽입하여 인간 창의성의 구조를 이해하고 임의의 시각적 개념 어휘를 생성하는 것과 같이 예술 작품에 대해 훈련된 심층 생성 모델과 관련된 프로젝트에 대해 이야기합니다. 눈에 띄거나 가능한 변환 공간을 샘플링하고 이러한 샘플 방향을 화면으로 사용하여 인간의 지각적 판단을 투사함으로써 GAN 잠재 공간. 이 과정에서 인간의 상호 작용과 레이블 지정이 중요하며, 결과 어휘를 다른 모델에 적용하고 다양한 방식으로 이미지를 조작하는 데 사용할 수 있습니다. 다양한 단어 선택으로 인한 데이터의 노이즈에도 불구하고 모든 크기의 주석 라이브러리를 사용하여 어휘를 추출하는 방법을 확장할 수 있으며 자동으로 방향에 레이블을 지정하도록 캡션 작성자를 교육할 수 있습니다.
Sarah Schwettmann은 또한 인간 창조에 대해 훈련된 모델 내에서 방향을 탐구하고 의미를 할당하는 다양한 방법에 대해 논의합니다. 그녀는 언어 없이 시각적 방향을 캡처하고 학습하는 실험을 제시합니다. 이를 통해 인간은 잠재 공간 또는 기능 공간에서 샘플링된 작은 이미지 배치와 상호 작용하여 순전히 시각적으로 원하는 변형을 정의할 수 있습니다. 이 방법은 미묘하고 설명하기 어려운 기능으로 이미지에 레이블을 지정하고 이해하는 데 유용합니다. 또한 잠재 공간은 인간의 경험을 투사할 수 있는 화면이 될 수 있으므로 연구자는 공식화하기 어려운 인간 지각의 측면을 더 잘 이해할 수 있습니다.
00:00:00 이 섹션에서 Sarah Schwettmann은 신경과학에 대한 그녀의 배경과 특히 시각 예술과 더 높은 수준의 인지 측면이 교차하는 영역에서 자기와 세상 사이의 만남에 관심을 갖게 된 방법에 대해 설명합니다. 그녀는 시각적 인식이 근본적으로 건설적이라고 설명하며 잘못 제기된 역 문제를 해결하기 위해 약간의 창의성이 필요하며 인간의 눈의 뒷면은 2D 캔버스를 구성하는 세포 계층으로 구성된 2D 평면 캔버스라고 지적합니다. 들어오는 이미지 데이터를 수집하고 세포 모자이크를 통해 활성화 패턴으로 이미지를 나타냅니다.
00:05:00 강의의 이 섹션에서 Sarah Schwettmann은 2D 캔버스를 통해 보는 동안 풍부한 3D 세계를 경험하는 문제에 대해 설명합니다. 고전적인 컴퓨터 비전 문제는 개체의 3D 구조를 인식할 수 있지만 개체와 관련된 의미 및 연관성을 전달할 수는 없습니다. 우리의 두뇌는 낮은 2차원 정보에서 풍부한 3D 정보를 얻으려면 역 문제를 해결해야 합니다. 이는 동일한 2D 프로젝션을 유발할 수 있는 구성이 무한히 많기 때문에 잘못 제기된 문제입니다. 지각은 근본적으로 건설적이며 두뇌가 들어오는 정보에 대한 최상의 설명을 구성하여 창조 행위로 만들어야 합니다. 이 추론 문제를 해결하는 인기 있는 방법 중 하나는 베이지안 또는 딥 러닝 접근 방식과 같은 세계 모델을 사용하는 것입니다. 그런 다음 Schwettmann은 시각적 정보가 한 줄의 빨간색 레이저 광선으로 제한되어 청중이 검은색 벨벳으로 덮인 테이블에 앉아 있는 것이 무엇인지 추론하도록 하는 라이브 데모의 예를 제공합니다.
00:10:00 비디오의 이 섹션에서 Sarah Schwettmann은 모양과 형태에 대한 우리의 정신 모델이 우리의 인식에 도움이 되는 방법에 대해 설명합니다. 그녀는 한 줄의 레이저 빛이 여러 모양의 표면 위로 이동하는 예와 빛이 표면 주위에서 구부러지는 방식을 기반으로 이러한 모양이 무엇인지 추론할 수 있는 방법을 제시합니다. 이것은 직관적인 물리학에 대한 토론과 물리적 시뮬레이션을 위한 추상적 일반화 엔진에 대한 입력으로 사용될 수 있는 질량과 같은 물리적 특성을 뇌가 나타내는 방법으로 이어집니다. Schwettmann은 또한 기본 차원이 불분명한 특정 예술 작품에 대한 계산 형식주의를 개발하는 것이 얼마나 어려운지를 설명하면서 예술 모델의 주제를 다룹니다.
00:15:00 이 섹션에서 Dr. Sarah Schwettmann이 MIT에서 제공하는 예술 및 신경과학 과정의 비전에 대해 설명합니다. 신경과학 문헌, 계산 및 예술 실습을 통해 비전의 기본 원리를 탐구하는 심도 있는 세미나입니다. Schwettmann은 Minor White의 사진에서 예를 제시하고 다양한 요소가 실제 인식에 어떻게 영향을 미칠 수 있는지에 대해 논의합니다. 이 과정에는 학생들이 예술적 맥락에서 비전의 원리를 구체화하고 시각화하는 방법을 탐구하는 스튜디오 섹션도 포함되어 있습니다. 또한 교과 과정은 미술 전시회 작품을 개발하여 학생들에게 자신의 작품을 선보일 수 있는 독특한 기회를 제공합니다.
00:20:00 이 섹션에서 Sarah Schwettmann은 심층 생성 모델을 사용하여 인간 창의성의 구조를 이해하는 방법에 초점을 맞춘 프로젝트에 대해 논의합니다. 메트로폴리탄 미술관은 컬렉션에 포함된 수십만 개의 디지털 이미지 데이터 세트를 제공했습니다. 연구자들은 문화적 맥락에서 창조된 작업을 포함하는 이러한 아카이브와 관련된 심층 생성 모델을 구축할 수 있는지 질문했습니다. 그들은 GAN(Generative Adversarial Network) 반전을 사용하여 데이터 세트의 각 이미지를 기초 모델의 기능 공간에 삽입했습니다. 이를 통해 데이터 세트에서 모델을 재훈련하지 않고 상호 작용할 수 있는 이러한 큰 모델의 하위 공간을 정의할 수 있었습니다. 이 프로젝트는 현재의 급속한 진화를 허용하는 타임라인에서 문화사를 실험하는 것을 목표로 했습니다.
00:25:00 이 섹션에서 Schwettmann은 Met 컬렉션 및 BigGAN ImageNet과 관련하여 작업한 프로젝트에 대해 설명합니다. 그들은 둘 사이에 공유되는 범주를 선택하고 두 부분으로 구성된 손실을 생성하여 Met 이미지와 BigGAN 이미지 간의 픽셀 및 시맨틱 수준의 유사성을 최대화했습니다. 개별 임베딩을 시각화하고 그래프에서 기존 이미지 사이를 보간하여 컬렉션의 기존 작품 공간 사이에 존재하는 가상 또는 꿈 같은 이미지를 만들 수 있었습니다. 이 프로젝트는 Met에 전시되었고 웹 앱 버전이 제공되었습니다. 이 프로젝트는 StyleGAN2-ADA를 사용하여 더 작은 데이터 세트에서 학습하면서 계속 발전하고 있습니다.
00:30:00 이 섹션에서 Schwettmann은 과정에서 다루는 조종성 작업을 시각적으로 표현하기 위해 로봇 오일 페인터를 사용하여 잠재 공간에서 짧은 산책을 통해 계층화된 유화를 만드는 프로젝트에 대해 이야기합니다. 이 프로젝트는 University of North Texas의 현대 미술 갤러리에서 전시되고 있습니다. 그녀는 또한 고유한 잠재 워크에서 구축된 예술의 대체 및 가상 역사를 만드는 것을 목표로 박물관 디지털 컬렉션의 예술 작품 본체에 대해 훈련된 생성 모델의 기본 차원을 이해하고 해석하는 것의 중요성에 대해 논의합니다. 목표는 매우 다양한 예술 장르에 걸쳐 존재할 수 있는 그림 언어의 공유된 측면을 이해하는 것입니다.
00:35:00 이 섹션에서 Schwettmann은 특히 개별 예술 제작 기술 및 스타일 모델링과 관련하여 모델링 창의성과 기계 학습 간의 교차점에 대해 논의합니다. 그녀는 또한 예술 작품에 대해 훈련된 생성 모델이 창의성의 기본 구조에 대한 통찰력을 제공할 수 있으며 협업을 위한 도구로 사용될 수 있다고 언급합니다. 그런 다음 Schwettmann은 잠재 보행의 시각화 및 상호 작용을 허용하는 실험 설계와 같이 인간의 비전에 대해 더 많이 배우고 공유 어휘를 구축하기 위해 인간이 생성 모델과 상호 작용할 수 있는 방법을 탐색합니다. 이 과정에서 인간의 상호작용은 교육 데이터 세트를 위한 대표 이미지 선택과 잠재 공간을 통한 임의의 보행 선택을 포함하며, 다음 단계는 다양한 보행을 위한 보다 체계적인 언어를 만드는 것입니다.
00:40:00 이 섹션에서 Sarah Schwettmann은 예술 발전의 미묘한 변화를 생성하기 위해 잠재 공간을 통한 다양한 보행의 레이블 지정 및 선택에서 인간 상호 작용의 사용에 대해 논의합니다. 그녀는 중간 캡션 작성자에 의존하지 않고 모델을 직접 참여시키고 다양한 종류의 인간을 루프로 끌어들여 그들의 지식을 사용하여 생성 모델과 고유한 합성을 만드는 것의 중요성을 강조합니다. 그런 다음 Schwettmann은 임의의 GAN 잠재 공간에 대한 시각적 개념 어휘를 구축하는 데 초점을 맞춘 프로젝트에 대해 논의합니다. 여기에는 현저하거나 가능한 변형 공간을 샘플링하고 이러한 샘플 방향을 화면으로 사용하여 인간의 지각적 판단을 투사하는 작업이 포함됩니다. 목표는 개념을 개방형 구성 시각적 개념의 어휘로 분리하고 모델 표현의 심층 기능과 시각적 장면 이해에서 인간에게 의미 있는 개념 간의 공유 어휘를 정의하는 것입니다.
00:45:00 강의의 이 섹션에서 Sarah Schwettmann은 인간이 다양하고 구체적인 어휘에 대한 데이터 세트에 레이블을 지정하는 데 어떻게 사용될 수 있는지에 대해 설명합니다. Schwettmann은 BigGAN의 일부 레이어에서 피처 표현의 변화를 최소화하는 상호 직교 레이어 선택적 방향을 정의함으로써 다양한 추상화 수준에서 집중된 변화와 변화를 포착할 수 있습니다. 그런 다음 이러한 최소한의 의미 있는 변형은 인간 뷰어에 의해 레이블이 지정되고 Schwettmann은 단일 단어로 레이블이 지정된 단일 방향으로 구성된 시각적 개념 어휘로 분해됩니다. 2000개 이상의 개념이 다양한 유형의 시각적 변화에 해당하는 것으로 밝혀져 확대/축소, 회전, 색상, 심지어 분위기 변화와 같은 조작이 가능합니다. 이 과정을 통해 Schwettmann은 주방을 보다 현대적으로 보이게 만들고 이러한 변형을 다른 이미지에 적용하는 것과 같이 뷰어 라벨이 붙은 개념에 해당하는 변형을 풀 수 있습니다.
00:50:00 이 섹션에서 Sarah Schwettmann은 실제 이미지에서 훈련된 모델의 잠재 공간에서 인간에게 의미 있는 시각적 관심의 차원을 찾기 위해 제안된 방법의 구성 가능하고 일반화 가능한 특성에 대해 논의합니다. 그들은 그들의 방법의 성공을 평가하기 위해 일련의 행동 실험을 수행했고 한 범주에서 배운 개념을 다른 범주에 추가하는 것이 가능하다는 것을 발견했습니다. 이 방법은 모델에 구애받지 않으며 예술 이미지 아카이브에 대해 훈련된 모델을 포함하여 다른 모델에 적용할 수 있습니다. 잠재 공간을 샘플링하는 데 사용할 수 있는 다른 방법도 있지만 레이어 선택 방법이 특정 변경 사항을 격리하는 데 가장 효과적인 것으로 나타났습니다. 주석에는 사람의 개입이 여전히 필요하지만 향후 작업에는 전문가가 특수 모델에 주석을 달 수 있는 기회를 유지하면서 더 큰 레이블이 지정된 데이터 세트에 대한 캡션 작성자 교육 또는 자동 주석에 CLIP과 같은 것을 사용하는 작업이 포함될 수 있습니다.
00:55:00 비디오의 이 섹션에서 Sarah Schwettmann은 프로젝트의 주석 프로세스와 시각화할 방향을 선택하는 데 필요한 의사 결정에 대해 설명합니다. 팀은 개체 간 일치를 측정하기 위해 각 방향에 대해 최소 2개의 주석을 수집했으며 주석 간 일치를 위해 BLEU 및 BERTScores를 사용했습니다. 그들은 범주당 64z와 그들에게 최소한의 의미 있는 여러 방향을 시각화했습니다. 결정은 임시방편적이었지만 그들이 사용한 방법은 모든 크기의 주석 라이브러리를 사용하여 어휘를 추출할 수 있습니다. 그들은 이제 방향을 자동으로 레이블 지정하도록 캡셔너를 교육하기 위해 확장하고 더 많은 주석을 수집할지 여부를 결정하고 있습니다. 라벨링 측면에서 단어 선택 측면에서 주석 작성자에 대한 표준이 없었기 때문에 데이터에 약간의 노이즈가 발생했습니다. 그들은 연습을 하고 주석을 달기 전에 예를 살펴보았지만, 주석 사이의 일치는 그들의 단어 선택이 제공한 인식에 대한 원시 창에만 기반을 두었습니다.
01:00:00 이 섹션에서 화자는 하늘의 변화를 설명하는 데 사용되는 어휘를 평가하는 연구에 대해 논의합니다. 그들은 주석의 의미론적 유사성을 평가하기 위해 BERTScores를 사용하는 것이 단어 기반 대응을 보는 것보다 더 효과적이라는 것을 발견했습니다. 그들은 또한 힘을 높이기 위해 하나의 우산 아래 유사한 주석을 축소하는 아이디어에 대해 논의하지만 변화를 설명하는 데 사용되는 다른 단어의 아름다움에 주목합니다. 그런 다음 발표자와 청중은 잠재 공간의 하위 공간을 통한 비선형 보행과 형용사에 해당하는 시각적 의미의 정규화 부족에 대해 논의합니다. 발표자는 인간과 모델 간에 공유 어휘를 구축하기 위한 베타 방법으로 결론을 내립니다.
01:05:00 이 섹션에서는 Sarah Schwettmann이 언어 없이 시각적 방향을 캡처하고 학습하는 실험에 대해 설명합니다. 이 방법은 "조향성 작업"에서 영감을 얻었으며 인간이 잠재 공간 또는 기능 공간에서 샘플링된 작은 이미지 배치와 상호 작용하여 순전히 시각적으로 원하는 변환을 정의할 수 있습니다. 사용자는 정의하려는 특정 시각적 기능의 방향으로 이미지를 정렬할 수 있으며 방법은 조종성 작업과 함께 simpatico입니다. 그들은 서로 다른 클래스의 이미지와 샘플 이미지를 잠재 공간에서 분리하는 초평면을 학습하여 순전히 변환을 정의했습니다. 각 범주의 몇 가지 이미지를 사용하여 어느 정도의 신뢰성으로 이러한 방향을 식별할 수 있으므로 사용자가 이러한 시스템과 간단하게 상호 작용할 수 있습니다. 이 방법은 미묘하고 설명하기 어려운 기능이 있는 이미지에 레이블을 지정하고 이해하는 데 유용합니다.
01:10:00 강의의 이 섹션에서 Sarah Schwettmann은 잠재 공간과 인간 창조에 대해 훈련된 모델 내에서 발견된 방향에 대한 의미를 탐구하고 지정하는 데 잠재 공간이 어떻게 사용될 수 있는지에 대해 논의합니다. 모델이 범주 간의 시각적 차이를 학습하는 방법을 조사함으로써 연구원은 충만도와 같은 의미 있는 차원을 학습할 수 있으며, 이는 모델이 훈련된 것 이상의 장면에 적용할 수 있습니다. 이 과정을 통해 잠재 공간은 인간의 경험을 투사할 수 있는 화면이 될 수 있으며, 연구자는 공식화하기 어려운 인간의 인식 측면을 더 잘 이해할 수 있습니다. 그 결과 인간과 기계가 협력하여 절묘한 결과물을 만들어낼 수 있습니다.
01:15:00 이 섹션에서 Sarah Schwettmann은 잠재 공간에 대한 아이디어와 우리의 상상력과 우리가 만든 모델 사이의 연결에 대해 논의합니다. 그녀는 이 관계에 대한 감사를 표한 다음 청중의 남은 질문을 허용하면서 비디오를 끝냅니다.
이 강의에서 Jascha Sohl-Dickstein은 학습 데이터와 별개의 작업을 학습하는 데 사용되는 확산 모델에 대해 설명합니다. 모델은 확률적이며 데이터를 인코딩하거나 디코딩하는 데 사용할 수 있습니다. 순방향 확산 과정은 고정된 과정이며 역방향 과정도 마찬가지입니다.
이 강의는 확산 확률 모델에 대해 논의하고 잠재 공간과 이미지 공간 사이에 일대일 대응이 있지만 동일한 모델 내에서 여러 클래스로 작업할 수 있음을 설명합니다. 강의는 계속해서 이러한 모델을 사용하여 새로운 이미지를 생성하는 방법을 설명합니다.
00:00:00 이 강연에서 Jascha Sohl-Dickstein은 예술을 포함한 다양한 분야에서 이미지를 생성하는 데 사용되는 확산 모델에 대해 논의합니다. 그는 또한 더 나은 이미지를 생성하기 위해 확산 모델이 텍스트와 함께 사용되는 방법에 대한 예를 공유합니다.
00:05:00 이 강의에서 Jascha Sohl-Dickstein은 확산 모델의 물리적 직관에 대해 논의하고 데이터 분포에서 샘플을 생성하는 데 사용할 수 있는 방법을 보여줍니다. 그런 다음 확산 모델과 신경 ODE 간의 연결에 대해 설명합니다.
00:10:00 이 비디오에서 MIT 전기 공학과의 Jascha Sohl-Dickstein 교수는 시간 경과에 따른 시스템 동작을 연구하는 데 사용되는 확산 모델에 대해 설명합니다. 확산 모델의 주요 이점 중 하나는 시스템의 기본 구조에 대한 정보를 잃지 않고 시간이 지남에 따라 진화하는 시스템을 나타내는 데이터 샘플을 생성하는 데 사용할 수 있다는 것입니다.
00:15:00 이 강의에서 Jascha Sohl-Dickstein은 확산 모델이 작동하는 방식을 설명합니다. 먼저 그는 1D 예제가 300만 차원에서 어떻게 설명되는지 보여줍니다. 다음으로 확산 모델이 2D 및 3D에서 작동하는 방식을 설명합니다. 마지막으로 그는 확산 모델을 사용하여 일련의 가우시안의 평균과 공분산을 설명하는 함수를 학습하는 방법을 보여줍니다.
00:20:00 이 강의에서 Jascha Sohl-Dickstein은 확산 모델의 수학적 기초를 다루며 변형 범위를 사용하여 모델을 훈련시키는 방법을 설명합니다. 또한 Jensen의 부등식과 모델의 로그 우도를 낮추는 방법에 대해서도 설명합니다. 궤적에 대한 순방향 및 역방향 분포가 정확히 겹치는 경우 로그 가능성은 두 분포가 모두 가우시안인 KL 분기에 대한 합계로 기록될 수 있습니다.
00:25:00 이번 강의에서 Dr. Sohl-Dickstein은 지도 학습에 대한 중요성을 설명하면서 두 확률 분포 사이의 KL 분기에 대해 설명합니다. 그는 계속해서 일반적으로 KL은 데이터에서 모델로 계산되며 데이터의 로그 우도와 연결되어 있다고 말합니다. 그는 또한 반대 방향의 KL 발산을 계산하는 것이 어려울 수 있다고 지적합니다.
00:30:00 이 강의에서 Jascha Sohl-Dickstein은 확률적 미분 방정식(SDE)을 사용하여 노이즈가 데이터 분포로 확산되는 것을 모델링하는 방법을 설명합니다. 그는 확산 과정을 확률적 미분 방정식으로 변환하는 방법과 점수 함수에 대한 세타의 근사치를 훈련하기 위해 로그 우도 점수 함수의 기울기를 사용하는 방법을 설명합니다.
00:35:00 이 강의에서는 확산 모델링 알고리즘과 다른 모델링 기법에 비해 장점에 대해 설명합니다. 알고리즘은 이산 시간 SDE와 점수 함수로 설명하고 샘플링 프로세스는 신경망으로 설명합니다. 강의는 몇 가지 샘플 생성 기술을 시연하는 것으로 끝납니다.
00:40:00 이 강의에서는 확률론적 모델과 결정론적 모델의 차이점과 둘 사이를 변환하는 방법을 다룹니다. 강의에서는 모델링에 SDE와 ODE를 사용할 때의 장점과 단점에 대해서도 설명합니다.
00:45:00 이 강의에서 Jascha Sohl-Dickstein은 확산 모델이 일반 선형 모델과 어떻게 다른지, 제어된 조건에서 노이즈 샘플 생성을 제어하는 등 다양한 목적으로 어떻게 사용할 수 있는지 설명하면서 확산 모델의 이론을 다룹니다. 그는 또한 조건부 분포에 대한 사전 지식 없이도 확산 모델의 두 번째 항을 훈련하는 데 사용할 수 있는 베이즈의 규칙에 대해 언급합니다.
00:50:00 이 강의에서 Jascha Sohl-Dickstein은 확산 모델을 사용하여 그럴듯한 그림 속 또는 이미지의 색상을 생성하는 방법을 설명합니다. 그는 또한 모델의 인코딩이 고유하게 식별 가능하며, 이는 어떻게 보는지에 따라 긍정적이거나 부정적이라고 언급합니다. 마지막으로 그는 모델을 재교육할 필요 없이 모델을 사용하여 참신한 예술적 창작물을 생성하는 방법을 보여줍니다.
00:55:00 이 강의에서는 교육 데이터와 별개의 작업을 학습하는 데 사용되는 확산 모델에 대해 설명합니다. 모델은 확률적이며 데이터를 인코딩하거나 디코딩하는 데 사용할 수 있습니다. 순방향 확산 과정은 고정된 과정이며 역방향 과정도 마찬가지입니다.
01:00:00 이 강의는 확산 확률 모델에 대해 논의하고 잠재 공간과 이미지 공간 사이에 일대일 대응이 있지만 동일한 모델 내에서 여러 클래스로 작업할 수 있음을 설명합니다.
발표자는 기본 데이터에 액세스하지 않고도 사전 훈련된 생성 모델에 액세스할 수 있는 모델 동물원의 개념에 대해 논의합니다. 대조 학습을 활용하여 연구원은 동일한 객체에 대한 다른 보기를 생성할 수 있으며, 이는 표현 공간 내에서 동일한 이웃에 속합니다. 그들은 잠재 공간에서 간단한 가우시안 변환이 효과적이며 IGM에서 더 많은 샘플을 생성하면 더 나은 표현으로 이어진다는 것을 발견했습니다. 특정 도메인의 StyleGAN Car와 같은 전문 IGM은 실제 데이터에서 학습한 표현보다 성능이 뛰어납니다. 프로젝트 웹 사이트 및 Github 코드는 추가 탐색에 사용할 수 있습니다.
00:00:00 이 섹션에서 발표자는 기본 데이터에 액세스하지 않고도 사전 훈련된 생성 모델에 액세스할 수 있는 모델 동물원의 개념에 대해 논의합니다. 계속해서 암시적 생성 모델을 조정하여 생성된 이미지의 많은 변환을 제공할 수 있는 방법을 설명합니다. 대조 학습을 활용하여 연구원은 동일한 객체에 대한 다른 보기를 생성할 수 있으며, 이는 표현 공간 내에서 동일한 이웃에 속합니다. 잠재 공간에서 이동하고, 앵커에 대한 다양한 보기를 생성하고, 변환을 함께 결합함으로써 연구원은 이러한 IGM에서 표현을 학습할 수 있습니다. 이 연구는 IGM이 제공하는 두 변환을 모두 적용하면 실제 데이터의 성능에 더 가까워지고 경쟁할 수 있음을 보여주었습니다. 결과는 StyleGAN Car의 경우 실제 데이터보다 놀라울 정도로 높았습니다.
00:05:00 이 섹션에서 발표자는 표현 학습을 위한 다양한 보기를 만드는 데 있어 대조 학습 및 조종 가능성의 사용에 대해 논의합니다. 그들은 잠재 공간에서 간단한 가우시안 변환이 효과적이며 IGM에서 더 많은 샘플을 생성하면 더 나은 표현으로 이어진다는 것을 발견했습니다. 그들은 또한 특정 도메인의 StyleGAN Car와 같은 전문 IGM이 실제 데이터에서 학습한 표현을 능가할 수 있음을 발견했습니다. 프로젝트 웹 사이트 및 Github 코드는 추가 탐색에 사용할 수 있습니다.
Table of Contents: Setup Visualizations - plotting image panels, videos, and distributions Training - pipeline for training your encoder Testing - pipeline for testing/transfer learning your encoder Notebooks - some jupyter notebooks, good place to start for trying your own dataset generations Colab Demo - a colab notebook to demo how the...
저명한 수학자 Gilbert Strang은 선형 대수학에 크게 의존하는 기계 학습의 중요한 부분인 딥 러닝 교육에서 시험보다 프로젝트의 중요성을 강조합니다. 그는 프로젝트를 통해 학생들이 실제 세계에서 딥 러닝을 적용하는 방법을 이해하고 보다 효과적인 학습 방법이라고 믿습니다. Strang은 또한 가르치는 것이 단순히 학생들을 평가하는 것이 아니라 학생들과 함께 배우고 배우는 것이라고 강조합니다. 그는 새로운 교수들에게 큰 분필을 사용하고 성공적으로 가르칠 수 있도록 시간을 내어 수업에 남아 있으라고 조언합니다.
00:00:00 이 섹션에서 Gilbert Strang은 선형 대수학에 크게 의존하는 기계 학습의 중요한 부분인 딥 러닝 교육에 어떻게 참여하게 되었는지 설명합니다. 그는 또한 학생들에게 실제 상황에서 딥 러닝을 사용하는 방법에 대한 아이디어를 제공하고 더 효과적인 학습 방법이기 때문에 프로젝트가 시험보다 훨씬 낫다고 강조합니다. 학생들이 자신의 질문을 하고 자신의 프로그램을 작성하게 함으로써 흥미롭고 기억에 남는 프로젝트를 만들 수 있습니다. 그러나 Strang은 처음 이런 방식으로 과정을 가르치기 시작했을 때 무엇을 기대해야 할지 전혀 몰랐고 프로젝트 촉진의 물류를 파악하는 데 시간이 걸렸다고 인정합니다.
00:05:00 비디오의 이 섹션에서는 Gilbert Strang이 학생들의 작업 채점에 관한 자신의 철학에 대해 설명합니다. 그는 교사로서 자신의 주된 임무는 학생들을 채점하는 것이 아니라 학생들과 함께 가르치거나 배우는 것이라고 믿습니다. 그는 채점이 중요하다는 것을 인정하지만 그것이 그의 주요 관심사는 아닙니다. 그는 신임 교수들에게 큰 분필을 사용하고 서두르지 말고 수업에 참여하라고 조언합니다. 그는 가르치는 것이 가능한 최고의 직업이라고 믿습니다.
Strang 교수는 선형 대수학, 심층 학습, 최적화 및 통계라는 네 가지 주요 주제를 다루는 새로운 과정 18.065를 소개합니다. 이 과정은 최상의 행렬, 대칭 및 직교 행렬 및 선형 대수와의 관계에 중점을 둡니다. 또한 선형 대수학의 기초이며 며칠 또는 몇 주 동안 GPU를 사용해야 할 수 있는 복잡한 계산을 포함하는 딥 러닝을 다룰 것입니다. 학습 함수의 수치를 좋은 범위 내에서 유지하는 역할을 하는 통계, 학습 알고리즘에서 중요한 최적화 및 확률 이론, 과학 및 공학 응용에서 핵심적인 역할을 하는 미분 방정식을 다룹니다. . 이 과정에는 주제에 대한 완벽한 프레젠테이션을 제공하기 위한 연습, 문제 및 토론이 포함됩니다.
00:00:00 이 섹션에서 Strang 교수는 그의 새로운 과정 18.065와 선형 대수학 및 데이터 학습에 관한 새로운 교과서를 소개합니다. 그는 이 과정이 2개의 필수 수학 과목과 2개의 보충 과목을 다루지만 중요한 수학 과목이라고 설명합니다. 첫 번째 큰 주제는 실제로 점점 더 중요해지고 있는 선형 대수학이며 Strang 교수는 최상의 행렬, 대칭 및 직교 행렬 및 이들의 관계에 중점을 둡니다. 두 번째 중요한 주제는 행렬 곱셈과 매우 간단한 비선형 함수를 사용하여 입력의 패턴을 인식하고 출력을 생성하는 학습 함수를 만드는 딥 러닝입니다. 또한 학습 알고리즘에서 중요한 최적화 및 확률 이론과 과학 및 공학 응용에서 중요한 역할을 하는 미분 방정식을 다룹니다.
00:05:00 이 섹션에서 Strang 교수는 과정에서 다룰 네 가지 핵심 주제인 선형 대수학, 심층 학습, 최적화 및 통계를 소개합니다. 선형 대수학은 며칠 또는 몇 주 동안 GPU를 사용해야 할 수 있는 복잡한 계산을 포함하는 딥 러닝을 이해하는 데 기초가 됩니다. 이 과정은 또한 학습 기능의 숫자를 좋은 범위 내에서 유지하는 역할을 하는 통계를 다룰 것입니다. 이 과정은 통계에 초점을 맞추지 않지만 딥 러닝의 맥락에서 사용됩니다. 이 과정은 주제에 대한 완벽한 프레젠테이션을 제공하기 위한 연습, 문제 및 토론을 포함하여 단순한 비디오 외에도 다양한 자료를 다룹니다.
이 강의에서는 행렬에 가능한 모든 벡터를 곱하여 얻을 수 있는 모든 벡터의 집합인 행렬의 열 공간 개념에 중점을 둡니다. 강사는 열 공간이 행렬에 따라 다르며 R3의 전체 공간 또는 더 작은 부분 집합일 수 있다고 설명합니다. 교수는 행 공간, 열 순위 및 행 순위의 개념과 이러한 순위 간의 관계에 대해 자세히 설명합니다. 강의는 또한 행렬의 열 순위가 행렬의 행 순위와 같다는 선형 대수학의 첫 번째 대정리를 간략하게 다룹니다. 또한 교수는 행렬 곱셈 방법과 프로세스에 필요한 곱셈 횟수에 대해 설명합니다. 전반적으로 강의는 선형 대수학에 대한 소개와 데이터 학습의 중요성을 제공합니다.
00:00:00 이 섹션에서 교수는 자신과 데이터 학습에 중점을 두고 많은 선형 대수를 포함하는 과정을 소개합니다. 그는 곧 출간될 책의 목차가 있는 공개 사이트에 대해 언급하고 퀴즈는 없고 선형 대수 문제와 손글씨 인식 및 이미지 연결과 같은 실용적인 응용 프로그램을 모두 다루는 숙제만 있을 것이라는 사실을 언급합니다. 그런 다음 교수는 행렬에 벡터를 곱하는 올바른 방법을 보여줌으로써 선형 대수학의 기초부터 시작하고 나중에 행렬에 행렬을 곱하는 방법을 탐구할 것입니다.
00:05:00 이 섹션에서 강사는 행렬을 벡터를 곱하여 다른 벡터를 제공하는 전체 객체로 생각하는 것의 중요성을 설명합니다. 그는 행렬에 가능한 모든 벡터를 곱하여 얻을 수 있는 모든 벡터의 집합인 행렬의 열 공간 개념을 소개합니다. 그는 열 공간이 행렬에 따라 다르며 R3의 전체 공간 또는 더 작은 부분 집합일 수 있다고 설명합니다. 궁극적으로 강사는 선형 대수학이 행렬의 열 공간과 같은 벡터 모음에 대한 질문에 답하는 방법을 제공한다고 강조합니다.
00:10:00 이 섹션에서 강사는 임의의 3x3 행렬의 열 공간이 반드시 우리 세 가지 모두일 필요는 없으며 대신 평면 또는 선일 수 있다고 설명합니다. 그는 열 공간이 단지 선인 행렬의 예와 세 번째 열이 처음 두 열의 조합인 행렬의 또 다른 예를 제공하여 열 공간을 전체 공간이 아닌 평면으로 만듭니다. 그런 다음 그는 선형 대수 및 데이터 과학의 구성 요소인 순위 1 행렬을 소개하고 열 곱하기 행 곱셈으로 생각할 수 있는 방법을 보여줍니다.
00:15:00 이 섹션에서 강사는 열의 가능한 모든 조합 집합인 행렬의 열 공간에 대해 설명합니다. 그는 독립 열의 개념과 행렬의 순위라고 하는 독립 열의 수에 대해 설명합니다. 랭크는 공간을 채우는 독립된 열의 개수이며 기저는 독립된 열로 구성됩니다. 강사는 이미 선택된 벡터의 조합이 아닌 벡터를 찾아 열 공간의 기초를 만드는 자연스러운 방법을 찾는 방법을 보여줍니다. 그는 세 개의 열이 있는 행렬을 보여줍니다. 그 중 두 개는 독립적이고 열 공간의 기초를 형성하는 반면 세 번째는 독립적이지 않고 기초의 일부가 될 수 없습니다.
00:20:00 강의의 이 섹션에서 강사는 행렬 인수분해 과정을 설명하고 대수학 근처에서 가르치는 것으로 유명한 첫 번째 행렬 인수분해를 소개합니다. 이 프로세스에는 사용자에게 다른 행렬의 열에서 한 행렬의 열을 가져오는 방법을 알려주는 행렬 R 생성이 포함됩니다. R의 모양은 원래 행렬에 의해 결정되며 강사는 올바른 행렬 분해를 얻기 위해 올바른 숫자를 입력하는 방법을 계속 설명합니다. 강의는 또한 행렬의 열 순위가 행렬의 행 순위와 같다는 선형 대수학의 첫 번째 대정리를 간략하게 다룹니다.
00:25:00 이 섹션에서 강사는 행 공간의 개념과 열 공간과의 관계를 소개합니다. 그는 행렬의 행 공간은 행의 조합이고 행렬의 열 공간은 열의 조합이라고 설명합니다. 그는 또한 행 공간의 차원이 행렬의 행 순위이며 행 공간의 기저를 찾아 결정될 수 있다고 설명합니다. 강사는 이 사실의 중요성을 지적하고 행렬의 행이 행 공간의 기초를 형성할 수 있음을 보여주는 증명을 제공합니다.
00:30:00 강의의 이 섹션에서 교수는 두 벡터가 독립적인지 확인하고 두 벡터의 조합이 모든 행을 생성하는지 확인하여 두 벡터가 행 공간의 기본인지 확인하는 방법을 설명합니다. 그는 행렬 곱셈과 관련된 예를 통해 이를 증명하고 인수 분해 a = CR이 행 공간을 찾는 핵심 아이디어임을 보여줍니다. 범위라고도 하는 열 공간은 다양한 언어와 기본 수학적 개념을 표현하는 다양한 방법을 강조하여 논의됩니다.
00:35:00 이 섹션에서 강사는 열 랭크와 행 랭크의 개념에 대해 설명합니다. 열 랭크와 행 랭크는 행렬에서 각각 선형 독립인 열과 행의 수이며 이 두 랭크 간의 관계에 대해 설명합니다. 그는 큰 행렬의 경우 모든 항목을 검사하는 것이 실용적이지 않으며 예를 들어 임의 벡터 X를 선택하고 해당 도끼를 살펴봄으로써 임의 샘플링을 사용해야 한다고 설명합니다. 강사는 또한 행렬의 열 또는 행을 취하는 것과 같은 인수분해와 행렬의 행 축소 사다리꼴에 대해서도 다룹니다.
00:40:00 비디오의 이 섹션에서 Gilbert Strang 교수는 선형 대수 문제가 과정 숙제의 일부가 될 것이라고 설명합니다. 그러나 이 과정을 특별하게 만드는 것은 MATLAB, Python 또는 Julia를 사용하여 수행할 수 있는 다른 온라인 숙제입니다. 그는 이전에 미시간에서 성공적인 EE 과정을 위해 온라인 숙제 문제를 만든 미시간 대학교의 Rao 교수가 과정의 개념을 어떻게 인정했는지에 대해 이야기합니다. 이 과정의 일부인 Johnson 교수는 매 학기마다 학생들이 참석할 수 있는 Julia에 대한 자습서를 제공합니다. MATLAB이 딥 러닝에 대한 진입로를 발표했지만 Julia는 사용 편의성으로 인해 딥 러닝을 위한 대중적인 언어가 되고 있습니다.
00:45:00 강의의 이 섹션에서 강사는 행렬에 벡터를 곱하는 주제를 다룹니다. 이것은 많은 사람들에게 간단해 보일 수 있지만 강사는 행렬 곱셈을 이해하는 더 깊은 방법을 탐구합니다. 여기에서 행렬 곱셈은 행과 열의 조합이 됩니다. 이 접근 방식은 AX=B 아이디어를 일반화한 것입니다. 여기서 AB는 외부 곱의 합입니다. 이 강의에서는 M x N 행렬에 N x P 행렬을 곱하는 데 필요한 개별 곱셈의 수에 대해 간략하게 설명합니다.
00:50:00 이 섹션에서 강사는 이전 방법과 새로운 방법의 예를 사용하여 행렬 곱셈에 필요한 곱셈 횟수에 대해 설명합니다. 기존 방법에서는 내적을 수행하려면 n개의 곱셈이 필요하고 답에는 m과 p의 내적이 있으므로 전체적으로 m과 p가 곱해집니다. 그러나 새로운 방법은 각각의 열과 행 곱셈에 대해 mp 곱셈이 필요하며, 이것들이 n개이므로 mp 곱하기 n 곱셈이 됩니다. 다른 방법론에도 불구하고 두 방법 모두 동일한 답을 도출하며 강사는 금요일에 이에 대해 더 논의할 것이라고 말했습니다.
이 강의는 행렬의 곱셈과 인수분해의 기초를 다룹니다. 저자는 행렬이 어떻게 행 공간과 열 공간 모두에서 차원을 갖는지, 그리고 행 공간이 어떻게 R 차원을 갖는 반면 null 공간은 차원 M - R을 갖는지를 설명합니다. 강의는 또한 행과 방정식의 해 사이의 관계뿐만 아니라 2차원 공간에서 벡터의 직교성. 마지막으로 저자는 기하학을 풀어야 공간의 차원이 제대로 나온다는 선형대수학의 기본 정리를 설명한다.
00:00:00 이 강의에서 Gilbert Strang은 열 곱하기 행을 방법으로 사용하여 행렬을 곱하는 방법을 설명합니다. 그녀는 또한 행렬의 5가지 핵심 분해와 수학에서 이들이 얼마나 중요한지에 대해 설명합니다. 마지막으로 그녀는 행렬을 만드는 방법을 보여주고 선형 대수학에서 행렬의 중요성에 대해 논의합니다.
00:05:00 이 강의에서 저자는 직교 행렬의 개념과 그 의미에 대해 설명합니다. 그는 계속해서 행렬 곱셈의 규칙을 설명하고 두 가지 간단한 예에 적용할 수 있는 방법을 보여줍니다. 그런 다음 그는 행렬의 순위와 그것이 행렬의 열 및 행과 어떻게 관련되어 있는지에 대해 논의합니다. 마지막으로 저자는 행렬에 대각 행렬을 곱하는 방법을 보여줍니다.
00:10:00 이 강의에서 Gilbert Strang 교수는 대칭 고유값 문제와 다양한 응용 프로그램에 대한 간략한 개요를 제공합니다. 그런 다음 그는 행렬을 랭크-1 조각으로 분할하여 올바른 고유 벡터와 고유 값을 제공할 수 있는 방법을 보여줍니다.
00:15:00 이 강의에서 Gilbert Strang 교수는 SVD(Singular Value Decomposition)를 포함하여 행렬의 기본 분해를 다룹니다. 그는 또한 소거법에 대해 논의하고 그것이 어떻게 L 곱하기 U로 표현되는지 설명합니다. 마지막으로, 그는 이것이 가역행렬에 어떻게 적용될 수 있는지 보여주고 그것이 하부 삼각 곱하기 상부 삼각으로 인수분해되는 방법을 보여줍니다.
00:20:00 이 강의에서 Gilbert Strang 교수는 소거의 개념과 소거법이 방정식을 푸는 데 어떻게 사용되는지 설명합니다. 계속해서 소거법을 2x2 행렬에 적용하는 방법을 보여주고 프로세스를 설명하는 예를 제공합니다.
00:25:00 선형 대수학의 기본 정리는 행렬의 4개의 부분 공간이 있으며 각각 다른 차원을 가지고 있다고 말합니다. 부분 공간은 행 공간, 열 공간, 행렬의 모든 선형 변환의 벡터 공간 및 모든 행렬의 공간입니다.
00:30:00 행렬의 null space는 단어 "null"(모든 요소가 0인 벡터)에 대한 해의 집합입니다. 이 공간은 닫혀 있는데, 이는 "e"에 대한 해가 아닌 "ax = 0"에 대한 해를 포함하지 않음을 의미합니다. 또한 전치의 null space는 "x 전치 y"에 대한 솔루션이기도 한 단어 "null"에 대한 솔루션 집합입니다.
00:35:00 선형 대수학의 기본 정리는 관련된 두 공간의 차원이 동일한 경우 일반적으로 시스템의 방정식에 대한 독립적인 솔루션이 있다고 말합니다. 이 정리는 종종 연립방정식의 차원을 결정하는 데 사용됩니다.
00:40:00 곱하기 및 인수분해 행렬 강의에서는 곱하기 및 인수분해 행렬의 기초를 다룹니다. 이 강의에서는 행렬이 행 공간과 열 공간 모두에 차원을 가지며 행 공간에는 R 차원이 있는 반면 null 공간에는 차원 M - R이 있다고 설명합니다. 강의의 마지막 섹션에서는 행렬 공간의 기하학에 대해 논의하고 방법을 보여줍니다. 행렬의 특정 방정식을 푸는 벡터를 찾습니다.
00:45:00 이 강의에서 저자는 2차원 공간에서 벡터의 직교성뿐만 아니라 방정식에 대한 행과 해의 관계를 설명합니다. 그는 또한 공간의 치수는 기하학이 해결될 때 올바르게 나온다는 선형 대수학의 기본 정리에 대해 논의합니다.
비디오의 이 섹션에서는 직교 행렬의 개념과 수치 선형 대수학에서의 중요성을 설명합니다. 화자는 Q 전치 Q가 항등식이라는 사실을 사용하여 QX의 길이 제곱이 X 전치 QX와 같아야 함을 증명합니다. 비디오는 또한 Gordan 행렬 및 Householder 행렬과 같은 다양한 방법을 사용하여 직교 행렬을 구성하는 방법에 대해 설명합니다. 신호 처리에서 직교 고유 벡터를 사용하는 개념과 함께 웨이블릿의 중요성과 구성에 대해서도 설명합니다. 마지막으로 발표자는 복소수로 직교 벡터를 테스트하는 방법에 대해 이야기하고 직교 행렬에는 서로 다른 고유값을 갖는 직교 고유 벡터가 있다고 언급합니다.
00:00:00 이 섹션에서 주제는 정규 직교 열의 이름을 따서 명명된 행렬 Q에 관한 것입니다. 행렬 Q의 핵심 사실은 직교 정규 열이 Q 전치 Q가 항등 행렬과 같다는 단순한 사실로 변환된다는 것입니다. 이에 대한 설명은 행렬의 법선 부분에서 각 벡터의 길이를 제곱한 값이 1이므로 항등 행렬에서 1이 된다는 것입니다. 행렬의 직교 부분에는 0이 있어 간단한 항등식을 생성합니다. 정사각형 행렬 Q의 경우 Q 전치는 항등 행렬과 같으므로 Q를 직교 행렬로 만듭니다. Q가 직사각형인 경우 직교 2x2 행렬을 얻는 한 가지 예는 cos 및 sine 세타를 통한 것입니다. 행렬은 회전을 나타냅니다.
00:05:00 비디오의 이 섹션에서 발표자는 벡터의 길이를 변경하지 않는다는 직교 행렬의 중요한 속성에 대해 설명합니다. 이 속성은 직교 행렬을 곱할 때 언더플로나 오버플로가 없기 때문에 수치 알고리즘에 널리 사용됩니다. 화자는 Q 전치 Q가 항등식이라는 사실을 사용하여 QX의 길이 제곱이 X 전치 QX와 같아야 함을 증명합니다. 발표자는 또한 직교 행렬을 정규 직교 행렬이라고도 하며 2x2 직교 행렬의 몇 가지 예를 제시합니다.
00:10:00 이 섹션에서 발표자는 회전 행렬을 약간 변경한 후 얻은 반사 행렬의 개념에 대해 설명합니다. 결과 행렬은 대칭이며 행렬식은 -1입니다. 단위 벡터 (1,0) 및 (0,1)에 적용될 때 행렬은 각각 선을 가로질러 첫 번째 열에 수직으로 이들을 반영합니다. 화자는 또한 이와 같은 더 큰 행렬을 Houseer 반사라고 합니다.
00:15:00 이 섹션에서는 직교 행렬의 개념과 수치 선형 대수학에서의 중요성에 대해 설명합니다. Houseer 행렬은 중요한 직교 행렬로 소개됩니다. Houseorer 행렬은 단위 벡터에서 시작하여 단위 벡터의 곱과 해당 조옮김의 두 배를 빼서 대칭 및 직교 행렬을 생성함으로써 생성됩니다. 성적표는 이러한 행렬이 사물을 직교로 만드는 데 유용하며 Gram-Schmidt 방법보다 낫다고 설명합니다. Householder 행렬이 직교 행렬인지 확인하는 프로세스도 시연되어 신뢰할 수 있는 대칭 직교 행렬의 계열이라는 결론을 내립니다.
00:20:00 이 섹션에서 발표자는 1과 음수로만 구성된 행렬인 Gordan 행렬의 개념을 사용하여 직교 행렬을 구성하는 방법에 대해 설명합니다. 그는 각 열이 서로 직교하는 Gordan 행렬의 어려운 예를 구성합니다. 발표자는 이 개념이 부호화 이론에 유용할 수 있다고 지적하고 1과 음수 1로 구성된 직교 12x12 행렬이 있음을 제안하여 모든 행렬 크기(1x1 및 3x3 제외)가 이러한 방식으로 구성될 수 있다는 추측을 유도합니다.
00:25:00 이 섹션에서 화자는 모든 크기 n의 직교 열이 있는 가능한 1과 -1 직교 행렬이 있는지에 대한 추측에 대해 논의합니다. 이것을 증명하는 체계적인 방법은 발견되지 않았지만 모든 4의 배수가 가능성이 있을 수 있다고 제안됩니다. 연사는 또한 특히 대칭 행렬에 대해 직교 벡터를 생성하는 데 도움이 되는 단순하지만 중요한 구성인 웨이블릿의 중요성과 구성에 대해 논의합니다. 화자는 각각 1과 -1의 패턴을 따르는 직교 벡터로 구성된 4개의 사분면으로 구성된 4x4 케이스 행렬을 그려서 이 개념을 설명합니다.
00:30:00 이 섹션에서 연사는 웨이블릿과 "웨이블릿"이라는 용어가 발명되기 수년 전에 개발된 Haar 웨이블릿 매트릭스의 구성에 대해 논의합니다. Haar 행렬은 사용할 수 있는 매우 간단한 기능을 가지고 있으며 1과 마이너스 1 다음에 0으로 구성됩니다. 매트릭스는 희박하다는 이점이 있으며 서로 다른 척도에서 값 간의 평균과 차이를 구하는 데 관여합니다. Wavelet은 좋은 특성을 가진 직교 행렬 계열을 발견한 Ingrid Dobashi에 의해 추가로 개발되었습니다. 이 논의는 고유값, 고유벡터 및 양의 정부호 행렬에 대한 다음 강의로 이어집니다.
00:35:00 이 섹션에서 화자는 직교 고유 벡터의 중요성에 대해 이야기합니다. 대칭 및 직교 행렬의 고유 벡터는 자동으로 직교하므로 직교 벡터 검색을 단순화합니다. 가장 중요한 고유 벡터는 빠른 푸리에 변환으로 들어가는 이산 푸리에 변환입니다. 스피커는 Q의 고유 벡터가 어떻게 직교하는지 보여주고 벡터를 주파수로 분할하는 데 도움이 되기 때문에 이산 푸리에 변환이 신호 처리에 매우 유용하다고 반복합니다. 순열 행렬은 항등 행렬의 재정렬이며 열이 직교하므로 승자가 됩니다. 연사는 수요일의 토론이 대기열의 고유 벡터와 고유 값에 어떻게 초점을 맞출 것인지에 대해 이야기하면서 결론을 내립니다.
00:40:00 이 섹션에서 발표자는 직교 행렬, 회전, 반사 및 고유 벡터에 대해 설명합니다. 비디오는 순열 행렬의 고유 벡터가 작동하는 방식과 첫 번째 열이 두 번째 열과 직교한다는 점(또는 빈도 측면에서 0번째 열이 첫 번째 열과 직교함)을 설명합니다. 비디오는 계속해서 4개의 열 각각이 순열의 고유 벡터이고 서로 직교하는 방법을 보여줍니다. 마지막으로 비디오는 이것이 이산 푸리에 항목과 유사하지만 e에서 I, II에서 IX 대신 벡터가 있다고 언급합니다.
00:45:00 비디오의 이 섹션에서 연사는 복소수로 직교 벡터를 테스트하는 방법에 대해 이야기합니다. 그는 켤레 복소수 없이 내적을 취하는 것이 정확하지 않을 수 있지만 켤레 복소수를 사용하면 직교성을 나타낼 수 있다고 언급합니다. 화자는 또한 서로 다른 고유값을 갖는 직교 행렬의 고유 벡터는 직교여야 한다고 언급합니다.
MIT 6.S192 - 강의 19: 일관된 신경 필드를 사용한 쉬운 3D 콘텐츠 생성, Ajay Jain
MIT 6.S192 - 강의 19: 일관된 신경 필드를 사용한 쉬운 3D 콘텐츠 생성, Ajay Jain
이 강의에서 Ajay Jain은 장면의 3D 기하학 및 색상의 표현을 구성하기 위해 희소하게 샘플링된 입력 보기를 사용하는 Neural Radiance Fields 모델에 특히 중점을 둔 신경 장면 표현에 대한 작업을 발표합니다. Jain은 Neural Radiance Field를 단일 장면에 맞추는 문제와 측광 손실 및 의미론적 일관성 손실을 추가하여 훈련 프로세스의 데이터 효율성을 개선하는 방법에 대해 논의합니다. 또한 CLIP을 사용하여 NeRF에서 아티팩트를 제거하고 Dream Fields 프로젝트의 캡션에서 3D 개체를 생성하는 방법에 대해 이야기합니다. 다른 주제에는 장면에서 일관된 전경 개체 만들기, 캡션이 있는 3D 개체 데이터 세트 획득, 렌더링 비용 절감 및 시스템 성능 최적화가 포함됩니다.
MIT 6.S192 - 강의 20: 확산을 이용한 생성 예술, Prafulla Dhariwal
MIT 6.S192 - 강의 20: 확산을 이용한 생성 예술, Prafulla Dhariwal
이 강의에서 OpenAI의 Prafulla Dhariwal은 특히 확산 모델을 사용하여 어려운 창의적 작업을 위한 생성 모델링의 진행 상황에 대해 논의합니다. 이 프로세스는 이미지로 시작하여 천천히 가우시안 노이즈를 추가한 다음 노이즈가 있는 손상을 일부 제거하고 노이즈가 적은 이미지를 만들기 위해 노이즈를 제거하여 프로세스를 반대로 합니다. 생성 모델은 이와 같이 노이즈를 반전하도록 모델을 훈련하여 얻습니다. 모델을 단계별로 역방향으로 실행하여 테스트 시 순수 노이즈에서 이미지를 생성합니다. 프로세스의 역방향 예측도 추가된 노이즈의 양이 매우 적을 때 가우시안 분포처럼 보이며, 이는 모델의 평균 및 분산을 예측하는 데 사용됩니다. Dhariwal은 또한 인페인팅에 확산 모델을 사용하는 방법과 AI 생성 콘텐츠의 잠재적 위험을 해결하는 방법에 대해서도 논의합니다.
MIT 6.S192 - 강의 21: 예술, 정신 및 기계 사이, Sarah Schwettmann
MIT 6.S192 - 강의 21: 예술, 정신 및 기계 사이, Sarah Schwettmann
이 강의에서 Sarah Schwettmann은 예술, 정신 및 기계 간의 교차점에 대해 논의합니다. 그녀는 시각적 인식과 2D 캔버스를 통해 풍부한 3D 세계를 경험하는 도전에 대해 탐구합니다. 이를 위해서는 뇌가 역 문제를 해결하고 들어오는 정보에 대한 최상의 설명을 구성해야 합니다. Schwettmann은 또한 GAN 반전을 사용하여 Met 컬렉션 이미지를 기본 모델의 기능 공간에 삽입하여 인간 창의성의 구조를 이해하고 임의의 시각적 개념 어휘를 생성하는 것과 같이 예술 작품에 대해 훈련된 심층 생성 모델과 관련된 프로젝트에 대해 이야기합니다. 눈에 띄거나 가능한 변환 공간을 샘플링하고 이러한 샘플 방향을 화면으로 사용하여 인간의 지각적 판단을 투사함으로써 GAN 잠재 공간. 이 과정에서 인간의 상호 작용과 레이블 지정이 중요하며, 결과 어휘를 다른 모델에 적용하고 다양한 방식으로 이미지를 조작하는 데 사용할 수 있습니다. 다양한 단어 선택으로 인한 데이터의 노이즈에도 불구하고 모든 크기의 주석 라이브러리를 사용하여 어휘를 추출하는 방법을 확장할 수 있으며 자동으로 방향에 레이블을 지정하도록 캡션 작성자를 교육할 수 있습니다.
Sarah Schwettmann은 또한 인간 창조에 대해 훈련된 모델 내에서 방향을 탐구하고 의미를 할당하는 다양한 방법에 대해 논의합니다. 그녀는 언어 없이 시각적 방향을 캡처하고 학습하는 실험을 제시합니다. 이를 통해 인간은 잠재 공간 또는 기능 공간에서 샘플링된 작은 이미지 배치와 상호 작용하여 순전히 시각적으로 원하는 변형을 정의할 수 있습니다. 이 방법은 미묘하고 설명하기 어려운 기능으로 이미지에 레이블을 지정하고 이해하는 데 유용합니다. 또한 잠재 공간은 인간의 경험을 투사할 수 있는 화면이 될 수 있으므로 연구자는 공식화하기 어려운 인간 지각의 측면을 더 잘 이해할 수 있습니다.
MIT 6.S192 - 강의 22: 확산 확률 모델, Jascha Sohl-Dickstein
MIT 6.S192 - 강의 22: 확산 확률 모델, Jascha Sohl-Dickstein
이 강의에서 Jascha Sohl-Dickstein은 학습 데이터와 별개의 작업을 학습하는 데 사용되는 확산 모델에 대해 설명합니다. 모델은 확률적이며 데이터를 인코딩하거나 디코딩하는 데 사용할 수 있습니다. 순방향 확산 과정은 고정된 과정이며 역방향 과정도 마찬가지입니다.
이 강의는 확산 확률 모델에 대해 논의하고 잠재 공간과 이미지 공간 사이에 일대일 대응이 있지만 동일한 모델 내에서 여러 클래스로 작업할 수 있음을 설명합니다. 강의는 계속해서 이러한 모델을 사용하여 새로운 이미지를 생성하는 방법을 설명합니다.
GenRep: ICLR2022에서 다중 뷰 표현 학습을 위한 데이터 소스로서의 생성 모델
코드: https://github.com/ali-design/GenRep
GenRep: ICLR2022에서 다중 뷰 표현 학습을 위한 데이터 소스로서의 생성 모델
발표자는 기본 데이터에 액세스하지 않고도 사전 훈련된 생성 모델에 액세스할 수 있는 모델 동물원의 개념에 대해 논의합니다. 대조 학습을 활용하여 연구원은 동일한 객체에 대한 다른 보기를 생성할 수 있으며, 이는 표현 공간 내에서 동일한 이웃에 속합니다. 그들은 잠재 공간에서 간단한 가우시안 변환이 효과적이며 IGM에서 더 많은 샘플을 생성하면 더 나은 표현으로 이어진다는 것을 발견했습니다. 특정 도메인의 StyleGAN Car와 같은 전문 IGM은 실제 데이터에서 학습한 표현보다 성능이 뛰어납니다. 프로젝트 웹 사이트 및 Github 코드는 추가 탐색에 사용할 수 있습니다.
데이터 분석, 신호 처리 및 기계 학습에서 매트릭스 방법 교육에 관한 Gilbert Strang과의 인터뷰
데이터 분석, 신호 처리 및 기계 학습에서 매트릭스 방법 교육에 관한 Gilbert Strang과의 인터뷰
저명한 수학자 Gilbert Strang은 선형 대수학에 크게 의존하는 기계 학습의 중요한 부분인 딥 러닝 교육에서 시험보다 프로젝트의 중요성을 강조합니다. 그는 프로젝트를 통해 학생들이 실제 세계에서 딥 러닝을 적용하는 방법을 이해하고 보다 효과적인 학습 방법이라고 믿습니다. Strang은 또한 가르치는 것이 단순히 학생들을 평가하는 것이 아니라 학생들과 함께 배우고 배우는 것이라고 강조합니다. 그는 새로운 교수들에게 큰 분필을 사용하고 성공적으로 가르칠 수 있도록 시간을 내어 수업에 남아 있으라고 조언합니다.
MIT 18.065. 데이터 분석, 신호 처리 및 기계 학습의 행렬 방법
Str 교수의 강의 소개
Strang 교수는 선형 대수학, 심층 학습, 최적화 및 통계라는 네 가지 주요 주제를 다루는 새로운 과정 18.065를 소개합니다. 이 과정은 최상의 행렬, 대칭 및 직교 행렬 및 선형 대수와의 관계에 중점을 둡니다. 또한 선형 대수학의 기초이며 며칠 또는 몇 주 동안 GPU를 사용해야 할 수 있는 복잡한 계산을 포함하는 딥 러닝을 다룰 것입니다. 학습 함수의 수치를 좋은 범위 내에서 유지하는 역할을 하는 통계, 학습 알고리즘에서 중요한 최적화 및 확률 이론, 과학 및 공학 응용에서 핵심적인 역할을 하는 미분 방정식을 다룹니다. . 이 과정에는 주제에 대한 완벽한 프레젠테이션을 제공하기 위한 연습, 문제 및 토론이 포함됩니다.
강의 1: A의 열 공간에는 모든 벡터가 포함됩니다.
강의 1: A의 열 공간에는 모든 벡터가 포함됩니다.
이 강의에서는 행렬에 가능한 모든 벡터를 곱하여 얻을 수 있는 모든 벡터의 집합인 행렬의 열 공간 개념에 중점을 둡니다. 강사는 열 공간이 행렬에 따라 다르며 R3의 전체 공간 또는 더 작은 부분 집합일 수 있다고 설명합니다. 교수는 행 공간, 열 순위 및 행 순위의 개념과 이러한 순위 간의 관계에 대해 자세히 설명합니다. 강의는 또한 행렬의 열 순위가 행렬의 행 순위와 같다는 선형 대수학의 첫 번째 대정리를 간략하게 다룹니다. 또한 교수는 행렬 곱셈 방법과 프로세스에 필요한 곱셈 횟수에 대해 설명합니다. 전반적으로 강의는 선형 대수학에 대한 소개와 데이터 학습의 중요성을 제공합니다.
강의 2: 행렬의 곱셈과 인수분해
강의 2: 행렬의 곱셈과 인수분해
이 강의는 행렬의 곱셈과 인수분해의 기초를 다룹니다. 저자는 행렬이 어떻게 행 공간과 열 공간 모두에서 차원을 갖는지, 그리고 행 공간이 어떻게 R 차원을 갖는 반면 null 공간은 차원 M - R을 갖는지를 설명합니다. 강의는 또한 행과 방정식의 해 사이의 관계뿐만 아니라 2차원 공간에서 벡터의 직교성. 마지막으로 저자는 기하학을 풀어야 공간의 차원이 제대로 나온다는 선형대수학의 기본 정리를 설명한다.
강의 3. Q의 직교 정규 열 Give Q'Q = I
3. Q의 직교 정규 열 Q'Q = I 제공
비디오의 이 섹션에서는 직교 행렬의 개념과 수치 선형 대수학에서의 중요성을 설명합니다. 화자는 Q 전치 Q가 항등식이라는 사실을 사용하여 QX의 길이 제곱이 X 전치 QX와 같아야 함을 증명합니다. 비디오는 또한 Gordan 행렬 및 Householder 행렬과 같은 다양한 방법을 사용하여 직교 행렬을 구성하는 방법에 대해 설명합니다. 신호 처리에서 직교 고유 벡터를 사용하는 개념과 함께 웨이블릿의 중요성과 구성에 대해서도 설명합니다. 마지막으로 발표자는 복소수로 직교 벡터를 테스트하는 방법에 대해 이야기하고 직교 행렬에는 서로 다른 고유값을 갖는 직교 고유 벡터가 있다고 언급합니다.