Makine Öğrenimi ve Sinir Ağları - sayfa 8

[MetaQuotes]

Tekilliğe Doğru - Neuroscience İlham Veren Yapay Zeka

Tekilliğe Doğru - Neuroscience İlham Veren Yapay Zeka

Bu video, yapay zekanın genel bir zeka noktasına ulaşma potansiyelini ve yol boyunca aşılması gereken çeşitli zorlukları tartışıyor.
Ayrıca robotların bir tür olarak kabul edilme potansiyeli ve bu yaklaşımın avantaj ve dezavantajları tartışılmaktadır.

• 00:00:00 Beyin, birçok farklı görevden sorumlu olan karmaşık bir organdır. Son zamanlarda yapılan araştırmalar, beynin bir zamanlar insanlar için zor olduğu düşünülen basit görevleri de yerine getirme yeteneğine sahip olduğunu göstermiştir. Bu, beynin sadece bir akıl olmadığını, aynı zamanda çok miktarda hesaplama karmaşıklığı içerdiğini gösterir.
  
  
• 00:05:00 Yazar, beyni sistem düzeyinde anlamanın zorluğunu ve bilim adamlarının normal beyin gelişiminin nasıl gerçekleştiğini anlamak için zebra balığını nasıl kullandıklarını tartışıyor. Beynin nasıl çalıştığı hakkında öğrendiklerimize dayanarak, yapay zekanın eninde sonunda kendisini daha organik bir şekilde büyütebileceğini söylemeye devam ediyor.
  
  
• 00:10:00 Beynin yapısı bilgisayardan çok farklıdır. Bir bilgisayar temel olarak CPU'ya sahiptir ve bellekten ayrıdır ve CPU'yu belleğe bağlar, veri yolu denen bu şeye sahipsiniz, bellek veri yolu. Ve bir bilgisayar açıldığında bellek yolu sürekli olarak tam zamanlı olarak çalışır. Ve aslında bir darboğaz. Böylece CPU çok güçlü olabilir ve bellek çok büyük olabilir, ancak
  ikisi arasında ne kadar bilgi aktarabileceğiniz konusunda sınırlısınız. Ve bu, standart bilgisayarın genel gücünde çok sınırlayıcı bir faktördür. Buna karşılık, beyin büyük ölçüde paralel bir şekilde çalışır, her bir nöron her zaman elinden gelenin en iyisini yapar. Şu anda sahip olduğumuz en iyi yapay zeka bile beyinden çok ama çok farklı. Bu… beyinden ilham aldığını söyleyebilirsin ama beyni kopyalamıyor. Beyinde muazzam miktarda geri bildirim bağlantısı vardır. Açıkçası, duyusal girdiyi işlediğimizde ve bu daha yüksek beyin bölgelerine gelir ve gördüğümüz orijinal girdiden daha fazla işlenir ve soyutlanır. Ama aynı zamanda, bu yüksek bölgelerden algısal bölgelere geri gelen muazzam miktarda geri bildirim var. Ve bu geri bildirim, nereye baktığımızı ve
  
  
• 00:15:00 Video, yapay zeka kavramını tartışıyor, dünyada ona sahip olmanın artılarını ve eksilerini tartışıyor. AI'nın umut verici bir yaklaşım olduğunu, ancak doğruluk ve güvenilirlik elde etmek için teknolojide bir sıçrama gerektireceğini söylemeye devam ediyor.
  
  
• 00:20:00 Video, yapay zekaya ilham vermek için kullanılan nörobilimdeki gelişmeleri ve bunun insanlar kadar akıllı robotlar yaratmaya nasıl yardımcı olduğunu tartışıyor. Bununla birlikte, teknolojinin geniş çapta konuşlandırılmasından önce hala gitmesi gereken yollar var.
  
  
• 00:25:00 Yapay zeka, günlük yaşamlarında insanları anlayabilen, davranabilen ve onlarla iletişim kurabilen sosyal robotların geliştirilmesinde büyük rol oynuyor. Dünya şu anda insanlar için tasarlandı, bu nedenle insansı bir forma sahip veya insan dünyasının nasıl çalıştığını anlayan robotlar tasarlamak, bu robotların topluma entegre olmasını kolaylaştırıyor, aynı zamanda binaları veya binaları yeniden yapılandırmak zorunda kalmadan bir miktar değer ve fayda yaratıyor. görevler veya dünyanın o insanı barındıracak şekilde tasarlanma şekli.
  
  
• 00:30:00 Video, nörobilimin, derin öğrenme ve somutlaştırılmış biliş de dahil olmak üzere yapay zekadaki ilerlemelere nasıl ilham verdiğini tartışıyor. Bedenlenmiş biliş, Descarte'ın "Düşünüyorum, öyleyse varım" fikrinin tam tersidir. Robotik sonunda toplumla daha yakından bütünleşecek ve yapay zeka bilim için "çok yararlı bir araç" haline gelecek.
  
  
• 00:35:00 Video, bir makinenin yetkin bir yetişkin insanın zeka düzeyine ulaşma yeteneği olan "genel yapay zeka" veya AGI fikrini tartışıyor. "Turing testi"nin -bir makinenin birisini insan olduğunu düşünmesi için kandırıp kandıramayacağını ölçen bir sınav- geçerliliği hâlâ tartışmalı olsa da, çoğu araştırmacı makinelerin bu zeka düzeyine ulaşmasının gerekli olduğuna inanıyor.
  
  
• 00:40:00 Video, yapay zekanın hayatımızın giderek daha fazla bölümüne nüfuz etme potansiyelini ve yapay zekayı kendi başına karar vermeye başlamaması için dikkatli bir şekilde yönetmenin önemini tartışıyor. AI'nın sonunda bir kamu hizmeti haline geleceğini öne sürüyor ve insanların bu tartışmayı radyo ve videoda nasıl yapabileceğini tartışıyor.
  
  
• 00:45:00 Yazar, hükümetlerin yapay zeka ve robot teknolojisine yatırım yapma konusunda proaktif olması gerektiğini çünkü bunun çok büyük bir yatırım olduğunu ve toplum için harika sonuçları olabileceğini savunuyor. Ancak, düzgün yapılmazsa, robotlar kitlesel işsizliğe yol açabilir. Ayrıca, şu anda insanlar tarafından yapılan işlerin yerini makineler alacağından, toplumun yaklaşan robot devrimine uyum sağlaması gerekeceğini de belirtiyor.
  
  
• 00:50:00 Yazar, makine zekasının insan zekasını geride bıraktığı nokta olan yapay genel zeka ve tekillik potansiyelini tartışıyor. Bu teknolojinin hala biraz spekülatif olmasına rağmen, önümüzdeki 200 yıl içinde gerçekleşmesinin muhtemel olduğuna dikkat çekiyorlar. Pek çok insan şüpheci olsa da, bilenler bunun kesinlikle olacak bir şey olduğu konusunda hemfikir.
  
  
• 00:55:00 Bu video, yapay zekanın genel bir zeka noktasına ulaşma potansiyelini ve yol boyunca aşılması gereken çeşitli zorlukları tartışıyor. Ayrıca robotların bir tür olarak kabul edilme potansiyeli ve bu yaklaşımın avantaj ve dezavantajları tartışılmaktadır.
  
  
• 01:00:00 Konuşmacı, yapay zekadaki ilerlemelerle ilişkili potansiyel riskler ve faydalar hakkında genel bir bakış sunar ve bir yapay zekanın hile yapıp insanlığı yok ettiği varsayımsal bir durumu tartışır. Alandaki çoğu araştırmacı, bu tür bir tehditle ilgilenmez, bunun yerine yapay zekanın potansiyel faydalarına odaklanır.

[MetaQuotes]

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 1 - Sınıf Tanıtımı ve Lojistik, Andrew Ng

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 1 - Sınıf Tanıtımı ve Lojistik, Andrew Ng

Stanford'un CS230 Derin Öğrenme kursunun eğitmeni Andrew Ng, kursu tanıtıyor ve ters yüz edilmiş sınıf formatını açıklıyor. Daha etkili derin öğrenme sistemlerine izin veren dijital kayıtlardaki artış nedeniyle derin öğrenmenin ani popülaritesini vurguluyor. Kursun birincil hedefleri, öğrencilerin derin öğrenme algoritmalarında uzman olmaları ve bunları gerçek dünya problemlerini çözmek için nasıl uygulayacaklarını anlamalarıdır. Ng, verimli ve etkili makine öğrenimi sistemleri oluşturmada pratik bilginin önemini vurguluyor ve makine öğrenimi algoritmalarını doğru süreçlerle etkili bir şekilde uygularken sistematik olarak öğretmeyi ve türetmeyi umuyor. Kurs, Coursera'daki videolar ve Jupyter Notebook'lardaki programlama ödevleri aracılığıyla Convolution Neural Networks ve dizi modellerini kapsayacaktır.

Stanford'un CS230 Derin Öğrenme kursunun ilk dersi, programlama ödevleri ve öğrenci projeleri aracılığıyla geliştirilecek olan ve öğrencinin ilgi alanlarına göre kişiselleştirilip tasarlanabilecek çeşitli gerçek dünya uygulamalarını tanıtıyor. Geçmişteki öğrenci projelerinin örnekleri, bisiklet fiyatı tahmininden deprem sinyali algılamaya kadar uzanır. Nihai proje, kursun en önemli yönü olarak vurgulanır ve TA ekibi ve eğitmenler aracılığıyla kişiselleştirilmiş mentorluk mevcuttur. Grup projeleri için ekipler oluşturmak, Coursera hakkında kısa sınavlar yapmak ve kursu diğer sınıflarla birleştirmek de dahil olmak üzere kursun lojistiği de tartışılır.

• 00:00:00 Bu bölümde, Stanford CS230'un eğitmeni Andrew Ng kursu tanıtıyor ve ters yüz sınıf formatını açıklıyor. Bu sınıfta öğrenciler, evde Coursera'daki deeplearning.ai içeriğini izleyecek ve sınıf ve tartışma bölümü saatlerinde daha derin tartışmalara katılacak. Ng, Derin Öğrenme uzmanlığının ortak yaratıcısı yardımcı eğitmenler Kian Katanforosh, sınıf koordinatörü Swati Dubei, kurs danışmanı ve teknik direktör Younes Mourri ve eş başkan Aarti Bagul ve Abhijeet'ten oluşan öğretim ekibini tanıtıyor. TA'lar. Ng, derin öğrenmenin ani popülaritesini, toplumun dijitalleşmesinin veri toplamada artışa yol açarak öğrencilere her zamankinden daha etkili derin öğrenme sistemleri kurma fırsatı verdiğini belirterek açıklıyor.
  
  
• 00:05:00 Bu bölümde Andrew Ng, dijital kayıtlardaki artışın verilerde bir artışa yol açtığını, ancak geleneksel makine öğrenimi algoritmalarının daha fazla veriyle beslendiğinde bile düzleştiğini açıklıyor. Bununla birlikte, sinir ağları büyüdükçe performansları, temel hata oranı adı verilen teorik bir sınıra kadar daha iyi ve daha iyi olmaya devam ediyor. GPU bilgi işlem ve bulut hizmetlerinin ortaya çıkmasıyla, yeterince büyük hesaplama gücüne erişim, daha fazla insanın birçok uygulamada yüksek düzeyde doğruluk sağlamak için yeterince büyük sinir ağlarını eğitmesine olanak sağlamıştır. Derin öğrenme, AI'daki birçok araçtan yalnızca biri olsa da, sürekli olarak harika sonuçlar sağladığı için çok popüler hale geldi.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi, derin öğrenmeye ek olarak araştırmacıların yapay zekada kullandığı planlama algoritmaları ve bilgi temsili gibi çeşitli araç ve teknolojilerin olduğunu açıklıyor. Bununla birlikte, derin öğrenme, büyük veri kümeleri ve hesaplama gücünün yanı sıra algoritmik inovasyon ve büyük yatırım kullanımı nedeniyle son birkaç yılda inanılmaz derecede hızlı bir şekilde yükseldi. CS230'un birincil hedefleri, öğrencilerin derin öğrenme algoritmalarında uzman olmaları ve bunları gerçek dünya sorunlarını çözmek için nasıl uygulayacaklarını anlamalarıdır. Google, Baidu ve Landing AI'da başarılı AI ekiplerine liderlik etme konusunda pratik deneyime sahip olan öğretim görevlisi, diğer akademik kurslarda ele alınmayabileceğini söylediği makine öğreniminin pratik know-how yönlerini öğrenmenin önemini de vurguluyor.
  
  
• 00:15:00 Bu bölümde Andrew Ng, bir makine öğrenimi sistemi oluştururken verimli ve etkili kararlar almada pratik bilginin öneminden bahsediyor. Üst düzey muhakeme kararları ve mimari soyutlamalar açısından harika bir yazılım mühendisi ile genç bir yazılım mühendisi arasındaki farkı vurguluyor. Benzer şekilde, ekibin verimliliğini 2 ila 10 kat artırabilecek daha iyi kararlar almak için ne zaman daha fazla veri toplanacağını bilmenin veya derin öğrenme sistemlerinde hiperparametreleri aramanın önemini vurguluyor. Bu pratik bilgiyi kurstaki öğrencilere sistematik öğretim yoluyla aktarmayı amaçlıyor ve ayrıca biraz makine öğrenimi geçmişi olan öğrenciler için Machine Learning Hasret adlı kitabını tavsiye ediyor.
  
  
• 00:20:00 Bu bölümde Andrew Ng, makine öğreniminden sistematik bir mühendislik disiplini oluşturmak için en iyi ilkeleri toplama girişimi olduğunu söylediği "Machine Learning Hasret" adlı yeni kitabının taslağını tartışıyor. Ng ayrıca, öğrencilerin kendi zamanlarında video izledikleri ve sınavları çevrimiçi olarak tamamladıkları ve TA'lar, Kian ve kendisi ile daha derin etkileşimler ve tartışmalar için haftalık oturumlara katıldıkları kursun ters yüz edilmiş sınıf formatını da açıklıyor. Elektriğin bir asırdan fazla bir süre önce birçok alanı dönüştürmesi gibi her sektörü dönüştüreceğine inandığını belirterek yapay zeka ve makine öğreniminin önemi hakkında konuşmaya devam ediyor.
  
  
• 00:25:00 Videonun bu bölümünde, Stanford'un CS230 Derin Öğrenme kursu eğitmeni Andrew Ng, öğrencilerin yeni buldukları derin öğrenme becerilerini sağlık hizmetleri gibi geleneksel teknoloji sektörünün dışındaki sektörleri dönüştürmek için kullanacaklarını umduğunu ifade ediyor. inşaat mühendisliği ve kozmoloji. İnternetin yükselişini inceleyerek öğrenilen değerli bir dersi paylaşıyor; daha ziyade, bir internet şirketini gerçekten tanımlayan şey, ekibin organizasyonu ve yaygın A/B testi gibi internete özgü uygulamaların birleştirilmesidir.
  
  
• 00:30:00 Konuşma metninin bu bölümünde Andrew Ng, geleneksel şirketler ile internet ve yapay zeka şirketleri arasındaki farkları tartışıyor. İnternet ve yapay zeka şirketlerinin karar verme gücünü mühendislere veya mühendislere ve ürün yöneticilerine verme eğiliminde olduğunu açıklıyor çünkü bu kişiler teknolojiye, algoritmalara ve kullanıcılara en yakın kişiler. Ng ayrıca modern makine öğrenimi ve derin öğrenmenin izin verdiği şeyleri yapmak için ekipleri organize etmenin öneminden de bahsediyor. Ek olarak Ng, yapay zeka şirketlerinin verileri nasıl farklı şekilde organize etme eğiliminde olduğunu ve otomasyon fırsatlarını tespit etme konusunda nasıl uzmanlaştığını açıklıyor. Son olarak, makine öğreniminin yükselişinin makine öğrenimi mühendisi ve kaynak makine öğrenimi araştırma bilimcisi gibi yeni roller yarattığını belirtiyor.
  
  
• 00:35:00 Bu bölümde Andrew Ng, daha değerli işler yapmak için yapay zeka çağında etkili ekip organizasyonunun önemini vurguluyor. Yazılım mühendisliği dünyasının, etkili bir şekilde yazılım oluşturan yüksek performanslı endüstriyel yapay zeka ekipleri oluşturmak için Çevik geliştirme, Scrum süreçleri ve kod incelemeyi nasıl geliştirmesi gerektiğine dair bir benzetme yapıyor. Ng, makine öğrenimi algoritmasını sistematik olarak öğretmeyi ve türetmeyi ve bunları doğru süreçlerle etkili bir şekilde uygulamayı umuyor. Son olarak Ng, makine öğrenimini öğrenmek isteyen kişilere hedeflerine ulaşmak için hangi dersleri alacakları konusunda rehberlik ediyor.
  
  
• 00:40:00 Bu bölümde Andrew Ng, CS229, CS229A ve CS230 arasındaki farkları tartışıyor. Algoritmaların matematiksel türevlerine odaklanan CS229, bu sınıfların en matematiksel olanıdır. CS229A uygulamalı makine öğrenimidir, pratik yönlere daha fazla zaman harcar ve makine öğrenimine en kolay giden yol olurken CS230, CS229A'dan daha matematiksel ancak CS229'dan daha az matematiksel olarak ikisinin arasında bir yerdedir. CS230 ile ilgili benzersiz olan şey, makine öğreniminin en zor alt kümesi olan derin öğrenmeye odaklanmasıdır. Andrew Ng, yalnızca matematiğe odaklanmak yerine bu algoritmaları uygulamanın pratik bilgisini öğretmek için daha fazla zaman harcamak isteyerek doğru beklentiler belirler.
  
  
• 00:45:00 Bu bölümde Andrew Ng, arka planda kaybolan ve bunu mümkün kılan öğrenme algoritmalarını düşünmeden kullanabileceğimiz sihirli bir araca dönüşen yapay zeka ve makine öğrenimi kavramını tanıtıyor. Makine öğreniminin sağlık, üretim, tarım ve eğitimdeki önemini tartışıyor; burada öğrenme algoritmaları kullanılarak ev ödevlerini kodlama konusunda hassas öğretim ve geri bildirim elde edilebiliyor. CS230'un kurs formatı, daha derinlemesine bilgi ve uygulama için Stanford'daki Kian'ın ek dersleriyle birlikte Coursera'da deeplearning.ai videolarının izlenmesini içerir. Sınıf, öğrencilere yapay zekanın nöronları, katmanları, ağ oluşturma, ağları ayarlama ve endüstriyel uygulamaları hakkında bilgi veren beş ders halinde yapılandırılmıştır.
  
  
• 00:50:00 Bu bölümde, Andrew Ng kursta işlenen konuları ve müfredatın yapısını tanıtıyor. Kurs, görüntüleme ve videolar için Konvolüsyon Sinir Ağlarına ve doğal dil işleme ve konuşma tanıma için tekrarlayan sinir ağları da dahil olmak üzere dizi modellerine odaklanan iki bölüme ayrılmıştır. Her modül, Coursera ile ilgili videoları, kısa sınavları ve Jupyter Not Defterlerindeki programlama ödevlerini içerecektir. Devam, final notunun yüzde ikisi, kısa sınavlarda yüzde sekiz, programlama ödevlerinde yüzde 25 ve bir final projesinde önemli bir kısımdır.
  
  
• 00:55:00 Bu bölümde Andrew Ng, öğrencilerin kurs boyunca üstlenecekleri programlama ödevlerini açıklıyor. Öğrenciler, işaret dili görüntülerini sayılara çevirecek, Mutlu Ev için Derin Öğrenme mühendisi olacak ve YOLOv2 nesne algılama algoritmasını kullanarak bir ağ oluşturacak. Bir kalecinin atış tahminini optimize etmek, otonom sürüş sırasında arabaları tespit etmek, yüz tanıma ve stil aktarımı gerçekleştirmek ve caz müziği ve Shakespeare şiiri üretmek için bir dizi modeli oluşturmak üzerinde çalışacaklar. Öğretim görevlisi, öğrencilere projelerin her biri için ilgili makalelere bağlantılar sağlar.
  
  
• 01:00:00 Bu bölümde, konuşmacı programlama ödevleri yoluyla kursta inşa edilecek çeşitli uygulamaların yanı sıra öğrencilerin kurs boyunca kendi projelerini seçme fırsatını tartışır. Siyah beyaz resimlerin renklendirilmesi, bisiklet fiyatı tahmini ve deprem habercisi sinyali tespiti dahil olmak üzere geçmiş öğrenci projelerinden örnekler verilir. Final projesi dersin en önemli yönü olduğundan, öğrenciler projelerini inşa etmeye ve projelerinden gurur duymaya teşvik edilir. Kurs, biraz matematik dahil olmak üzere uygulanır ve TA ekibi ve eğitmenler aracılığıyla kişiselleştirilmiş rehberlik sağlanır.
  
  
• 01:05:00 Bu bölümde eğitmen, Coursera hesaplarının nasıl oluşturulacağı, hangi ödevlerin tamamlanacağı ve kurs projesi için ekiplerin nasıl oluşturulacağı dahil olmak üzere kursun lojistik ayrıntılarını açıklar. Proje ekipleri, zorlu projeler dışında bir ila üç öğrenciden oluşacaktır. Öğrenciler, eğitmenle tartıştıkları sürece projeyi diğer sınıflarla birleştirebilir ve kısa sınavlar Coursera'da yeniden alınabilir ve en son gönderilen kısa sınav CS230 sınıfı için dikkate alınır.

[MetaQuotes]

Ders 2 - Derin Öğrenme Sezgisi

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 2 - Derin Öğrenme Sezgisi

Dersin ilk bölümü, görüntü sınıflandırma, yüz tanıma ve görüntü stili aktarımı dahil olmak üzere çeşitli derin öğrenme uygulamalarına odaklanır. Eğitmen, derin öğrenme modeli geliştirmede veri kümesi boyutu, görüntü çözünürlüğü ve kayıp işlevi gibi çeşitli faktörlerin önemini açıklar. Yararlı temsiller oluşturmak için derin ağlar kullanarak görüntüleri kodlama kavramı da yüz tanımada kullanılan üçlü kayıp fonksiyonu vurgulanarak tartışılmaktadır. Buna ek olarak öğretim görevlisi, görüntüleri sınıflandırmak ve görüntülerden stil ve içerik çıkarmak için K-Means algoritmasını kullanarak kümelemeyi açıklar. Genel olarak bu bölüm, öğrencilere başarılı derin öğrenme modelleri geliştirmede yer alan çeşitli teknikleri ve hususları tanıtır.

Videonun ikinci kısmı, görüntü oluşturma, konuşma tanıma ve nesne algılama gibi çeşitli derin öğrenme konularını kapsar. Konuşmacı, sorunlarla karşılaşıldığında uzmanlara danışmanın önemini ve başarılı bir derin öğrenme projesinin kritik unsurlarını vurgular: stratejik bir veri toplama boru hattı ve mimari arama ve hiperparametre ayarı. Video ayrıca, daha küçük kutulardaki hataları büyük kutulara göre daha fazla cezalandırmak için bir karekök içeren nesne algılama kayıp fonksiyonu da dahil olmak üzere derin öğrenmede kullanılan farklı kayıp fonksiyonlarını tartışıyor. Video, zorunlu TA projesi mentorluk oturumları ve nöral stil aktarımına ve potansiyel GPU kredileri için bir AWS formunun doldurulmasına odaklanan Cuma TA bölümleri de dahil olmak üzere yaklaşan modüllerin ve ödevlerin bir özeti ile sona eriyor.

• 00:00:00 Dersin bu bölümünde amaç, derin öğrenme ile ilgili projeler hakkında düşünmenin sistematik bir yolunu vermektir. Bu, verilerin nasıl toplanıp etiketleneceğine, mimarinin nasıl seçileceğine ve optimizasyon için uygun bir kayıp fonksiyonunun nasıl tasarlanacağına ilişkin kararların alınmasını içerir. Bir model, bir mimari artı parametreler olarak tanımlanabilir; burada mimari, model için seçilen tasarımdır ve parametreler, işlevin girdileri almasını ve bunları çıktılara dönüştürmesini sağlayan sayılardır. Kayıp fonksiyonu, çıktıyı temel gerçekle karşılaştırmak için kullanılır ve kayıp fonksiyonunun gradyanı, tanımayı iyileştirmek için parametreleri güncellemek için hesaplanır. Girdi, çıktı, mimari, kayıp fonksiyonu, aktivasyon fonksiyonları, optimizasyon döngüsü ve hiperparametreler dahil olmak üzere derin öğrenme bağlamında birçok şey değişebilir. Lojistik Regresyon tartışılan ilk mimaridir ve bir görüntü bilgisayar biliminde 3 boyutlu bir matris olarak temsil edilebilir.
  
  
• 00:05:00 Videonun bu bölümünde eğitmen, kedilerin görüntülerini sınıflandırmak için bir sinir ağının temel yapısını ve bunun çoklu lojistik regresyon kullanılarak birden fazla hayvanı sınıflandırmak için nasıl değiştirilebileceğini tartışıyor. Verileri doğru bir şekilde etiketlemenin önemi vurgulanır ve görüntüleri yalnızca bir hayvanla sınıflandırabilmenin dezavantajı ile tek sıcak kodlama kavramı tanıtılır. Softmax'ın multi-hot kodlama için bir aktivasyon fonksiyonu olarak kullanımına da değinilmiş, katmanlar ve nöron indeksleri için derste kullanılan notasyon açıklanmıştır.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi, derin öğrenmenin bir ağdaki her katmandan nasıl bilgi çıkardığını ve bunun girdi verilerinin kodlanması için nasıl kullanıldığını açıklar. Derin öğrenmenin somut uygulamaları etrafında sezgi oluşturmak için yüz tanıma ve görüntü sınıflandırma örneklerini kullanıyor. Öğretim görevlisi ayrıca belirli bir problem için gereken görüntü sayısının tahminini tartışır ve bunun ağdaki parametre sayısından ziyade görevin karmaşıklığına dayanması gerektiğini önerir.
  
  
• 00:15:00 Bu bölümde eğitmen, bir derin öğrenme projesi için gereken veri miktarının nasıl belirleneceğini ve verilerin tren, doğrulama ve test setlerine nasıl bölüneceğini tartışır. Eğitmen, gereken veri miktarının görevin karmaşıklığına ve projenin iç mekan veya dış mekan görüntüleri içermesine bağlı olduğunu açıklar. Ağı uygun şekilde eğitmek için dengeli bir veri kümesi de önemlidir. Hesaplama karmaşıklığını en aza indirirken iyi performans elde etmek amacıyla görüntünün çözünürlüğü de tartışılmaktadır. Eğitmen, gereken minimum çözünürlüğü belirlemek için insan performansını farklı çözünürlüklerde karşılaştırmayı önerir. Sonuçta kullanılan örnek görüntü için 64'e 64'e 3'lük bir çözünürlüğün yeterli olduğu belirlendi.
  
  
• 00:20:00 Bu bölümde öğretim görevlisi, görevin bir görüntünün gündüz mü yoksa gece mi çekildiğini tespit etmek olduğu temel bir görüntü sınıflandırma problemini tartışır. Modelin çıktısı, görüntü için Y'nin gündüz için sıfıra ve Y'nin gece için bire eşit olduğu bir etiket olmalıdır. Bu görev için önerilen mimari, yüzeysel, tam bağlantılı veya evrişimli bir ağdır. Kullanılması gereken kayıp fonksiyonu, sınıflandırma problemleri için optimize edilmesi diğer kayıp fonksiyonlarına göre daha kolay olan log-olasılıktır. Öğretim görevlisi daha sonra bu temel konsepti, spor salonu gibi tesislerde öğrenci kimliklerini doğrulamak için yüz doğrulamayı kullanmanın amaçlandığı gerçek dünya senaryosuna uygular. Bu sorun için gereken veri seti, ID kaydırma sırasında kamera tarafından yakalanan görüntülerle karşılaştırılacak bir görüntü koleksiyonu olacaktır.
  
  
• 00:25:00 Derin öğrenmeyle ilgili bir dersten alınan bu alıntıda, konuşmacı yüz tanımayı spor salonuna gidenlerin kimliğini doğrulama aracı olarak kullanma fikrini tartışıyor. Konuşmacı, sistemi eğitmek için okulun her öğrencinin isimleriyle etiketlenmiş resimlerine ve modelin girişi için her öğrencinin daha fazla fotoğrafına ihtiyacı olacağını öne sürüyor. Çözünürlükten bahsederken konuşmacı, gözler arasındaki mesafe veya burnun boyutu gibi ayrıntıları daha iyi algılamak için daha yüksek bir çözünürlüğün (yaklaşık 400'e 400) gerekli olduğunu öne sürer. Son olarak konuşmacı, iki görüntünün aynı kişi olup olmadığını belirlemek için pikseller arasındaki basit mesafe karşılaştırmalarının, aydınlatmadaki farklılıklar veya makyaj veya sakal gibi diğer faktörler nedeniyle işe yaramayacağını belirtiyor.
  
  
• 00:30:00 Dersin bu bölümünde eğitmen, resimlerin yararlı temsillerini oluşturmak için derin bir ağ kullanarak görüntüleri kodlama sürecini tartışır. Amaç, bir görüntünün yüz özellikleri, renk ve saç arasındaki mesafe gibi temel özelliklerini temsil eden bir vektör oluşturmaktır. Bu vektörler, aynı konunun farklı görüntülerini karşılaştırmak ve bir eşleşme belirlemek için kullanılır. Eğitmen, derin ağ için yararlı bir kayıp fonksiyonu oluşturmak amacıyla, çapa ile pozitif resimler arasındaki mesafeyi en aza indirirken, çapa ile negatif resim arasındaki mesafeyi en üst düzeye çıkarma sürecini açıklar. Kayıp işlevi, ağın belirli özellikleri tanıması ve doğru tahminler yapması için eğitilmesi için çok önemlidir.
  
  
• 00:35:00 Bu bölümde eğitmen yüz tanımada kullanılan üçlü kayıp fonksiyonunu tartışır. Kayıp, A ve N'nin kodlama vektörleri arasındaki L2 mesafesinden A ve P'nin kodlama vektörleri arasındaki L2 mesafesinin çıkarılmasıyla hesaplanır. Amaç, A ve N'nin kodlama vektörleri arasındaki mesafeyi en üst düzeye çıkarırken farkı en aza indirmektir. A ve P arasında. Gerçek kayıp işlevi, negatif kaybı önlemek dışında belirli bir rolü olan alfa içerir. Eğitmen, kayıp fonksiyonunda alfa kullanmanın, kayıp fonksiyonunun belirli bölümlerine ağırlık kattığını açıklar. Amaç, yüzün özelliklerini temsil eden bir kodlama bulmaktır ve optimizasyon algoritması, çoklu geçişlerden sonra kayıp fonksiyonunu en aza indirmeyi amaçlar.
  
  
• 00:40:00 Bu bölümde öğretim görevlisi, bir ağın kayıp fonksiyonunda bir alfa teriminin kullanımını açıklar. Bu alfa terimi, Kenar Boşluğu olarak bilinir ve amacı, büyük ağırlığı cezalandırmak ve ağı sıfırlarda dengelemektir. Ancak eğimi veya ağırlığı etkilemez. Bu alfa teriminin amacı, boş bir işlevi öğrenmek yerine ağı anlamlı bir şey öğrenmeye itmektir. Öğretim görevlisi ayrıca yüz doğrulama ile yüz tanıma arasındaki farkı tartışır ve ardışık düzene bir algılama öğesi eklemenin yüz tanımayı iyileştirebileceğini önerir. Kişileri tanımlamak için girilen yüzlerin vektörlerini bir veri tabanındaki vektörlerle karşılaştırmak için bir K-En Yakın Komşular algoritması kullanılabilir.
  
  
• 00:45:00 Bu bölümde eğitmen, kümelemeyi, daha spesifik olarak K-Means algoritmasını ve görüntü sınıflandırmada nasıl kullanıldığını açıklar. Algoritmanın bir veri tabanındaki tüm vektörleri nasıl aldığını ve bunları benzer görünen gruplara nasıl kümelediğini açıklıyor. Bu, örneğin bir telefonda farklı kişilerin resimlerini ayrı klasörlerde ayırmak için kullanılabilir. Ayrıca algoritmada K parametresini tanımlamanın yollarını ve farklı yöntemlerin nasıl kullanılabileceğini tartışıyor. Eğitmen ayrıca, bir görüntünün içeriği olan ancak diğerinin stilinde boyanmış bir görüntünün, o stildeki verileri kullanarak üretilmesini içeren sanat üretimini de tartışır. Eğitmen içerik görseli olarak Louvre Müzesi'ni, stil görseli olarak da Claude Monet'nin bir tablosunu kullanır.
  
  
• 00:50:00 Bu bölümde konuşmacı, derin öğrenme tekniklerini kullanarak görüntülerden stil ve içeriğin nasıl çıkarılacağını tartışıyor. Yöntemlerden biri belirli bir stili öğrenmek için bir ağı eğitmek olsa da, tercih edilen yöntemin bunun yerine bir görüntü öğrenmek olduğunu açıklıyorlar. Bu, bir içerik görüntüsü vermeyi ve görüntü tanıma için eğitilmiş bir sinir ağı kullanarak içeriği hakkında bilgi çıkarmayı içerir. Stil bilgisini çıkarmak için, konuşmacı Gram matrisinin kullanımını tanıtır ve stilin yerelleştirilmemiş bilgi olduğunu açıklar. Ayıklanan içerik ve stili birleştirerek, içeriği korurken belirli bir görüntünün stiline sahip bir görüntü oluşturmak mümkündür. Konuşmacı, bu tekniğin yalnızca bir ağın parametrelerini öğrenmeyi değil, görüntüye kadar geri yaymayı içerdiğini vurgular.
  
  
• 00:55:00 Bu bölümde eğitmen, Gram matris yöntemini kullanarak stil çıkarmak için kayıp işlevini ve stil görüntüsünün stili ile oluşturulan stil arasındaki ve ayrıca stilin içeriği arasındaki L2 mesafesi kullanılarak nasıl hesaplandığını tartışır. içerik görüntüsü ve oluşturulan içerik. Eğitmen, ImageNet'in bu süreçte sınıflandırma için değil, ağ için önceden eğitilmiş parametreleri kullanmak için kullanıldığını vurgular. Odak, görüntünün beyaz gürültü kullanılarak eğitilmesine yöneliktir ve G içeriği ve G stili, görüntünün piksellerine geri gitmek için ağ ve kayıp fonksiyonunun türevlerini hesaplayarak çalıştırılarak ondan çıkarılır.
  
  
• 01:00:00 Bu bölümde konuşmacı, içerik ve stil görüntülerine dayalı bir görüntü oluşturmak için bir ağı eğitme sürecini tartışıyor. Bu ağ, herhangi bir stille ve herhangi bir içerikle çalışma esnekliğine sahipken, her görüntü oluşturulduğunda yeni bir eğitim döngüsü gerektirir. Ağ, milyonlarca görüntü üzerinde eğitilmiştir ve özel olarak Monet görüntüleri üzerinde eğitilmesi gerekmez. Bu ağ için kayıp işlevi, temel çizginin beyaz parazitle başlayacağı içerik ve stil görüntülerinden gelir. Konuşmacı daha sonra, "etkinleştir" gibi pozitif bir kelime ve "mutfak" ve "aslan" gibi negatif kelimeler içeren çok sayıda 10 saniyelik ses klibi gerektiren bir tetikleyici kelime algılama uygulamasını tartışmaya geçer.
  
  
• 01:05:00 Bu bölümde video, konuşma tanıma için en iyi etiketleme şemasını seçme sürecini tartışıyor. Konuşmacı, konuşma işleme için kullanılacak en iyi örnek oranını belirlemek için konuşma tanıma konusunda bir uzmana danışılması gerektiğini açıklıyor ve konuşulan bir cümlede tetikleyici kelimenin tespit edilmesini zorlaştıran zayıf bir etiketleme şeması örneği sunuyor. Konuşmacı, modelin tetikleyici kelimeyi algılamasını kolaylaştıran farklı bir etiketleme şeması gösterir, ancak veri kümesindeki dengesizlik ve sıfır veya çıktı çıkışı için her adımda bir sigmoid işlevine duyulan ihtiyaç gibi konuları dikkate almanın hala önemli olduğunu belirtir. bir.
  
  
• 01:10:00 Videonun bu bölümünde, konuşmacı başarılı bir derin öğrenme projesi oluşturmak için iki kritik şeyi tartışıyor. Birincisi, stratejik bir veri toplama boru hattına sahip olmaktır. Bunu yapmanın bir yolu, kampüsün dört bir yanından telefonlarla çeşitli aksanlarla olumlu ve olumsuz kelimeler içeren 10 saniyelik ses kayıtları toplamaktır. İkinci kritik unsur, mimari arama ve hiperparametre ayarıdır. Konuşmacı, başlangıçta konuşmadan özellikler çıkarmak için bir Fourier dönüşümü kullandığını ve ardından uzmanlarla konuştuğunu ve onların tavsiyelerine göre ağda değişiklikler yaptığını anlatıyor. Doğru mimariyi bulmanın karmaşık bir süreç olduğunu ancak vazgeçilmemesi ve uzmanlara danışılması gerektiğini vurguluyor.
  
  
• 01:15:00 Bu bölümde, konuşmacı bir konuşma tanıma problemini ve Fourier dönüşümü hiperparametrelerinin doğru kullanımı konusunda kendisine tavsiyede bulunan bir konuşma tanıma uzmanı bulana kadar verilere bir sinir ağı sığdırmakla nasıl mücadele ettiğini tartışıyor. ağın boyutunu ve çıktıyı genişletmenin yanı sıra zaman adımlarının sayısını azaltmak için bir evrişim kullanma. Uzmanlardan tavsiye almanın ve bir proje sırasında sorunlarla karşılaşıldığında pes etmemenin önemini vurguluyor. Konuşmacı daha sonra, üçlü kayıp algoritmasını kullanarak ve bu vektörler arasındaki mesafeyi karşılaştırmak için sesli konuşmayı belirli bir vektörde kodlayarak akor saptamayı çözmenin başka bir yolundan kısaca bahseder. Son olarak, nesne algılamaya karşılık gelen ve kaybın sınırlayıcı kutuların x, y, genişlik ve yüksekliğini karşılaştırdığı YOLO adlı bir ağda kullanılan güzel bir kayıp fonksiyonunu tartışıyor.
  
  
• 01:20:00 Videonun bu bölümünde konuşmacı, derin öğrenmede nesne algılama kaybı işlevini ve neden karekök içerdiğini tartışıyor. Kayıp işlevi, gerçek sınırlayıcı kutu ile tahmin edilen sınırlayıcı kutu arasındaki mesafeyi en aza indirmeyi ve ayrıca kutu içindeki nesne sınıfını tanımlamayı amaçlayan birkaç terim içerir. Küçük kutulardaki hataları büyük kutulardakinden daha fazla cezalandırmak için karekök dahil edilmiştir. Video, yaklaşmakta olan modüllerin ve ödevlerin bir özeti, zorunlu TA projesi mentorluk oturumları ve nöral stil aktarımına ve potansiyel GPU kredileri için bir AWS formunun doldurulmasına odaklanan Cuma TA bölümleriyle sona eriyor.

[MetaQuotes]

Ders 3 - Tam Döngü Derin Öğrenme Projeleri

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 3 - Tam Döngü Derin Öğrenme Projeleri

Tam döngülü derin öğrenme projeleriyle ilgili bu derste eğitmen, başarılı bir makine öğrenimi uygulaması oluşturmanın problem seçimi, veri toplama, model tasarımı, test etme, devreye alma ve bakım dahil tüm yönlerini dikkate almanın önemini vurgular. Eğitmen, sesle etkinleştirilen bir cihaz oluşturma örneği aracılığıyla, derin öğrenme projelerinde yer alan temel bileşenleri tartışır ve öğrencileri, potansiyel olumlu etkisi ve kendi alanlarına benzersiz katkıları olan uygulanabilir projelere odaklanmaya teşvik eder. Eğitmen ayrıca hızlı bir şekilde veri toplamanın, süreç boyunca iyi notlar almanın ve geliştirme sırasında yinelemenin önemini vurgularken, aynı zamanda konuşma etkinleştirme ve ses etkinliği algılamaya yönelik belirli yaklaşımları tartışır.

Dersin ikinci kısmı, makine öğrenimi projelerinde izleme ve bakımın önemine, özellikle de gerçek dünyada iyi performans göstermelerini sağlamak için modelleri sürekli olarak izleme ve güncelleme ihtiyacına odaklanır. Öğretim görevlisi, makine öğrenimi modellerinin doğruluğunu kaybetmesine neden olabilen veri değiştirme sorununu ele alır ve modellerin etkin bir şekilde çalışmaya devam etmesini sağlamak için sürekli izleme, veri toplama ve model yeniden tasarlama ihtiyacını vurgular. Ders ayrıca, bir ses etkinliği algılama sisteminde eğitilmiş bir sinir ağına karşı makine öğrenimi olmayan bir sistem kullanmanın etkisini tartışır ve el ile kodlanmış kuralların genellikle değişen veriler için daha sağlam olduğunu öne sürer. Öğretim görevlisi, yeniden eğitim modelleri için veri toplarken veri gizliliğine çok dikkat edilmesi ve kullanıcı onayı alınması gerektiği sonucuna varır.

• 00:00:00 Videonun bu bölümünde eğitmen, yalnızca bir sinir ağı modeli oluşturmanın ötesinde başarılı bir makine öğrenimi uygulaması oluşturmanın içerdiği adımları açıklayarak tam döngülü derin öğrenme projeleri fikrini tanıtıyor. Sesle etkinleştirilen bir cihaz oluşturma örneğini kullanıyor ve ilk adımın, uygulamayı oluşturmak için denetimli öğrenmeyi kullanmak gibi bir problem seçmek olduğunu açıklıyor. Ayrıca, öğrencilerin üzerinde çalışacakları ve sesle etkinleştirilen bir cihazın bu çeyreğin ilerleyen dönemlerinde bir sorun seti olarak uygulanmasını içeren yaklaşan projeden de bahsediyor.
  
  
• 00:05:00 Dersin bu bölümünde konuşmacı, "Alexa", "OK Google" gibi tetikleyici kelimeleri algılayan bir öğrenme algoritması içeren derin öğrenmeyi kullanarak sesle etkinleştirilen bir cihaz oluşturmaya dahil olan temel bileşenleri tartışıyor. "Hey Siri" veya "Etkinleştir". Konuşmacı, bir problem seçmek, etiketlenmiş verileri elde etmek, bir model tasarlamak, onu bir test setinde test etmek, devreye almak ve sistemin bakımını yapmakla başlayarak bir makine öğrenimi ürünü oluşturmanın önemli adımlarını özetliyor. Konuşmacı, bir modeli eğitmenin genellikle yinelemeli bir süreç olduğunu ve harika bir model oluşturmanın, makine öğreniminin özüne ek olarak birinci, altıncı ve yedinci adımlara odaklanmayı içerdiğini vurgular.
  
  
• 00:10:00 Dersin bu bölümünde, konuşmacı iyi bir aday derin öğrenme projesinin özelliklerini tartışır. Sesle etkinleştirilen bir cihaz örneğini kullanıyor ve sesle etkinleştirilme potansiyeline sahip Echo ve Google Home gibi cihazların Wi-Fi için kurulum ihtiyacı nedeniyle yapılandırılmasının ne kadar zor olduğundan bahsediyor. Lamba üreticilerine satılabilen, yerleşik bir mikrofon içeren ve lambanın kendisine basit bir sesli komutla açılıp kapatılabilen gömülü bir cihaz aracılığıyla bu soruna bir çözüm sunuyor. Konuşmacı, bu projenin gömülü bir cihazda çalışabilen ve lambayı açıp kapatmak için uyandırma kelimesini algılayabilen bir öğrenme algoritması oluşturmayı gerektirdiğinden bahseder. Ayrıca belirsizliği önlemek için bu cihazlara isim verilmesini öneriyor. Konuşmacı, kendisi bu proje üzerinde çalışmıyorken, yeni başlayanların takip etmesi için makul bir ürün olabileceğini belirtiyor.
  
  
• 00:15:00 Videonun bu bölümünde sunum yapan kişi, izleyicilere bir derin öğrenme projesi fikri seçerken genellikle aradıkları özelliklerin neler olduğunu sorar. Daha sonra, proje fikirleri üzerinde beyin fırtınası yaparken göz önünde bulundurulması gereken beş kilit noktadan oluşan kendi listesini paylaşmaya devam ediyor. Bölümün başlangıcında, yanıtlama sistemiyle ilgili bazı teknik zorluklar dikkati dağıtır, ancak sunum yapan kişi sonunda konuya girerek izleyiciyi kendi fikirleri ve öncelikleri üzerinde düşünmeye teşvik eder.
  
  
• 00:20:00 Videonun bu bölümünde, Profesör Ng bir derin öğrenme projesinin nasıl seçileceğine ilişkin beş maddeyi paylaşıyor. Öğrencilere gerçekten ilgilendikleri bir şeyi seçmelerini ve verilerin kullanılabilirliğini değerlendirmelerini tavsiye ediyor. Ek olarak, makine öğrenimi tekniklerini alanlarının benzersiz yönlerine uygulayarak benzersiz bir katkı sağlamak için alan bilgilerinden yararlanmalıdırlar. Ayrıca, olumlu etki yaratabilecek ve paraya odaklanmadan insanlara fayda sağlayan bir projeyi seçmeyi teşvik ediyor. Son olarak, fizibilitenin herhangi bir makine öğrenimi projesinin veya fikrinin uygulanabilirliğini değerlendirmede çok önemli bir faktör olduğunu vurguluyor. Prof. Ng ayrıca derin öğrenmeyle ilgilenen doktorlardan ve radyoloji öğrencilerinden bir örnek veriyor ve onlara sağlık radyolojisindeki alan bilgilerinden yararlanmanın sıfırdan başlamaktan daha benzersiz katkılar yaratabileceğini hatırlatıyor.
  
  
• 00:25:00 Bu bölümde eğitmen, uygulanabilir bir proje seçmenin ve derin öğrenme algoritmasını eğitmek için veri toplamanın önemini tartışır. Öğrencilerin bir başlangıç projesi için belirli ifadeleri algılamak üzere bir derin öğrenme algoritması geliştirmeleri gereken bir senaryo ortaya koyuyor ve onlardan Fibonacci sıralama yöntemini kullanarak veri toplamak için gereken gün sayısını tahmin etmelerini istiyor. Öğrencilerden ayrıca gerekli verileri nasıl toplayacaklarını açıklamaları istenir. Sunucunun dizüstü bilgisayarında teknik sorunlarla karşılaşılır ve alternatif olarak Firefox tarayıcısının kullanılması önerilir.
  
  
• 00:30:00 Videonun bu bölümünde, eğitmen öğrencilerden küçük gruplar halinde birbirleriyle tartışmalarını ve veri toplamak için en iyi stratejiyi bulmalarını ve veri toplamak için kaç gün harcanacağına karar vermelerini ister. İlk modellerini eğitmenin ne kadar süreceğini ve veri toplamak için ne kadar zaman harcamak istediklerini düşünmelerini öneriyor. Eğitmen, ilk modeli eğitmek bir veya iki gün sürerse, veri toplamaya daha az zaman harcamak isteyebilecekleri konusunda uyarır. Öğrencilere, veri toplama için bir plan yapmaları için proje ortaklarıyla konuşmalarını tavsiye ediyor.
  
  
• 00:35:00 Bu bölümde eğitmen, Machine Learning projelerinde çalışırken bir sonraki veri setini toplamadan önce algoritmanın nasıl çalıştığını test etmek için veri toplamanın önemini tartışıyor. Eğitmen, veri toplamak için 1-2 gün harcamayı ve Stanford kampüsünde veya arkadaşlara gidip farklı anahtar kelimeler söyleterek veri toplamak için ucuz bir mikrofon almayı öneriyor. Yeni bir Makine Öğrenimi sistemi oluştururken problemle ilgili neyin zor veya kolay olacağını bilmenin zor olduğunu belirtiyor. Bu nedenle, ilerlemek için ilkel bir öğrenme algoritmasıyla başlamak önemlidir.
  
  
• 00:40:00 Bu bölümde konuşmacı, Makine Öğrenimi geliştirmesi sırasında hızla veri toplamanın ve yinelemenin öneminden bahsediyor. Veri toplamak için çok fazla zaman harcamamanızı tavsiye ediyor ve neyin gerekli olduğunu anlamak için önce daha küçük bir veri seti ile başlamayı öneriyor. Yapılan deneyler ve her bir modelin ayrıntıları hakkında açık notlar tutmak, araştırmacıların deneyleri tekrar yapmak yerine önceki deneylere geri dönebilmeleri için çok önemlidir. Ek olarak, başkalarının belirli bir alanda hangi algoritmaları kullandığını görmek için bir literatür taraması yapılmasını tavsiye ediyor, ancak literatürün bazı alanlarda olgunlaşmamış olabileceği konusunda uyarıda bulunuyor.
  
  
• 00:45:00 Bu bölümde öğretim görevlisi, veri toplama ve model tasarımından devreye almaya kadar derin öğrenme süreci boyunca iyi notlar almanın önemini tartışıyor. Sınırlı hesaplama ve güç bütçeleri olan düşük güçlü işlemcilerde büyük bir sinir ağı çalıştırmanın zorluklarını vurgulamak için uç cihazlarda (akıllı hoparlörler gibi) bir konuşma tanıma sistemi dağıtma örneğini kullanıyor. İle
  Bu zorluğun üstesinden gelmek için, ses klibini sınıflandırma için daha büyük sinir ağına aktarmadan önce kimsenin konuşup konuşmadığını tespit etmek için daha basit bir algoritma kullanılır. Bu daha basit algoritma, ses etkinliği tespiti (VAD) olarak bilinir ve cep telefonlarında kullanılanlar da dahil olmak üzere birçok konuşma tanıma sisteminde standart bir bileşendir.
  
  
• 00:50:00 Dersin bu bölümünde profesör, bir proje için insan konuşmasını tanımak için makine öğrenimi tabanlı olmayan bir Ses Etkinliği Tespit sistemi mi kullanacağım yoksa küçük bir sinir ağı mı eğiteceğim sorusunu soruyor. Küçük bir sinir ağının düşük bir hesaplama bütçesiyle çalıştırılabileceğini belirtiyor ve birinin konuştuğunu tespit etmenin, söylediği kelimeleri tanımaktan daha kolay olduğunu öne sürüyor. Sınıftaki öğrenciler farklı görüşlere sahipler, bazıları birinci seçeneğin hata ayıklamanın kolay ve basit olduğunu, ikinci seçeneğin ise köpek havlaması veya insanların fısıldaması gibi seslerin algılanması için daha iyi olduğunu savunuyor.
  
  
• 00:55:00 Bu bölümde öğretim görevlisi, akıllı hoparlörlerde arka plan gürültüsü olduğunda ortaya çıkan bir sorun olan konuşma aktivasyonunu uygulamak için iki seçeneği tartışıyor. Birinci seçenek, 10 dakikada uygulanabilen basit ve hızlı bir çözümdür ve birkaç satır kodla arka plan gürültüsünü filtrelemeyi içerir. İkinci seçenek daha karmaşıktır ve gürültülü ortamların üstesinden gelmek için büyük bir sinir ağı oluşturmayı gerektirir. İkinci seçenek, büyük akıllı konuşmacı şirketleri için gerekli olabilirken, küçük başlangıç ekipleri birinci seçenekle başlamaktan ve yalnızca gerekli olduğunda ikinci seçeneğe yatırım yapmaktan yararlanabilir. Eğitmen ayrıca bir ürünü gönderirken veri değişikliği sorununa dikkat çekiyor ve bunun nasıl çözüleceğine dair pratik fikirler sunuyor.
  
  
• 01:00:00 Bu bölümde, konuşmacı makine öğrenimindeki akademide genellikle göz ardı edilen pratik bir zayıflığı tartışıyor - veri değiştirme sorunu. Makine öğrenimi modelleri belirli bir veri kümesi üzerinde eğitildiğinde, aksanlı yeni kullanıcı sınıfları, farklı arka plan gürültüsü veya başkanlık skandalı gibi yeni olaylar gibi veriler değiştiğinde iyi performans göstermeyebilir. Verilen örnekler arasında web araması, kendi kendine giden arabalar ve fabrika teftişleri yer alır. Bu sorun, makine öğrenimi platformlarının gerçek dünyada çalışmaya devam etmesini sağlamak için sürekli izleme, veri toplama ve model yeniden tasarlama ihtiyacını vurgulamaktadır.
  
  
• 01:05:00 Bu bölümde, sınıf, makine öğrenimi olmayan bir yaklaşım ile eğitimli bir sinir ağı arasında VAD, ses etkinliği algılama için hangi sistemin daha sağlam olacağını tartışıyor. Sınıfın çoğunluğu makine öğrenimi olmayan bir sisteme oy verdi. Bununla birlikte, küçük bir sinir ağının Amerikan aksanlı konuşma üzerinde eğitilmesinin, sinir ağının belirli Amerikan aksanı özelliklerini yakalama olasılığını artırdığı ve İngiliz aksanlı konuşmayı algılamada daha az sağlam hale geldiği ortaya çıktı. Sınıf, el ile kodlanmış bir kuralın yeterince iyi performans göstermesi durumunda, verileri kaydırmanın genellikle daha sağlam olduğu ve genellikle daha iyi genelleme yapacağı sonucuna varır, ancak böyle bir kural olmadığında makine öğrenimi algoritmaları gereklidir.
  
  
• 01:10:00 Bu bölümde öğretim görevlisi, titiz öğrenme teorisi tarafından desteklendiği gibi, bir modelde daha az parametreye sahip olmanın daha iyi genellemeye yol açabileceği fikrini tartışır. Ardından, dünyanın sürekli değiştiği ve güncellemelerin gerekli olabileceği göz önüne alındığında, hangi tür konuşlandırmanın, bulut veya uç modelin bakımını kolaylaştırdığı sorusunu soruyor. İzleyicilere cevaplarını girmeleri için zaman verdikten sonra çoğunluk, bulut dağıtımlarının, güncellemeleri gönderme ve işlenen tüm verileri tek bir merkezi konumda alma yeteneği nedeniyle bakımı kolaylaştırdığını, ancak kullanıcı gizliliği ve güvenliği sorunlarına yol açtığını söyledi.
  
  
• 01:15:00 Bu bölümde konuşmacı, makine öğrenimi projelerinin devreye alınmasında izleme ve bakımın ne kadar önemli hususlar olduğunu tartışıyor. Modelin performansını ve geri bildirimini izlemenin ve doğruluğunu iyileştirmek veya gerekirse modeli yeniden eğitmek için gereken değişiklikleri ele almanın esas olduğunu vurguluyorlar. Ayrıca şirketlerin, güncellemeler veya değişiklikler olsa bile modelin çalışmaya devam etmesini sağlamak için istatistiksel testler kullanarak kalite güvence süreçleri oluşturduğunu öne sürüyorlar. Ayrıca, geri bildirim için kullanılacak verileri toplarken ve modeli yeniden eğitirken kullanıcı gizliliğine saygı duymanın ve kullanıcı onayı almanın önemini vurguluyorlar.

[MetaQuotes]

Ders 4 - Düşman Saldırıları / GAN'lar

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 4 - Düşman Saldırıları / GAN'lar

Bu ders, önceden eğitilmiş bir sinir ağını kandırmak için biraz değiştirilmiş girdiler olan rakip örnekler kavramını tanıtmaktadır. Ders, bu saldırıların nasıl çalıştığının teorik temelini açıklar ve derin öğrenmede rakip örnekleri kullanmanın kötü niyetli uygulamalarını tartışır. Ders ayrıca, gerçekmiş gibi görünen görüntüler üretebilen bir modeli eğitmenin bir yolu olarak Üretken Karşılıklı Ağları (GAN'lar) tanıtıyor ve ders, bir GAN modelindeki oluşturucunun maliyet işlevini tartışıyor. Ders, oluşturulmuş bir örnek verildiğinde D'nin çıktısının logaritmik grafiğini açıklayarak sona erer.

Ders, GAN'ları ve bunların görüntüden görüntüye çevirideki uygulamalarını ve CycleGAN mimarisini kullanan eşleştirilmemiş üretken çekişmeli ağları eğitmek için ipuçları ve püf noktaları da dahil olmak üzere Üretken Çekişmeli Ağlar (GAN'lar) ile ilgili çeşitli konuları kapsar. İnsan açıklamaları, sınıflandırma ağları ve Başlangıç puanı ve Frechet Başlangıç Mesafesi gibi yöntemlerle üretilen görüntülerin gerçekçiliğini kontrol etmek için popüler yöntemler olan GAN'ların değerlendirilmesi de tartışılmaktadır.

• 00:00:00 Bu bölümde, eğitmen sinir ağlarında düşmanca saldırı kavramını tanıtıyor ve iguana olmayan ancak önceden eğitilmiş bir ağ tarafından iguana olarak sınıflandırılan bir girdi görüntüsü bulma hedefini belirliyor. Eğitmen, sinir ağlarının kendilerini bu saldırılara karşı savunmasız kılan kör noktaları olduğunu açıklar ve bu saldırıların nasıl çalıştığının teorik temellerini tartışır. Eğitmen, bu konunun daha teorik olduğunu vurgular ve daha iyi anlaşılması için önerilen okumaları listeler.
  
  
• 00:05:00 Bu bölümde konuşmacı, beklenen ve beklenmeyen çıktı arasındaki farkı en aza indiren bir kayıp işlevi kullanarak zıt örnekler oluşturma sürecini tartışıyor. Kayıp fonksiyonu, pratikte hangisinin daha iyi çalıştığına bağlı olarak L1, L2 veya çapraz entropi olabilir. Ardından görüntü, istenen çıktı olarak sınıflandırılana kadar gradyan iniş kullanılarak yinelemeli olarak optimize edilir. Bununla birlikte, gerçek dünya görüntülerinin alanından önemli ölçüde daha büyük olan, ağın görebileceği olası giriş görüntülerinin geniş alanı nedeniyle, ortaya çıkan görüntü mutlaka istenen çıktı gibi görünmeyebilir.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi, saldırganların sinir ağlarını kandırarak girdileri yanlış yorumlaması için bu örnekleri kullanabildiği derin öğrenmedeki düşman örneklerinin kötü amaçlı uygulamalarını tartışıyor. Örneğin, bir saldırgan, yüzünün bir resmini başka birine aitmiş gibi göstermek, CAPTCHA'ları kırmak veya sosyal medyadaki şiddet içeren içeriği tespit eden algoritmaları atlamak için düşmanca bir örnek kullanabilir. Öğretim görevlisi daha sonra, optimizasyon problemini kısıtlamanın, düşman örnekleri nasıl daha tehlikeli hale getirebileceğini açıklar; burada, insanlara kedi gibi görünen bir resim, sinir ağı tarafından bir iguana olarak yorumlanabilir, bu da sürücüsüz arabalar ve diğer gerçek dünya için çıkarımlara sahiptir. uygulamalar. Son olarak, optimizasyon problemi için kullanılan ilk görüntü tartışılır ve eğitmen hedef nesnenin resmiyle başlamanın en etkili strateji olabileceğini önerir.
  
  
• 00:15:00 Bu bölümde konuşmacı, bir kayıp fonksiyonu olarak RMSE hatasının kullanımını ve bir insanın iki görüntüyü benzer görüp görmediğini ölçmenin doğru bir yolu olmayabileceğini tartışıyor. Ayrıca, bir grup kediyi alan ve aralarına minimum mesafe koyan karmaşık bir kayıp fonksiyonu yapma zorluğunu da ele alıyorlar. Konuşmacı daha sonra rakip örnekler ve insanlara gerçek görünen görüntülerin uzayının gerçekte gerçek görüntülerin alanından nasıl daha büyük olduğu hakkında konuşmaya devam eder. Konuşmacı, hedefsiz ve hedefli saldırıları ve farklı saldırı türleri göz önüne alındığında saldırganın bilgisinin nasıl önemli bir faktör olduğunu açıklamaya devam ediyor.
  
  
• 00:20:00 Dersin bu bölümünde, profesör düşman saldırıları için bir kara kutu modeline saldırmanın yollarını tartışıyor. Bir fikir, bir görüntü hafifçe bozulduğunda kaybın nasıl değiştiğini tahmin etmek için sayısal gradyan kullanmaktır. Başka bir kavram, bir model için oluşturulan rakip bir örneğin başka bir benzer modeli de kandırabileceği aktarılabilirliktir. Profesör, rakip örnekleri filtrelemek için bir "Güvenlik Ağı" modeli oluşturmak ve farklı kayıp işlevlerine sahip birden çok ağı birleştirmek gibi potansiyel savunmalardan bahsediyor. Başka bir yaklaşım, normal örneklerle birlikte karşıt örnekler üzerinde eğitim vermektir, ancak bu pahalı olabilir ve diğer karşıt örneklere zorunlu olarak genelleştirilmeyebilir.
  
  
• 00:25:00 Bu bölümde öğretim görevlisi, gradyan iniş optimizasyonunda çekişmeli örnekleri kullanmanın karmaşıklığını tartışıyor. Süreç, ilk terimi hesaplamak için x'in ağ üzerinden yayılmasını, optimizasyon süreciyle bir rakip örnek üretilmesini, rakip örneğin yayılmasını ileterek ikinci terimin hesaplanmasını ve ardından ağın ağırlıklarını güncellemek için geri yayılımın kullanılmasını içerir. Logit eşleştirme tekniğinden de kısaca, rakip eğitim için başka bir yöntem olarak bahsedilmektedir. Sinir ağlarının karşıt örneklere karşı savunmasızlığına ilişkin teorik bakış açıları da gündeme getiriliyor; temel argüman, yüksek doğrusal olmama ve aşırı uyumdan ziyade ağların doğrusal bölümlerinin, karşıt örneklerin varlığının nedeni olduğu.
  
  
• 00:30:00 Bu bölümde, konuşmacı karşıt örnekler kavramını ve bir girdinin, orijinal girdiye yakınken ağın çıktısını kökten değiştirecek şekilde nasıl değiştirileceğini tartışıyor. Konuşmacı, y-hat'ın x'e göre türevini kullanır ve pertürbasyon değeri olan epsilon'u tanımlar ve x'e epsilon*w-transpose ekleyerek x'i biraz hareket ettirebileceğimizi gösterir, bu da çıktıyı buna göre değiştirmeye yardımcı olur . Konuşmacı, w*w-transpose teriminin her zaman pozitif olduğunu ve epsilon'u küçük bir değere değiştirerek bu değişikliği biraz azaltabileceğimizi vurgular.
  
  
• 00:35:00 Bu bölümde öğretim görevlisi, -4'ten nöral ağ çıktısı olan y-hat'ı iten, x yıldızı adı verilen x'te küçük bir değişikliği hesaplayarak düşmanca bir saldırının nasıl oluşturulacağına dair bir örneği tartışıyor. 0,5'e. Öğretim görevlisi, W büyükse, x-yıldızın x'ten farklı olacağını ve W yerine W'nin işareti kullanılırsa sonucun x terimini her zaman pozitif tarafa iteceğini not eder. Ek olarak, x boyutu büyüdükçe, W'nin pozitif epsilon işaretinin etkisi artar.
  
  
• 00:40:00 Bu bölümde, konuşmacı, karşıt örnekler oluşturmanın genel bir yolu olan Hızlı Gradyan İşaret Yöntemi adlı bir yöntemi tartışıyor. Bu yöntem, maliyet fonksiyonunu parametrelerin yakınında doğrusallaştırır ve piksel görüntülerini çıktıyı önemli ölçüde etkileyecek bir yönde itmek için kullanılır. Konuşmacı, araştırma bu ağların davranışlarını doğrusallaştırmaya odaklandığından, bu yöntemin daha derin sinir ağları için olduğu kadar doğrusal için de işe yaradığını açıklıyor. Ek olarak, konuşmacı zincir kuralının kayıp fonksiyonunun türevini hesaplamak için nasıl kullanıldığını ve bir nöronun parametrelerini eğitmek için yüksek bir eğime sahip olmanın önemini tartışır.
  
  
• 00:45:00 Videonun bu bölümünde, daha önce hiç var olmamış olsalar bile gerçekmiş gibi görünen görüntüler üretebilen bir model eğitmenin bir yolu olarak, üretken çekişmeli ağlar (GAN'lar) kavramı tanıtılıyor. Ağın bir veri kümesinin göze çarpan özelliklerini anlaması ve gerçek dünyadaki dağıtımla eşleşen yeni görüntüler oluşturmayı öğrenmesi hedeflenir. İki ağ arasında bir minimax oyunu oynanır: bir üretici ve bir ayrımcı. Oluşturucu, rastgele bir görüntü çıkararak başlar ve daha gerçekçi görüntülerin nasıl üretileceğini öğrenmek için ayrımcıdan gelen geri bildirimi kullanır. GAN'ları eğitmek zordur, ancak amaç, oluşturucunun mevcut veri miktarından daha az parametreyle görüntülerin gerçek dünyadaki dağıtımını taklit etmeyi öğrenmesidir.
  
  
• 00:50:00 Bu bölümde eğitmen, Üretken Düşman Ağları (GAN'lar) kavramını ve geri yayılım yoluyla nasıl eğitilebileceklerini tanıtıyor. GAN, bir görüntünün gerçek mi yoksa sahte mi olduğunu belirlemeye çalışan ayırıcı ile bir oluşturucu ve bir ayırıcıdan oluşur. Oluşturucu daha sonra sahte görüntüler oluşturur ve ayrımcıyı bunların gerçek olduğunu düşünmesi için kandırmaya çalışır. Ayrımcı, ikili çapraz entropi kullanılarak eğitilir, gerçek görüntüler bir olarak etiketlenir ve oluşturulan görüntüler sıfır olarak etiketlenir. Ayrımcı için kayıp işlevi, iki terimi olan JD'dir: biri gerçek verileri doğru bir şekilde etiketler ve diğeri ikili çapraz entropidir.
  
  
• 00:55:00 Bu bölümde eğitmenler bir GAN modelinde jeneratör için maliyet fonksiyonundan bahsediyor. Amaç, üreticinin ayrımcıyı kandıran gerçekçi örnekler oluşturmasıdır ve maliyet fonksiyonu bunu yansıtmalıdır. Ancak, bu bir oyun olduğu için, bir dengeye ulaşılana kadar hem D hem de G'nin birlikte gelişmesi gerekir. Üretici için maliyet işlevi, ayrımcının oluşturulan görüntüleri "bir" olarak sınıflandırması gerektiğini belirtir ve bu, degradenin işaretini çevirerek elde edilir. Eğitmenler, oluşturulmuş bir örnek verildiğinde, D'nin çıktısının logaritmik grafiğini de tartışırlar.
  
  
• 01:00:00 Bu bölümde, eğitmen jeneratörün maliyet fonksiyonu ile ilgili sorunu ve bire yaklaştığında gradyanın çok büyük olmasına neden olan eksi sonsuza nasıl gittiğini tartışır. Bunun yerine, sıfıra yaklaştığında daha yüksek bir eğime sahip olan doygun olmayan bir maliyet fonksiyonunun kullanılmasını önerir ve matematiksel bir hile kullanarak mevcut maliyet fonksiyonunu bu doyumsuz maliyet fonksiyonuna dönüştürür. Doydurmayan maliyet fonksiyonu, ayrımcının üreticiden daha iyi olduğu başlangıçta yüksek bir eğime sahiptir ki bu genellikle eğitimin ilk aşamalarındadır.
  
  
• 01:05:00 Bu bölümde, konuşmacı GAN'ları eğitmek için maliyet işlevini değiştirmek, oluşturucudan çok ayrımcıyı güncellemek ve Virtual BatchNorm kullanmak da dahil olmak üzere ipuçlarını ve püf noktalarını tartışıyor. Konuşmacı ayrıca, rastgele kodla yüzler oluşturmak için bir oluşturucu kullanmak ve görüntü alanını doğrudan etkilemek için gizli kodlar alanında doğrusal işlemler gerçekleştirmek dahil olmak üzere etkileyici GAN sonuçlarının örneklerini gösterir. Ayrıca konuşmacı, GAN'ların harita görüntülerine dayalı uydu görüntüleri oluşturmak ve zebralar ve atlar veya elmalar ve portakallar gibi farklı nesneler arasında dönüştürmek için görüntüden görüntüye çeviride nasıl kullanılabileceğini gösterir.
  
  
• 01:10:00 Bu bölümde eğitmen, atları zebralara ve tersinin dönüştürülmesinde eşleştirilmemiş üretken çekişmeli ağların kullanımını tartışıyor. Kullanılan mimari, iki üreteç ve iki ayrımcı içeren CycleGAN olarak adlandırılır. Jeneratörler, bir görüntüyü kaynak alandan hedef alana ve ardından tekrar kaynak alana dönüştürmek için eğitilir. Bu, atın bir zebra ile aynı at olması gerektiği kısıtlamasının uygulanmasında önemlidir ve bunun tersi de geçerlidir. Kullanılan kayıp fonksiyonları, daha önce görülen klasik maliyet fonksiyonlarını ve orijinal ve oluşturulan görüntüler arasında eşleşmeyi sağlayan ek terimleri içerir.
  
  
• 01:15:00 Videonun bu bölümünde konuşmacılar, koşullu GAN'lar için kayıp fonksiyonlarını iyileştirmek için döngü maliyetlerinin kullanımı, kenarlara veya düşük çözünürlüklü görüntülere dayalı görüntüler oluşturma yeteneği ve GAN'ların çeşitli uygulamalarını tartışıyor. GAN'ların gizliliği koruyan tıbbi veri kümelerinde ve kemikler ve diş protezleri gibi nesnelerin kişiselleştirilmiş üretiminde kullanılması potansiyeli. Konuşmacılar ayrıca, rameni bir yüze ve arkaya dönüştürmek ve kenarlara dayalı kediler oluşturmak gibi oluşturulmuş eğlenceli uygulamaları da vurgulamaktadır.
  
  
• 01:20:00 Bu bölümde öğretim görevlisi GAN'ların değerlendirilmesini ve oluşturulan görüntülerin gerçekçi olup olmadığının nasıl kontrol edileceğini tartışır. Yöntemlerden biri, yazılımın oluşturulduğu ve kullanıcılardan hangi görüntülerin sahte hangilerinin gerçek olduğunu belirtmelerinin istendiği insan açıklamalarıdır. Başka bir yöntem de görüntüleri değerlendirmek için Inception ağı gibi bir sınıflandırma ağı kullanmaktır. Öğretim görevlisi ayrıca GAN'ları değerlendirmek için popüler yöntemler olarak Başlangıç puanı ve Frechet Başlangıç Mesafesinden bahseder. Son olarak, öğretim görevlisi öğrencilere yaklaşan sınavları ve programlama ödevini hatırlatır ve BatchNorm videolarını incelemelerini tavsiye eder.

[MetaQuotes]

Ders 5 - AI + Sağlık

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 5 - AI + Sağlık

Ders, bu derste sağlık hizmetlerinde yapay zeka uygulamalarına genel bir bakış sunar. Yapay zekanın cevaplayabileceği açıklayıcı, tanılayıcı, tahmine dayalı ve kuralcı gibi soru türlerini ayrıştırıyor. Yazar daha sonra yapay zekanın farklı sağlık sorunlarına uygulanmasını gösteren laboratuvarından üç vaka çalışması sunuyor. Bir örnek, uzmanların yanlış teşhis etmiş olabileceği ancak bir makine tarafından yakalanabilecek ciddi kalp ritim bozukluklarının saptanmasıdır. Başka bir örnek, özellikle bir ACL yırtığı ve bir menisküs yırtığı olasılığını belirleyerek diz MR incelemelerindeki anormallikleri belirlemek için evrişimli sinir ağlarını kullanmaktır. Son olarak, konuşmacı yapay zeka sağlık hizmetlerinde veri dağıtımı ve veri artırma ile ilgili konuları tartışıyor.

İkinci bölüm, sağlık uygulamalarında derin öğrenmenin uygulanmasıyla ilgili çeşitli konuları kapsar. Bir şirketin sürücüsüz arabalarda geriye doğru bakarken sanal asistanla konuşan insanların neden olduğu konuşma tanıma sorunlarına getirdiği çözümün gösterdiği gibi, veri artırmanın önemi tartışılıyor. Kaç katmanın ekleneceğine ve hangilerinin dondurulacağına karar verilmesi gibi sağlık uygulamaları için transfer öğreniminde yer alan hiperparametreler de tartışılmaktadır. Ders daha sonra, etiketli veri kümelerine sınır eklemenin öneminin vurgulandığı görüntü analizine geçer. Tıbbi görüntü analizinde nesne algılama ve segmentasyon arasındaki avantajlar ve farklılıklar tartışılmakta ve sıfır veya bir ile etiketlenmiş tıbbi görüntüler için ikili sınıflandırma konusu tanıtılmaktadır. Ders, derin öğrenmede verilerin önemi ve kurs için yaklaşan değerlendirmeler tartışılarak sona erer.

• 00:00:00 Videonun bu bölümünde ders, sağlık hizmetlerindeki AI uygulamalarına genel bir bakış sunar. Yapay zekanın cevaplayabileceği açıklayıcı, tanılayıcı, tahmine dayalı ve kuralcı gibi soru türlerini ayrıştırıyor. Ayrıca, derin öğrenmenin paradigma değişimini ve yapay zekanın makine öğrenimi mühendisinin işini otomatikleştirme potansiyelini tartışıyor. Rajpurkar daha sonra yapay zekanın farklı sağlık sorunlarına uygulanmasını gösteren laboratuvarından üç vaka çalışması sunuyor.
  
  
• 00:05:00 Bu bölümde konuşmacı, tıbbi görüntüleme kullanarak aritmileri tespit etme problemini tartışıyor. Aritmiler milyonlarca kişiyi etkileyen önemli bir sorundur ve kalp ritimleri arasındaki ince farklar nedeniyle EKG testleri ile bunları tespit etmek zor olabilir. Konuşmacı, otomatik yorumlamayı gerekli kılabilen Zio Patch gibi son cihazlar kullanılarak hastaların izlenmesinden iki hafta içinde üretilen veri miktarını vurgular. Bununla birlikte, otomatik yöntemler kullanılarak aritmilerin saptanması, birkaç elektrotun sınırlı kullanılabilirliği ve kalp ritimleri arasındaki ince farklar gibi zorlukları da beraberinde getirir. Konuşmacı, bu zorlukların üstesinden gelmek için, özellik mühendisliği ve sınıflandırmaya yönelik geleneksel yaklaşımları değiştirebilen derin öğrenmeyi kullanmayı önerir.
  
  
• 00:10:00 Bu bölümde konuşmacı, kalp ritimlerini (A, B ve C olarak etiketlenmiş) girişten çıkışa haritalamak için 34 katman derinliğine sahip 1D evrişimli sinir ağı mimarisine sahip derin bir sinir ağı kullanmayı tartışıyor. Kullanılan ağ, hata sinyalinden katmanların her birine olan mesafeyi en aza indirmeye yardımcı olan kısayollara sahip artık bir ağdı ve önceki en büyük veri kümesinden 600 kat daha büyük olan daha büyük bir veritabanıyla birleştirildi. Bu yeni veri tabanı, algoritmanın kardiyologları F1 metrikleri hassasiyetinde ve hatırlamada geride bırakmasına olanak tanır; en büyük hata, çok benzer görünen ancak tedavide hiçbir farkı olmayan iki ritmi ayırt etmek ve hatta uzmanların gözden kaçırdığı bir maliyetlendirme hatası bulmaktır.
  
  
• 00:15:00 Bu bölümde, öğretim görevlisi otomasyonun sağlık hizmetlerinde kullanımını ve derin öğrenme ile makine öğreniminin sürekli hasta izlemeye, risk faktörlerine ilişkin bilimsel anlayışı ilerletmeye ve potansiyel tıbbi atılımlara nasıl izin verdiğini tartışıyor. Uzmanların yanlış teşhis koymuş olabileceği ancak bir makine tarafından yakalanabilecek ciddi kalp ritim bozukluklarının saptanması buna bir örnektir. Öğretim görevlisi ayrıca pnömoninin göğüs röntgeni ile saptanmasını tartışarak, özellikle pnömoninin küresel yükünün yüksek olduğu çocuklarda otomatik saptamanın yararlılığını vurgular.
  
  
• 00:20:00 Bu bölümde, konuşmacı bir hastanın göğüs röntgeninin giriş görüntüsünü almak ve varlığı veya yokluğu gösteren bir ikili etiket çıktısı almak için ImageNet üzerinde önceden eğitilmiş bir 2B evrişimli sinir ağının kullanımını tartışıyor. pnömoni. Kullanılan veri seti, NIH tarafından yayınlanan 100.000 göğüs röntgeninden oluşan büyük bir veri setiydi ve her bir röntgen 14'e kadar farklı patolojiyle açıklanmıştı. Modelin radyologlardan daha iyi mi yoksa onlarla aynı seviyede mi olduğunu belirlemek için diğer uzmanlarla aynı fikirde olup olmadıkları değerlendirilerek bir değerlendirme yapılmıştır. F1 skoru, her uzman ve model için bir kez hesaplandı ve modelin bu görevde ortalama bir radyologdan daha iyi performans gösterdiği gösterildi. Sonuçlar ayrıca 14 patolojinin tamamında önceki son teknolojiden daha iyiydi.
  
  
• 00:25:00 Bu bölümde konuşmacı, hastaların klinik geçmişlerine erişmeden teşhis koymanın zorluklarını ve daha fazla bilgiye erişimi olan radyoloji raporları üzerinde derin öğrenme algoritmalarının nasıl eğitilebileceğini tartışıyor. Amaç, yeni bir hastanın göğüs röntgeninde görülen bir dizi semptomdan potansiyel patolojileri belirlemektir. Model yorumlama, klinisyenleri algoritmanın karar verme süreci hakkında bilgilendirmek için çok önemlidir ve bir görüntünün patolojiler içeren alanlarını vurgulayan ısı haritaları oluşturmak için sınıf aktivasyon haritalarını kullanırlar. Yaklaşım, özellikle gelişmiş dünyada iş akışına öncelik vererek sağlık hizmeti sunumunu iyileştirebilir ve nüfusun üçte ikisinin teşhise erişiminin olmadığı küresel ölçekte tıbbi görüntüleme uzmanlığını artırabilir.
  
  
• 00:30:00 Bu bölümde öğretim görevlisi, modelin daha sonra tanı koyduğu röntgen görüntülerini yüklemesine izin veren bir prototip uygulama gösterir. Model 14 patoloji konusunda eğitilmiştir ve kalbin büyümesi olan kardiyomegaliyi tanımlayabilir. Öğretim görevlisi, internetten indirilen bir görüntünün başarılı bir şekilde teşhis edilmesinin de gösterdiği gibi, algoritmanın eğitildiği popülasyonların ötesindeki popülasyonlara genelleme yeteneği konusunda heyecanlı. Buna ek olarak öğretim görevlisi, diz anormalliklerini tanımlamanın amaçlandığı dizin MR görüntüleri üzerine bir vaka çalışmasını tartışır. 3 boyutlu problem, radyologların teşhis koyması için gerekli olan dizin farklı açılardan görüntülenmesini sağlar.
  
  
• 00:35:00 Bu bölümde, konuşmacı diz MR incelemelerindeki anormallikleri belirlemek için konvolüsyonel sinir ağlarını kullanmayı tartışıyor, özellikle bir ÖÇB yırtığı ve bir menisküs yırtığı olasılığını tanımlıyor. Konuşmacı, her bir görünüm-patoloji çifti için dokuz evrişimli ağı eğitti ve ardından bunları lojistik regresyon kullanarak birleştirdi. Modeli 120 incelemede test ettiler ve anormallikleri belirlemede başarılı olduğunu gördüler. Konuşmacı ayrıca modelleri farklı kurum ve ülkelerden veri kümeleriyle çalışacak şekilde genelleştirebilmenin önemini tartışıyor. Performansı artırmak için radyologlar gibi farklı alanlardaki uzmanlarla birlikte çalışan modeller konusuna da değinilmektedir.
  
  
• 00:40:00 Dersin bu bölümünde, konuşmacı ön çapraz bağ yırtıklarını tespit etmek için bir AI modeli kullanan radyologların etkinliği üzerine bir çalışmayı tartışıyor. Çalışma, modeli radyologlarla birlikte kullanmanın ÖÇB yırtığı tespitinin performansını ve özgüllüğünü artırdığını buldu. Bununla birlikte, otomasyon yanlılığı endişesi ortaya çıkar ve konuşmacı, modele çok fazla güveniyorlarsa radyologları uyarmak için ters cevaplarla sınavları geçmek gibi olası çözümlere değinir. Konuşmacı ayrıca öğrencilerin yapay zeka ve sağlık hizmetlerine katılmaları için MURA veri kümesiyle çalışma ve AI for Healthcare Bootcamp'a katılma dahil olmak üzere iki fırsatı paylaşıyor.
  
  
• 00:45:00 Bu bölümde konuşmacı, sağlık hizmetlerinde AI modellerinin geliştirilmesi ve uygulanmasında tıp uzmanları için uygulamaları ve potansiyel tazminatı tartışıyor. Konuyla ilgili çok çalışma yapılıyor olsa da, tıp uzmanlarının geçim kaynakları üzerindeki potansiyel etkiyi çevreleyen etik kaygılara doğrudan bir çözüm yok. Konuşmacı ayrıca AI modellerinin belirli patolojileri tespit etmedeki sınırlamaları ve bu sınırlamaları kullanıcılara iletmenin önemi hakkında bir soruyu da ele alıyor. Bu bölüm, hastalıkları saptamak için deri hücrelerinin mikroskobik görüntülerini bölümlere ayırmak için derin öğrenmenin kullanılmasına ilişkin bir vaka çalışmasıyla sona eriyor.
  
  
• 00:50:00 Bu bölümde, konuşmacı tıbbi görüntüleri bölümlere ayırmayı ve veri kümesini tren, geliştirme ve test kümelerine ayırmayı tartışıyor. Görüntüler, hücreye karşılık gelen veya hücre olmayan piksellere ikili bölümlere ayrılmıştır. Seyirciden, verileri A için %50, B için %25 ve C için %25 olarak bölünmüş şekilde üç farklı mikroskoptan (A, B ve C) verileri ayırma stratejilerini tartışmaları ve sunmaları istenir. geliştirme ve test setlerinde C görüntüleri ve ayrıca eğitim verilerinin %90'ına dahil edilen C görüntüleri ile verileri tren ve geliştirme testi için 95-5'e bölün.
  
  
• 00:55:00 Bu bölümde, konuşmacı yapay zeka sağlık hizmetlerinde veri dağıtımı ve veri artırma ile ilgili konuları tartışıyor. Eğitim verilerinin dağılımının gerçek dünya uygulamasıyla eşleşmesini sağlamanın önemini vurguluyor ve döndürme, yakınlaştırma, bulanıklaştırma ve simetri gibi güçlendirme teknikleri öneriyor. Konuşmacı ayrıca, simetri kaymalarının yanlış etiketlemeye yol açabileceği karakter tanıma gibi, veri artırmanın modele yardımcı olmaktan çok zarar verebileceği durumlar konusunda da uyarıda bulunuyor.
  
  
• 01:00:00 Bu bölümde, sürücüsüz arabalar ve arabalarda sanal asistanlar üzerinde çalışan bir şirket örneğiyle veri artırmanın önemi tartışılıyor. Araç geri giderken konuşma tanıma sisteminin iyi çalışmadığını fark ettiler ve insanların elleri yolcu koltuğunda arkaya bakarak sanal asistanla konuştuklarını keşfettiler. Akıllı veri artırmayı kullanarak, verilerin seslerini, arabanın arkasından konuşan biri tarafından kullanılmış gibi görünecek şekilde değiştirebildiler ve bu da sorunu çözdü. Ek olarak, transfer öğreniminde yer alan hiperparametreler gibi konular tartışılır.
  
  
• 01:05:00 Bu bölümde konuşmacı, derin öğrenmeyi kullanan sağlık uygulamaları için transfer öğrenimine dahil olan hiperparametreleri tartışıyor. Katman sayısı, eklenen katmanların boyutu ve eğitim sırasında hangi katmanların dondurulacağı kararı gibi hiperparametrelere odaklanırlar. Konuşmacı, önceden eğitilmiş bir ağdan hangi katmanların korunacağını ve segmentasyon için yeni bir ağ oluşturmak üzere kaç katmanın ekleneceğini açıklar. Ek olarak, küçük bir veri kümesi için yeniden eğitim sırasında önceden eğitilmiş katmanların ne kadarının donacağına karar vermenin önemli olduğunu tartışıyorlar.
  
  
• 01:10:00 Bu bölümde eğitmen, doktorun istediği ile uyuşmayan bir algoritma tarafından üretilen bir çıktının görüntüsünü gösterir. Görüntüde ayrılamayan hücreler var, bu da doktorun yorumlamasını zorlaştırıyor. Bu sorunun çözümü, etiketli veri kümesine sınırlar eklemektir. Veri kümeleri, sınırların varlığı dikkate alınarak yeniden etiketlenebilir. Model hala iyi performans göstermediğinde, kayıp fonksiyonunun ağırlığı ayarlanır, bu da modelin sınırlara odaklanmak üzere eğitildiği anlamına gelir. Modele sınırları ıskalaması durumunda nasıl ilerleyeceğini söylemek için kayıp fonksiyonundaki her bir değere katsayılar atfedilebilir. Veri kümesini yeniden etiketleme, çizgiler çizdiğiniz yerde manuel olarak yapılabilir ve çizgilerin içindeki alan hücre, sınır da çizgi olarak ele alınır.
  
  
• 01:15:00 Bu bölümde ders, tıbbi görüntü analizinde nesne algılama ve segmentasyon arasındaki avantajları ve farklılıkları tartışır. Nesne algılama, daha hızlı analiz için daha iyi çalışabilirken, segmentasyon hücreleri ayırmada daha kesindir. Ders daha sonra sıfır veya bir ile etiketlenmiş ve kanser hücrelerinin varlığını veya yokluğunu belirten tıbbi görüntüler için ikili sınıflandırmayı tartışarak devam eder. Konuşmacı, %99 doğruluk oranına ulaştıktan sonra ağın tahminini yorumlamak için gradyan değerlerinin kullanılmasını önerir. Daha sonra bir ağın bir doktordan daha yüksek doğruluk elde edip edemeyeceği sorgulanır ve bu sorunun cevabı, deneyim ve algı farklılıklarından dolayı evettir.
  
  
• 01:20:00 Bu bölümde, eğitmenler sağlık hizmeti yapay zeka modellerinde temel hatayı ve insan düzeyinde performansı tartışıyor. Veri setini etiketleyen bir grup doktorun doğruluğunun, tek bir doktorunkini geçebileceği için dikkate alınması gerektiğinden bahsediyorlar. Otonom sürüş için boru hattı da tartışılıyor ve her bir bileşeni izole etmenin ve performanslarını kontrol etmenin sorunun nerede olduğunu belirlemeye yardımcı olabileceği öneriliyor. Ek olarak, veri toplamanın tüm uçtan uca sisteme göre her bir adım için elde edilmesinin daha kolay olabilmesi de dahil olmak üzere bir ardışık düzen yaklaşımının avantajları tartışılmaktadır.
  
  
• 01:25:00 Bu bölümde eğitmen, derin öğrenmede verilerin önemini ve üzerinde çalışılacak problem seçiminin hangi verilerin kolayca erişilebilir olduğuna bağlı olabileceğini tartışır. Daha sonra evrişimli sinir ağları konusunu tanıtıyor ve gelecek modüllerin ağırlıklı olarak görüntü analizine odaklanacağından bahsediyor. Eğitmen, öğrencilere yaklaşan sınavı, programlama ödevlerini ve içinde bulunulan haftanın videolarına kadar her şeyi kapsayacak olan ara sınavı hatırlatır.

[MetaQuotes]

Ders 6 - Derin Öğrenme Projesi Stratejisi

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 6 - Derin Öğrenme Projesi Stratejisi

Bu videoda konuşmacı, bir makine öğrenimi projesinin başarısını ölçmek için iyi bir metrik seçmenin önemini tartışıyor. Seçilen metrik eldeki sorunu ve istenen sonucu yansıtmalıdır. Konuşmacı doğruluk, kesinlik, hatırlama ve F1 puanı örnekleri verir ve her birinin ne zaman kullanılması gerektiğini açıklar. Ayrıca doğrulama seti ile test seti arasındaki farkı tartışırlar ve her ikisini birden kullanmanın neden önemli olduğunu açıklarlar. Ek olarak, konuşmacı, öğrenme algoritmasının etkinliğini ölçmek için bir karşılaştırma noktası olarak bir temel modele duyulan ihtiyacı vurgular. Son olarak, konuşmacı dinleyicilerin ikili sınıflandırma için eşik seçimi ve sınıf dengesizliğiyle nasıl başa çıkılacağı hakkında bazı sorularını yanıtlar.

• 00:00:00 Bu bölümde eğitmen, sesli komut kullanarak bir lambayı yakmak için kullanılabilen "Robert turn on" adlı belirli bir tümceyi algılamak için bir konuşma tanıma sistemi oluşturmaya yönelik bir proje senaryosunu tanıtıyor. Amaç, bu cümleyi tanıyabilen ve konuşulduğu zaman lambayı yakabilen bir öğrenme algoritması oluşturmaktır. Eğitmen, bir makine öğrenimi projesini daha verimli hale getirmek ve hızla ileriye götürmek için bundan sonra ne yapılacağına karar vermede stratejik olarak bilgili olmanın önemini vurgular. Ders etkileşimli olacak ve öğrenciler geleneksel olarak birlikte çalışmadıkları biriyle oturmaya teşvik edilecek.
  
  
• 00:05:00 Bu bölümde, eğitmen izleyicilerden kendilerini belirli bir cümleyi algılamak için bir öğrenme algoritması oluşturma görevi olan bir startup CEO'su olarak hayal etmelerini ister. Yeni bir projeye başlamadan önce mevcut literatürü okumanın önemini vurguluyor ve araştırma makalelerinin verimli bir şekilde nasıl okunacağına dair ipuçları veriyor. İzleyicilere, hangisini daha ayrıntılı okuyacaklarına karar vermeden önce birden fazla makaleyi yüzeysel olarak gözden geçirmelerini tavsiye ediyor. Ayrıca, tüm makalelerin anlamlı veya önemli olmadığı konusunda uyarıyor ve bu nedenle alakasız bilgileri filtrelemek çok önemli.
  
  
• 00:10:00 Dersin bu bölümünde, belirli bir konuyu anlamaya çalışırken uzmanlarla konuşmanın ve makale yazarlarıyla iletişim kurmanın önemi vurgulanıyor. Konuşmacı ayrıca bir derin öğrenme projesi için uygun eğitim, geliştirme ve test veri kümelerini toplama sürecini de tartışır. "Robert turn on" gibi tespit edilecek belirli cümleyi söyleyen bireylerin kaydedilmesini ve öğrenme algoritmasındaki varyansı azaltmak için veri artırma tekniklerinin kullanılmasını önerirler. Konuşmacı, zaman ve çaba harcamadan önce veri artırma ihtiyacını doğrulamanın önemini vurguluyor.
  
  
• 00:15:00 Bu bölümde, konuşmacı bir tetikleyici kelime algılama sistemi oluşturmayı içeren örnek bir ev ödevi problemini tartışıyor. Sistem, birisinin "Robert aç" gibi belirli bir cümle söylediğini algılamak ve ardından bir lambayı yakmak gibi bir eylemi tetiklemek için tasarlanmıştır. Gerekli verileri toplamak için konuşmacı, geliştirme seti için 25 ve test seti için 0 olmak üzere, her biri 10 saniyelik 100 ses klibi toplamayı önerir. Stanford kafeteryası gibi yoğun bir alanda bir veya iki dakikada bir kişinin kaydedilebileceğini tahmin ederek bu sürecin hızlı bir şekilde yapılabileceğini açıklıyor.
  
  
• 00:20:00 Videonun bu bölümünde öğretim görevlisi, denetimli öğrenme için bir ses algılama probleminin ikili sınıflandırma problemine nasıl dönüştürüleceğini tartışıyor. Her klip için farklı hedef etiketleri olan on saniyelik bir klibin üç saniyelik ses kliplerini kesmeyi öneriyorlar. Bu yöntem binlerce eğitim örneği verebilir. Öğretim görevlisi, dizi verilerini işlemek için başka yöntemlerin var olduğunu kabul eder, ancak bu, bunu yapmanın bir yoludur. Seyircinin seyrek hedefler ve üç saniyelik klip seçimi hakkındaki sorularını da yanıtlıyorlar. Son olarak, doğruluğun yüksek olduğu ancak algoritmanın söz konusu ifadenin herhangi bir örneğini algılamadığı bir senaryoyu tartışırlar.
  
  
• 00:25:00 Bu bölümde, konuşmacı bir öğrenme algoritmasının %95 doğruluk sağladığı ancak herhangi bir algılama olmadığı bir senaryoyu tartışıyor. Algoritmayı iyileştirmenin bir yolunun, bir dev seti belirlemek ve gerçek hedefe daha yakın metrikleri değerlendirmek olduğunu öne sürüyorlar. Bu, olumlu ve olumsuz örnekler açısından daha orantılı hale getirmek için eğitim ve dev setlerini yeniden örnekleyerek veya olumlu örneklere daha fazla ağırlık vererek yapılabilir. Başka bir yaklaşım, hedef etiketlerini birden çok etiketle değiştirmek olabilir; bu, hızlı ve kirli bir yöntem olabilir, ancak matematiksel olarak titiz olmayabilir. Konuşmacı ayrıca dağıtma sırasında veri kümelerinin nasıl yeniden dengeleneceğine ilişkin bir soruyu ele alır ve ortaya çıkabilecek yanlılığı ayarlama ihtiyacına değinir.
  
  
• 00:30:00 Bu bölümde, konuşmacı öğrenme algoritmaları oluşturma stratejisini tartışıyor ve bunun geliştirmeden çok hata ayıklama gibi hissedilebileceğini vurguluyor. İş akışı tipik olarak bir sorunu çözmeyi ve ardından çözülecek yeni bir sorunla karşılaşmayı içerir. Örneğin, algoritma aşırı uyuyorsa, hata analizi gerekir ve veri kümesini dengelemek için daha fazlası eklenebilir. Bununla birlikte, yeniden dengelemenin basit yolu, öğrenme algoritması için yararlı olabilecek pek çok olumsuz örneğin atılmasına neden olabilir. Konuşmacı ayrıca, bir sistemin verimliliğini ölçmek için, örneğin uyanma veya lambayı yakma şansı ve kendi kendine açılmasının rasgeleliği gibi metriklerden de bahsetti.
  
  
• 00:35:00 Bu bölümde, konuşmacı ses için veri artırmayı tartışıyor ve bir sistemi daha sağlam hale getirmek için arka plan gürültüsü verilerini toplamanın üç olası yolunu öneriyor. İlk yöntem, kullanıcının evindeki sesin nasıl olacağını simüle etmek için ses kliplerine eklenmek üzere izin alınarak insanların evlerindeki arka plan seslerinin ses örneklerinin toplanmasını içerir. İkinci yöntem, çevrimiçi olarak Creative Commons lisanslı içerikten yağmur veya arabaların 10 saatlik ses kliplerinin indirilmesini içerirken üçüncü seçenek, dünyanın her yerinden insanların ses örnekleri sağlamasını sağlamak için Amazon Mechanical Turk'ü kullanmaktır.
  
  
• 00:40:00 Videonun bu bölümünde konuşmacı, izleyicilerden Stanford çevresindeki çeşitli konumlarda farklı mekanizmalar aracılığıyla 10 saatlik ses verisi toplamanın ne kadar süreceğini tahmin etmelerini istiyor. Konuşmacı, dizüstü bilgisayarı olan birden fazla arkadaşa sahip olarak paralel olarak veri toplamanın hızlı bir şekilde yapılabileceğini, kliplerin döngüye girebileceği ve bu nedenle veri çeşitliliğine katkıda bulunmadığı için çevrimiçi klip indirmenin daha zor olabileceğini öne sürüyor. Konuşmacı, fikirleri verimli bir şekilde beyin fırtınası yapmak ve ne kadar zaman ve çaba gerektireceğini belirlemek için bu tür alıştırmalardan geçmenin önemini vurgular.
  
  
• 00:45:00 Bu bölümde eğitmen, iyi bir tetikleyici kelime algılama sistemi oluşturmak için verimli olmanın ve beyin fırtınası yapılan fikirlere ve zaman tahminlerine dayalı seçimler yapmanın önemini açıklıyor. Verilen tavsiye, hızlı bir şekilde "kirli" bir şey oluşturmak ve daha sonra sistemi daha da iyileştirmek için veri setleri geliştirmektir. Eğitmen, bir şirketin başarısı/başarısızlığı arasındaki farkın nihai olarak verimli olmaya ve verilen zaman dilimini en iyi şekilde kullanmaya bağlı olduğunu vurgular. Son olarak, eğitmen, kursu geliştirmeye yardımcı olmak için öğrencileri anonim bir anketi doldurmaya teşvik eder .

[MetaQuotes]

Ders 7 - Yapay Sinir Ağının Yorumlanabilirliği

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 7 - Yapay Sinir Ağının Yorumlanabilirliği

Bu derste öğretim görevlisi sinir ağlarını yorumlamak ve görselleştirmek için belirginlik haritaları, oklüzyon duyarlılığı ve sınıf aktivasyon haritaları gibi çeşitli yöntemleri tanıtır. Sınıf aktivasyon haritaları, karar verme sürecinde girdinin hangi bölümlerinin en ayırt edici olduğunu görselleştirmek için çıktıyı girdi alanına geri eşleyerek bir sinir ağının ara katmanlarını yorumlamak için kullanılır. Profesör ayrıca, evrişimli bir sinir ağında uzamsal bilgiyi korumanın bir yolu olarak küresel ortalama havuzlamayı ve görüntü bölümleme gibi görevler için görüntülerin yüksekliğini ve genişliğini yukarı örneklemenin bir yolu olarak dekonvolüsyonu tartışıyor. Ek olarak, ders evrişimli filtrelerde ortogonallik varsayımını ve görselleştirme uygulamalarında yeniden yapılandırma için alt piksel evrişiminin nasıl kullanılabileceğini araştırır.

Ders, nöral ağları yorumlamak ve görselleştirmek için alt piksel evrişimi, 2B ters evrişim, üst örnekleme, havuzdan çıkarma ve DeepViz araç kutusu ve Deep Dream algoritması gibi araçların kullanımı dahil olmak üzere çeşitli yöntemleri kapsar. Konuşmacı, bir ağın ilk katmanındaki filtreleri görselleştirmenin yorumlamayı nasıl kolaylaştırabileceğini açıklıyor, ancak daha derine indikçe ağın anlaşılması zorlaşıyor. Konuşmacı, farklı katmanlardaki aktivasyonları inceleyerek, belirli nöronların belirli özelliklere nasıl tepki verdiğini gösterir. Sinir ağlarını yorumlamada sınırlamalar olsa da, görselleştirme teknikleri içgörü ve bölümleme, yeniden yapılandırma ve rakip ağ üretimi gibi potansiyel uygulamalar sağlayabilir.

• 00:00:00 Bu bölümde, konuşmacı, sinir ağlarını geliştirmek için sadece deneme yanılma kullanmak yerine, sinir ağlarını yorumlama fikrini tanıtıyor. Sinir ağlarını yorumlamak için üç yöntem sunmaya devam ediyorlar: belirginlik haritaları, tıkanma hassasiyeti ve sınıf aktivasyon haritaları. Bu yöntemler, girdinin hangi bölümünün belirli bir çıktı için ayırt edici olduğunu kontrol etmek için girdi alanını geri haritalayarak ağın karar verme sürecini anlamaya yardımcı olur. Konuşmacı daha sonra ara katmanları nasıl daha da derinlemesine inceleyeceklerini ve ağı daha iyi anlamak için gradyan yükseliş sınıfı modeli görselleştirme, veri kümesi arama ve ters evrişim gibi yöntemleri nasıl kullanacaklarını açıklamaya devam ediyor. Amaç, sadece deneme yanılma yöntemine güvenmek yerine sinir ağlarını geliştirmek için bilimsel bir yöntem sağlamaktır.
  
  
• 00:05:00 Bu bölümde öğretim görevlisi sinir ağlarının yorumlanabilirliğini ve ağın neye baktığını görselleştirmek için belirginlik haritalarının kullanımını tartışıyor. Softmax katmanının olasılıklarını kullanmak yerine, ağın genel çıktısı üzerinde hangi piksellerin en büyük etkiye sahip olduğunu belirlemek için softmax öncesi puanları kullanmanın daha iyi olduğunu açıklıyorlar. Öğretim görevlisi ayrıca daha kesin görselleştirme için bir yöntem olarak oklüzyon duyarlılığını da sunar. Bu, giriş görüntüsündeki köpeğe gri bir kare koymayı ve ağın güvenirliğinin farklı renklerle gösterildiği sınıf köpeğinin bir olasılık haritasını oluşturmak için bunu ağ üzerinden birçok kez yaymayı içerir. Harita, gri kareyi kaydırarak, ağın onu bir köpek olarak sınıflandırması için giriş görüntüsünün hangi bölgelerinin en önemli olduğunu gösterir.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi sinir ağlarını yorumlamak ve anlamak için üç farklı yöntemi tartışıyor. İlk yöntem, ağın nereye baktığını ve neye odaklandığını görmek için görüntünün bazı kısımlarını kapatmayı içerir. Öğretim görevlisi, bu yöntemi köpekler ve sandalyelerin görüntüleri ile gösterir ve görüntünün hangi bölümünün kapatıldığına bağlı olarak ağın güveninin nasıl değiştiğini gösterir. İkinci yöntem, görüntünün belirli bölümleri kaldırıldığında ağın güveninin fiilen arttığı kapatma hassasiyetidir. Üçüncü yöntem, bir ağın yalnızca görüntü düzeyindeki etiketler üzerinde eğitildiğinde bile görüntülerdeki nesneleri yerelleştirme yeteneğini gösteren sınıf etkinleştirme haritalarıdır. Öğretim görevlisi, bu yerelleştirme yeteneğinin nesne algılama gibi görevler için çok önemli olduğunu ve genellikle sınıflandırma görevleri üzerine eğitim yoluyla geliştirildiğini açıklar.
  
  
• 00:15:00 Bu bölümde eğitmen, ağın neye baktığını görselleştirmek için yararlı olan uzamsal bilgileri korumak için evrişimli sinir ağında (CNN) düzleştirilmiş artı tam bağlı yerine küresel ortalama havuzun nasıl kullanılacağını gösterir. Altı özellik haritasına sahip bir cilt elde edildikten sonra, onu altı değerden oluşan bir vektöre dönüştürmek için küresel ortalama havuzlama uygulanır ve bunlar daha sonra olasılıkları elde etmek için softmax aktivasyonu ile tamamen bağlı bir katmana beslenir. Tamamen bağlı katmanın ağırlıklarına bakarak, her bir özellik haritasının çıktıya ne kadar katkıda bulunduğunu anlamak mümkündür ve tüm bu özellik haritalarının ağırlıklı toplamı, ağın girdi görüntüsünde neye baktığını ortaya çıkarabilir.
  
  
• 00:20:00 Bu bölümde, konuşmacı sınıf aktivasyon haritalarını ve bunların sinir ağında analiz edilen sınıfa nasıl bağlı olduğunu tartışır. Konuşmacı, ilk etkinleştirme ile önceki katman arasındaki kenarları inceleyerek ağırlıkların analiz edilen sınıfa göre değişeceğini açıklar. Tüm özellik haritalarını bir araya toplayarak farklı sonuçlar elde edilir. Konuşmacı daha sonra sınıf aktivasyon haritalarının son birkaç katmanı değiştirerek bir ağ ile nasıl görselleştirilebileceğini ve bunun nasıl bazı ince ayarlar gerektirdiğini tartışır. Konuşmacı ayrıca, 116'nın normalleştirilmesini içeren küresel ortalama havuzlama sürecinin, özellik haritaları bilindiğinden ve bu nedenle tam olarak geri eşlenebileceğinden, uzamsal bilgiyi nasıl öldürmediğini tartışır.
  
  
• 00:25:00 Bu bölümde, konuşmacı sınıf aktivasyon haritalarının sinir ağının ara katmanlarını yorumlamak için nasıl çalıştığını açıklıyor. Bu yöntem, çıktıyı girdi alanına geri eşler ve kullanıcıların karar verme sürecinde girdinin hangi bölümlerinin en ayırt edici olduğunu görselleştirmesine olanak tanır. Konuşmacı, istenen çıktının puanını en üst düzeye çıkaran yinelemeli bir süreç olan gradyan yükselişi aracılığıyla, ağın bir köpeğin neye benzediğini düşündüğünü temsil eden görüntüyü bulmak için bu yöntemin nasıl kullanılacağını gösterir. Konuşmacı, bu yöntemin görüntü verilerini yorumlamak için etkili bir yol olsa da, görüntü olmayan verileri yorumlamak için dikkat modelleri gibi diğer yöntemlerin kullanıldığını söylüyor.
  
  
• 00:30:00 Dersin bu bölümünde, profesör bir sinir ağının gördüklerini görselleştirmeye yönelik farklı teknikleri tartışıyor. Belirli piksel değerlerini zorlamanın belirli bir sınıf için nasıl daha yüksek bir puana yol açabileceğine ve L2 veya Gauss bulanıklığı gibi düzenlileştirmenin görselleştirmelerin kalitesini nasıl artırabileceğine dair örnekler gösteriyor. Profesör ayrıca, belirli bir sınıfın puanını en üst düzeye çıkarmak için bir amaç fonksiyonunun kullanıldığı ve ağın doğru şeye baktığını doğrulamak için nasıl kullanılabileceği sınıf modeli görselleştirme fikrini de tanıtıyor. Ek olarak, profesör, bir özellik haritası seçerek ve hangi veri noktalarının daha fazla veriye sahip olduğunu görmek için ağ üzerinden çok sayıda veri çalıştırarak, ağın ortasındaki belirli bir aktivasyonun ne düşündüğünü anlamak için veri kümesi aramanın nasıl kullanılabileceğini anlatıyor. bu özellik haritasının maksimum aktivasyonu.
  
  
• 00:35:00 Bu bölümde öğretim görevlisi, bir evrişimli sinir ağındaki farklı özellik haritalarının görüntünün farklı bölümleri tarafından nasıl etkinleştirildiğini açıklıyor. Öğretim görevlisi, gömlekleri algılayan bir özellik haritası ve kenarları algılayan başka bir özellik haritasının örneklerini sunar. Öğretim görevlisi daha sonra, ağdaki bir görüntünün aktivasyonlarının giriş görüntüsünün yalnızca bir alt bölümünü gördüğünü ve ağ derinleştikçe, her katmanın aktivasyonunun görüntünün daha büyük bir bölümüne baktığını açıklar. Öğretim görevlisi ayrıca ters evrişim ağlarının bir kod girişine dayalı olarak görüntülerin çıktısını almak için nasıl kullanılabileceğini ve bu yöntemin çok sayıda nöron içeren tamamen bağlı bir katman kullanmaktan nasıl daha pratik olabileceğini açıklar.
  
  
• 00:40:00 Bu bölümde konuşmacı ters evrişimin sinir ağlarında kullanımını açıklıyor. Dekonvolüsyon, görüntülerin yüksekliğini ve genişliğini yukarı-örnekleyebilir, bu da onu görüntü segmentasyonu gibi görevler için kullanışlı hale getirir. Konuşmacı ayrıca, gradyan yükselme yöntemini ve havuzdan çıkarma, ReLU'dan arındırma ve ters evrişim yoluyla giriş uzayındaki aktivasyonların nasıl yeniden yapılandırılacağını tartışır. Konuşmacı daha sonra ters evrişimi bir matris vektör matematiksel işlemi olarak tanımlamaya devam eder ve dolgulu bir 1B evrişim örneği verir.
  
  
• 00:45:00 Dersin bu bölümünde, profesör bir matris ve bir vektör arasındaki matematiksel işlemi tartışıyor. Dört boyutlu ve iki adımlı tek filtreli evrişimli bir katman örneği veriyor. Çıktı boyutu, nx-f+2p/adım olan bir formül kullanılarak hesaplanır. Daha sonra, bir denklem sistemi yazarak ve matrisin şeklini bularak, bu evrişimi bir matris ve bir vektör arasındaki matematiksel bir işlem olarak nasıl tanımlayacağını açıklar. Ortaya çıkan matris, denklem sistemine göre doldurulur ve aktivasyon vektörü, matris ile çarpılır.
  
  
• 00:50:00 Dersin bu bölümünde eğitmen evrişim işleminin basit bir matris çarpı bir vektör olarak nasıl temsil edilebileceğini açıklar. Matris, ağırlıklardan oluşur ve bunların matris içindeki yerleşimi, adım ve pencere boyutu tarafından belirlenir. Evrişimi bir matris işlemi olarak çerçeveleyerek, daha sonra ters evrişimi gerçekleştirmek ve orijinal girdiyi yeniden oluşturmak için matrisi ters çevirebiliriz. Ancak bu yaklaşım ağırlık matrisinin tersinir ve ortogonal olduğunu varsayar ki bu pratikte her zaman doğru değildir. Ortogonallik varsayımı, evrişimli filtrenin bir kenar detektörü olduğu durumlarda yararlıdır.
  
  
• 00:55:00 Dersin bu bölümünde profesör, her zaman doğru olmasa bile yeniden yapılandırmanın yararlı olacağı varsayımını kullanarak Y'den X'i türetmeye yönelik bir yöntem sunuyor. İşlemi resimler ve bir Menti kodu kullanarak gösterirler ve bir alt piksel evrişiminin yukarıdan aşağıya yerine soldan sağa doğru giden bir vuruşla aynı işlemi gerçekleştirmek için nasıl kullanılabileceğini gösterirler. Teknik, istenen çıktıyı elde etmek için girdiyi kırpmayı ve doldurmayı içerir. Profesör, bu tür evrişimin genellikle görselleştirme uygulamalarında yeniden yapılandırma için kullanıldığını belirtiyor.
  
  
• 01:00:00 Bu bölümde öğretim görevlisi, ters evrişimin daha verimli hesaplanmasına izin vermek için bir Y vektörüne sıfırlar eklemeyi içeren alt piksel evrişimi kavramını açıklıyor. Ağırlıkları ters çevirerek, adımı ikiye bölerek ve sıfırlar ekleyerek ters evrişim süreci esas olarak evrişime eşdeğer hale gelir. Bu süreç, iki boyutlu evrişime genişletilebilir ve genel olarak, evrişim için bir matris ile bir vektör arasındaki matematiksel işlemin daha iyi anlaşılmasını sağlar.
  
  
• 01:05:00 Bu bölümde, konuşmacı 2D ters evrişimin yorumunu derinlemesine inceler. Ters evrişimin arkasındaki amaç, yeniden yapılandırılmış x olan beşe beş bir girdi elde etmektir. Bunu yapmak için, konuşmacı, bir konv katmanında adım ikiye eşit olan ileri yayılan girişlere ikiye iki boyutunda bir filtrenin uygulandığını gösterir. Ardından, yeniden oluşturulmuş görüntüyü elde etmek için ters evrişim tekniği uygulanır. Ders, ters evrişim sürecinin filtreyi almayı ve tüm ağırlıkları y11 ile çarpmayı, bunu bir adım kaydırmayı ve tüm girişler için aynı işlemi tekrarlamayı içerdiğini açıklıyor. Konuşmacı, sürecin biraz karmaşık olduğunu belirterek sözlerini bitiriyor; ancak ters evrişim kavramı iyi anlaşılmadıysa endişelenmenize gerek yok.
  
  
• 01:10:00 Dersin bu bölümünde, profesör bir görüntü için üst örnekleme sürecini görsel olarak açıklıyor. Bir görüntüyü yeniden oluşturmak için mümkünse ConvNet'ten alınan ağırlıkların kullanılması gerektiğini açıklıyor. Ardından, 4x4'lük bir görüntüyle başlayan, sıfırları ekleyerek ve 9x9'luk bir görüntüye doldurarak görüntü üzerinde evrişim yapmak ve ilerledikçe yukarı doğru evrişim gerçekleştirmek için bir filtre kullanmadan önce üst örnekleme sürecinin görsel bir temsilini gösterir. Ayrıca, maksimum havuzun matematiksel olarak tersinir olmadığını, ancak işlemin maksimum değerler için yayma ve önbelleğe alma anahtarları aracılığıyla yaklaşık olarak tahmin edilebileceğini belirterek havuzun nasıl kaldırılacağını ve ReLU'nun nasıl kaldırılacağını kısaca tartışır.
  
  
• 01:15:00 Bu bölümde, orijinal girdiyi yeniden yapılandırmak için anahtarların ve filtrelerin kullanımıyla birlikte sinir ağlarında havuzdan çıkarma ve maksimum havuzlama kavramı açıklanmaktadır. ReLU aktivasyon işlevi de tartışılmakta ve geriye doğru ReLU kavramı tanıtılmaktadır. ReLU DeconvNet'in kullanımı, ileriye doğru yayılmaya bağlı olmayan tarafsız yeniden yapılandırma yöntemi olarak açıklanmaktadır. Yaklaşım bir hack olarak tanımlanır ve her zaman bilimsel olarak geçerli değildir, ancak sinir ağını görselleştirmede ve yorumlamada yararlıdır.
  
  
• 01:20:00 Dersin bu bölümünde, konuşmacı her bir aktivasyonun neye karşılık geldiğini bularak sinir ağlarında neler olup bittiğini nasıl görselleştireceğini ve anlayacağını açıklıyor. Görselleştirme tekniği, bir aktivasyon seçmeyi, maksimum aktivasyonu bulmayı, diğerlerini sıfıra ayarlamayı ve ardından görüntüyü yeniden oluşturmayı içerir. Konuşmacı, ağırlıkların doğrudan pikselleri çarpması nedeniyle ağın ilk katmanındaki filtrelerin nasıl yorumlanabileceğini tartışır. Ancak ağın derinliklerine inildikçe filtrelerin yorumlanması zorlaşır. Konuşmacı ayrıca, ne kadar derine inersek o kadar karmaşık gördüğümüzü açıklayarak devam ediyor ve farklı filtre örnekleri ve bunları etkinleştiren görüntü türleri sunuyor.
  
  
• 01:25:00 Dersin bu bölümünde, konuşmacı sinir ağlarının yorumlanabilirliğini araştırmak için DeepViz araç kutusunun kullanımını gösterir. Konuşmacı, evrişimli bir ağın farklı katmanlarındaki nöronların aktivasyonlarını inceleyerek, belirli nöronların yüzler veya kırışıklıklar gibi belirli özelliklere tepki olarak nasıl ateşlendiğini gösterir. Konuşmacı ayrıca, nöral ağ davranışının daha fazla keşfedilmesine izin verecek şekilde gradyanı belirli bir katmanın aktivasyonlarına eşit olacak şekilde ayarlayarak görüntüler oluşturmak için Deep Dream tekniğinin isteğe bağlı kullanımından bahseder.
  
  
• 01:30:00 Bu bölümde konuşmacı, bir sinir ağının aktivasyonlarını giriş katmanına geri yayarak ve pikselleri güncelleyerek görüntüler üreten Deep Dream algoritmasını gösteriyor. Sonuç, hayvanların ve diğer nesnelerin bir araya getirildiği çeşitli gerçeküstü görüntülerdir. Konuşmacı ayrıca nöral ağları yorumlamanın sınırlamalarını ve ağın dünyayı nasıl gördüğünü anlamak ve ölü nöronları tespit etmek için sınıf aktivasyon haritaları ve ters evrişimler gibi görselleştirme tekniklerinin nasıl kullanılabileceğini tartışıyor. Ek olarak, konuşmacı, segmentasyon, yeniden yapılandırma ve rakip ağ üretimi dahil olmak üzere bu görselleştirmelerin potansiyel uygulamalarını vurgular.

[MetaQuotes]

Ders 8 - Kariyer Tavsiyesi / Araştırma Makalelerini Okumak

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 8 - Kariyer Tavsiyesi / Araştırma Makalelerini Okumak

Bu derste Profesör Andrew Ng, araştırma makalelerini verimli bir şekilde nasıl okuyacağınız ve hızla gelişen derin öğrenme alanına nasıl ayak uyduracağınız konusunda tavsiyeler veriyor. Giriş ve sonuç bölümlerinde eserin özetlenmesinin yanı sıra şekil ve tablolara dikkat edilmesinin önemini vurgular. Ng ayrıca kariyer tavsiyelerini paylaşarak iş adaylarının birden çok yapay zeka ve makine öğrenimi alanında hem geniş hem de derin bilgiye sahip olmalarını ve büyüme fırsatlarını en üst düzeye çıkarmak için büyük marka isimleri yerine bireylerle çalışmaya odaklanmalarını tavsiye ediyor. Makine öğreniminde güçlü bir temel için makale okumada tutarlılık ve kurslar ve projeler aracılığıyla hem yatay hem de dikey beceriler geliştirmeyi öneriyor.

• 00:00:00 Dersin bu bölümünde, konuşmacı, özellikle hızla gelişen derin öğrenme alanında, araştırma makalelerinin verimli bir şekilde nasıl okunacağına dair tavsiyeler paylaşıyor. arXiv, Medium gönderileri ve ara sıra GitHub gönderilerinde yayınlanan araştırma makaleleri dahil olmak üzere bir makale ve kaynak listesi derlemenizi önerir. Daha sonra, kağıtlara göz atmayı ve her birini hızlı bir şekilde anlamanızı, anlamsız veya yardımcı olmayan kağıtların üzerinden atlamanızı önerir. Ufuk açıcı makalelere daha fazla zaman ayırmayı ve konuyla ilgili ek makaleler bulmak için alıntıları kullanmayı öneriyor.
  
  
• 00:05:00 Bu bölümde öğretim görevlisi, kişinin belirli bir konuyu daha iyi anlaması için araştırma makalelerini okumaya yönelik yönergeler sağlar. 15 ila 20 makale okumanın bir alan hakkında temel bir anlayış sağlayacağını, 50 ila 100 makale okumanın ise çok iyi bir anlayışa yol açacağını öne sürüyor. Ek olarak, bir makalenin nasıl okunacağına dair tavsiyelerde bulunur ve ilk geçişte başlık, özet ve şekilleri okumaya odaklanarak makaleden birden fazla geçiş yapılması gerektiğini önerir. Öğretim görevlisi, giriş ve sonuç bölümlerinde çalışmayı özetlemenin önemini vurgular, çünkü bunlar genellikle yazarların çalışmalarının önemi için net bir durum ortaya koyduğu yerlerdir.
  
  
• 00:10:00 Dersin bu bölümünde, konuşmacı araştırma makalelerini verimli bir şekilde nasıl okuyacağınız konusunda tavsiyelerde bulunur. Ne hakkında olduğunu net bir şekilde anlamak için makalenin özeti, girişi ve sonucuyla başlamayı önerir. Ayrıca, literatüre zaten aşina değilseniz genellikle anlaşılması zor olabilecek ilgili çalışma bölümüne göz atmanızı tavsiye ediyor. Konuşmacı, makalenin tamamının okunmasını, ancak anlamsız bölümlerin atlanmasını tavsiye ediyor, çünkü makalelerin önemsiz bölümleri içermesi alışılmadık bir durum değil. Son olarak, yazarların neyi başarmaya çalıştıkları ve hangi temel unsurların uygulanabileceği de dahil olmak üzere, makale hakkındaki anlayışlarını sağlamlaştırmak için okuyucuların denemeleri ve yanıtlamaları için bir dizi soru sunar.
  
  
• 00:15:00 Dersin bu bölümünde profesör, öğrencileri araştırma makalelerini okumaya teşvik eder ve matematiğe geçmeden önce İngilizce metinle başlamayı önerir. "Yoğun Bağlantılı Konvolüsyonel Sinir Ağları" adlı bir makale verir ve öğrencilerin sınıf arkadaşlarıyla tartışmadan önce yedi dakika okumalarını önerir. Ayrıca pratikle öğrencilerin, ağ mimarisini tanımlamak için kullanılan yaygın biçimleri anlamak da dahil olmak üzere araştırma makalelerini okuma ve anlamada daha hızlı ilerleyebileceklerini belirtiyor. Profesör, makalenin şekil ve tablolarında sunulan ana kavramlara odaklanarak daha hızlı öğrenilebileceğini vurgulamaktadır.
  
  
• 00:20:00 Bu bölümde Profesör Andrew Ng, derin öğrenme araştırmalarına nasıl ayak uydurulacağı ve anlaşılacağı konusunda tavsiyeler veriyor. Web aramaları yapmayı ve önemli makaleler hakkında blog gönderileri aramayı, Twitter ve ML Subreddit'i kontrol etmeyi ve sık sık çevrimiçi makale paylaşan araştırmacıları takip etmeyi öneriyor. Ng ayrıca, ilginç makaleleri paylaşmak ve algoritmayı derinlemesine anlamak için ayrıntılı notlardan matematiği yeniden türetmek için meslektaşlarınız veya sınıf arkadaşlarınızla bir topluluk oluşturmanızı önerir. Ng, makale başına harcanan sürenin deneyim düzeyine ve zorluğa bağlı olarak değişebileceğini ancak daha fazla zaman ayırmanın derin öğrenme kavramlarının daha zengin bir şekilde anlaşılmasını sağlayabileceğini vurguluyor.
  
  
• 00:25:00 Bu bölümde eğitmen, genelleme yapma ve yeni algoritmalar türetme olanağı sağladığından, derin bir anlayış sağlamak için öğrencilere makine öğrenimi algoritmalarını sıfırdan yeniden türetmelerini tavsiye eder. Ayrıca, öğrenme söz konusu olduğunda ders çalışmak yerine aralıklı tekrar yapmayı öneriyor ve öğrencileri okuma grupları oluşturmaya ve öğrenmeye devam etmek ve makine öğreniminde bir kariyere yön vermek için akranlarıyla işbirliği yapmaya teşvik ediyor. Yoğun aktivite yerine istikrarlı öğrenmeyi vurguluyor ve kariyer navigasyonuna nasıl yaklaşılacağına dair ipuçları veriyor.
  
  
• 00:30:00 Dersin bu bölümünde, konuşmacı makine öğrenimi alanında nasıl iş bulacağınızı veya bir doktora programına nasıl katılacağınızı tartışıyor ve önemli işler yapmanın önemini vurguluyor. İşverenler, makine öğreniminde teknik beceriler, kodlama yeteneği ve anlamlı iş deneyimi ararlar. Yeni beceriler öğrenmeye devam etme ve alanın hızlı gelişimi ile güncel kalma becerisi de oldukça değerlidir. Başarılı yapay zeka ve makine öğrenimi mühendisleri, makine öğreniminin farklı alanlarını öğrenmiş ve bu alanlarla çalışarak makine öğrenimi algoritmalarının çeşitli ortamlarda nasıl uygulanacağına dair güçlü bir anlayışa sahip kişilerdir.
  
  
• 00:35:00 Bu bölümde öğretim görevlisi, iş adaylarında arzu edilen "T-biçimli" becerileri tartışır; bu, birden çok yapay zeka ve makine öğrenimi alanında geniş bir anlayışa sahip olmak ve en az bir belirli alanda derin bir anlayışa sahip olmak anlamına gelir. alan. Anlamlı projeler üzerinde çalışmak, açık kaynağa katkıda bulunmak veya işe alım görevlilerini adayın yetenekleri konusunda ikna etmek için araştırma yapmak gibi pratik deneyime sahip olmanın önemini vurguluyor. Öğretim görevlisi, pratik deneyim kazanmadan çok fazla ders almamak, çok hızlı çok derine atlamaya çalışmak veya derinliği az olan çok fazla küçük proje yapmak konusunda uyarır.
  
  
• 00:40:00 Dersin bu bölümünde Profesör Ng, yatay ve dikey parçalar oluşturmayı önererek makine öğreniminde nasıl sağlam bir temel oluşturulacağına dair tavsiyeler veriyor. 10 küçük proje tamamlamanın işe alım yapanları bir veya iki büyük proje kadar etkilemeyebileceğini belirtiyor. Yapay zeka ve makine öğrenimindeki temel becerilerden oluşan yatay parçayı oluşturmak için kurslara katılmanızı, araştırma makalelerini okumanızı ve bir topluluğa katılmanızı önerir. Daha alakalı, derin projeler yapmayı içeren dikey parçayı oluşturmak için Ng, bu alanlarda kariyer geliştirmeye yardımcı olmak için makine öğrenimi veya yapay zeka ile ilgili şeyler üzerinde çalışmayı tavsiye ediyor. Eğlenmenin ve mola vermenin önemini vurgulamaya devam ediyor, çünkü kişisel tatmin dışında derin öğrenme çalışmalarının genellikle kısa vadeli bir ödülü yok.
  
  
• 00:45:00 Bu bölümde öğretim görevlisi, derin öğrenme alanında gelişmek için tutarlılığın ne kadar önemli olduğunu tartışır. Bir yıl boyunca düzenli olarak haftada iki makale okumak, 100 makale okumuş olmanızı sağlar ve kişinin bu alanda gelişmesine katkıda bulunur. Ayrıca, büyük insanlar ve projeler başarının en büyük göstergesidir ve çok çalışan, çok makale okuyan ve işini önemseyen yakın arkadaşlara sahip olmak, insanı aynı şeyi yapmaya etkileyebilir. Bir iş seçerken, ekibe odaklanmanız ve kişinin kariyerini oluşturabilecek ve becerilerini geliştirebilecek 10 ila 30 kişilik bir grupla etkileşime girmesi tavsiye edilir.
  
  
• 00:50:00 Bu bölümde konuşmacı, derin öğrenme meraklılarına kariyer tavsiyeleri vererek onları şirketin markası yerine şirketteki bireylere odaklanmaya teşvik ediyor. Konuşmacı, sıkı çalışma düzeyleri ve öğretme istekleri göz önünde bulundurulduğunda, kişisel değerlendirme ve bireylerle kurulan bağların şirketin markasından daha önemli olduğunu göz önünde bulundurarak, kişinin yöneticisinin ve etkileşimde bulunduğu çekirdek grubun onları en çok etkileyeceğini vurgular. Dev bir şirketin küçük bir yapay zeka ekibine iş teklifleri göndermesi gibi verilen örnek senaryolar, bireylere ve bunun kişinin büyümesini nasıl etkilediğine odaklanılarak değerlendirilir. Şirket markalaşması adına bireyleri görmezden gelmenin başarısızlık modu, belirli kişilerle çalışmaya odaklanmak yerine tanınmış bir şirketten Java tabanlı arka uç ödemeli bir iş teklifini kabul ettikten sonra kariyeri düzlüğe çıkan bir öğrencinin kişisel örneğiyle vurgulanıyor. küçük bir takımda.
  
  
• 00:55:00 Bu bölümde Andrew Ng, teoride kulağa hoş gelen ancak bir şirket içinde büyüme için net bir yön veya fırsat sağlayamayan rotasyon programlarını değerlendirirken dikkatli olunmasını tavsiye ediyor. Büyük marka isimlerinin peşinden koşmak yerine, makine öğreniminde önemli işler yapan daha küçük, daha az bilinen ekiplerle çalışma fırsatları aramayı öneriyor. Yalnızca sektördeki prestijli markalara odaklanmak yerine, öğrenme deneyimlerine öncelik vermenin ve etkili işler yapmanın önemini vurguluyor.
  
  
• 01:00:00 Videonun bu bölümünde konuşmacı, kariyerlerinin ilk aşamalarında olanlara kariyer tavsiyeleri veriyor. Harika ekip arkadaşlarından oluşan bir ekibe katılmak ve diğer insanlara yardımcı olan anlamlı işler yapmak tavsiye edilir. Ancak sigara gibi zararlı ürünler üreten firmalarda çalışmamayı tavsiye ediyor. Çeşitli endüstrilerde yapılacak çok önemli iş olduğuna ve dünyanın farklı şeyler üzerinde çalışacak insanlara ihtiyacı olduğuna inanıyor. Bir sonraki makine öğrenimi dalgasının yalnızca teknoloji şirketleri için değil, aynı zamanda teknolojinin uygulanmadığı tüm geleneksel sektörlere de bakması gerektiğini öne sürüyor.

[MetaQuotes]

Ders 9 - Derin Pekiştirmeli Öğrenme

Stanford CS230: Derin Öğrenme | Sonbahar 2018 | Ders 9 - Derin Pekiştirmeli Öğrenme

Ders, derin öğrenme ile takviyeli öğrenmeyi birleştiren derin takviyeli öğrenmeyi tanıtıyor. Takviyeli öğrenme, gecikmeli etiketlerin olduğu durumlarda iyi kararlar vermek için kullanılır ve robotik, oyunlar ve reklamlar gibi farklı alanlarda uygulanır. Derin pekiştirmeli öğrenme, Q tablosunu bir sinir ağı olan bir Q işleviyle değiştirir. Öğretim görevlisi, derin takviyeli öğrenmeyi uygulamanın zorluklarını tartışır, ancak ağı eğitmek için Bellman denklemine dayalı olarak Q puanları için bir hedef değer oluşturmaya yönelik bir teknik açıklar. Ders ayrıca, derin pekiştirmeli öğrenme eğitiminde deneyim tekrarının önemini ve RL algoritmalarında kullanım ve keşif arasındaki dengeyi tartışır. Derin pekiştirmeli öğrenmenin Breakout oyununa pratik uygulaması da tartışılmaktadır.

Ders, derin pekiştirmeli öğrenme (DRL) ile ilgili çeşitli konuları tartışır. DRL'deki keşif-sömürü değiş tokuşu tartışılmış ve keşif olasılığına karar veren bir hiper parametre kullanan bir çözüm önerilmiştir. DRL'de insan bilgisinin önemi ve bunun algoritmik karar verme süreçlerini nasıl artırabileceği araştırılmaktadır. Ders ayrıca politika gradyanlarını, bunların uygulanmasına yönelik farklı yöntemleri ve fazla uydurmanın önlenmesini de kapsar. Ek olarak, seyrek ödül ortamlarındaki zorluklar vurgulanır ve "Unifying the Count-based Metas for Exploration" adlı yakın tarihli bir makaleden alınan bir çözüm kısaca tartışılır. Son olarak ders, Redmon ve diğerlerinin YOLO ve YOLO v2 makalelerinden kısaca bahseder. nesne algılama ile ilgili.

• 00:00:00 Bu bölümde konuşmacı, derin öğrenme ile yapay zekanın başka bir alanı olan takviyeli öğrenmenin birleşimi olan derin pekiştirmeli öğrenme fikrini tanıtıyor. Konuşmacı, derin sinir ağlarının fonksiyon yaklaşımında harika olduğunu ve fonksiyon yaklaşımı gerektiren birçok farklı alana uygulanabileceğini ve takviyeli öğrenmenin bu örneklerden biri olduğunu açıklıyor. Konuşmacı, takviyeli öğrenme fikrini AlphaGo ve Google'ın, başta Atari oyunları olmak üzere çeşitli oyunlarda insan düzeyindeki performansı yenmesi için bir aracıyı eğitmek için derin öğrenmeyi kullandıkları DeepMind makalesi gibi örneklerle motive ediyor. Konuşmacı ayrıca pekiştirmeli öğrenmenin önemli olduğunu açıklıyor çünkü bu, temsilcilerin bir satranç tahtasından çok daha büyük olan Go gibi karmaşık oyunlarda uzun vadeli bir stratejiye sahip olmalarını sağlıyor.
  
  
• 00:05:00 Videonun bu bölümünde profesör, öğrencileri derin öğrenmeyi kullanarak Go oyununda kazanmayı öğrenebilecek bir aracıyı nasıl oluşturacaklarını düşünmeye davet ediyor. Muhtemel bir veri seti, oyun tahtasının girdi-çıktı eşleşmesi ve o pozisyon için bir zafer olasılığı olabilir, ancak bu zordur çünkü belirli bir tahta pozisyonunda kazanma ihtimalini temsil etmek zordur. Başka bir seçenek de, profesyonel oyuncuların hareketlerini izlemek ve bunları veri girişleri ve çıkışları olarak kaydetmek, profesyonel oyuncuların geçmişte yaptığı hamlelerin bir veri setini oluşturmak olabilir. Bununla birlikte, bu aynı zamanda zordur çünkü oyunda doğru temsil için çok fazla durum vardır ve farklı profesyonel oyuncuların farklı stratejileri olduğundan temel gerçeğin yanlış olması muhtemeldir. Basit örüntü tanımadan ziyade bir strateji sorunu olduğu için algoritmanın genelleme yapmama riski de vardır.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi, iyi kararlar dizisi vermeyi otomatik olarak öğrenmek için bir yöntem olan pekiştirmeli öğrenmeyi (RL) tanıtıyor. RL, bir oyunda kazanma olasılığı gibi gecikmeli etiketlerin mevcut olduğu durumlarda kullanılır. RL, robotik, oyunlar ve reklamlar gibi çeşitli alanlarda uygulanmaktadır. RL'nin nasıl çalıştığını göstermek için öğretim görevlisi beş durumlu bir oyun sunar ve bu oyunda uzun vadeli getirinin nasıl tanımlandığını açıklar. Oyunun amacı, eyaletler arasında hareket ederek ve mevcut ödüllere dayalı kararlar alarak uzun vadede ödülü en üst düzeye çıkarmaktır.
  
  
• 00:15:00 Bu bölümde, uzun vadeli getiri kavramı ve Q-learning için indirimli getiri kavramının pekiştirmeli öğrenmede kullanımı ele alınmaktadır. İndirimli getiri, karar vermede zamanın önemini dikkate alır ve indirimsiz getiri ile ortaya çıkabilecek yakınsama sorununun azaltılmasına yardımcı olur. Q-learning'in amacı, her durumdaki her eylem için puanı temsil eden bir Q tablo matrisini saklayarak her durumdaki en uygun eylemi öğrenmektir. Bir aracı, Q tablosu puanlarını kullanarak, hızlı karar vermek için belirli bir durumda maksimum değeri ve karşılık gelen eylemi belirleyebilir. Bir ağaç diyagramı aracılığıyla bir Q tablosu oluşturma süreci de açıklanmıştır.
  
  
• 00:20:00 Bu bölümde profesör, her durumda yapılması gereken eylemi söyleyen bir matris kullanarak Q-learning'in yinelemeli algoritmasını açıklıyor. Her durum için uzun vadeli indirimli ödülü hesaplamak için, anlık ödül artı indirim çarpı gelecekteki olası maksimum ödülden oluşan Bellman denklemini kullanırlar. Yinelemeli algoritma bir noktada birleşmeli ve Q-fonksiyonu optimal Bellman denklemini takip etmelidir. Profesör, Q-öğrenmeyi anlamada Bellman denkleminin önemini vurguluyor.
  
  
• 00:25:00 Bu bölümde konuşmacı, çevre, etmen, durum, eylem, politika, ödül, toplam getiri, iskonto faktörü, Q-tablosu ve Bellman denklemini içeren pekiştirmeli öğrenmenin kelime dağarcığından bahseder. Q-tablosu, S durumunda A eylemi gerçekleştirmenin ne kadar iyi olduğunu temsil eden girişler matrisidir ve politika, bir durumda uygulanacak en iyi stratejinin ne olduğunu bize söyleyen karar verme işlevidir. Durumların sayısı çok fazla olabilir, bu da Q-tablo çözümünü uygulanamaz hale getirir. Derin öğrenme, Q-tablosunu bir sinir ağı olan bir Q-fonksiyonu ile değiştirerek pekiştirmeli öğrenmeye gelir. Ancak Q puanlarındaki dinamik değişiklikler, ağ eğitimini klasik denetimli öğrenme ortamından farklı kılar.
  
  
• 00:30:00 Dersin bu bölümünde profesör, denetimli öğrenmeden önemli ölçüde farklı olduğu için derin takviyeli öğrenmeyi uygularken ortaya çıkan zorlukları tartışıyor. Q-skorları dinamik olduğundan ve sürekli değiştiğinden, ana sorunlardan biri etiketlerin olmamasıdır. Bunu ele almak için profesör, Bellman denklemine dayalı olarak Q puanları için bir hedef değer veya etiket oluşturmaya yönelik bir teknik açıklar. Bu proxy'yi etiket olarak kullanarak ağ, yakınsamaya yol açacağı umulan yinelemeli güncellemeler aracılığıyla optimal Q-fonksiyonuna yaklaşmak üzere eğitilebilir.
  
  
• 00:35:00 Bu bölümde, Bellman denklemi kavramı ve derin pekiştirmeli öğrenmede geri yayılımda kullanımı tartışılmaktadır. Bellman denklemi, ödüller açısından kişinin ulaşmaya çalıştığı optimal değerlere daha yakın değerleri hesaplamak için kullanılır. Q fonksiyonu oluşturulur ve en iyi Q fonksiyonunu belirlemek için Bellman denklemiyle karşılaştırılır. Ancak, algoritmada sapma potansiyeli vardır ve algoritmanın yakınsaması Francisco Melo'nun bir makalesinde kanıtlanmıştır. DQN algoritmasının uygulanması, Q-ağ parametrelerini başlatmayı, bölümler üzerinde döngüyü, Bellman denklemi yoluyla hedef değeri hesaplamayı ve sabit bir Q hedef ağı kullanarak geri yayılımı içeren sözde kod aracılığıyla açıklanır.
  
  
• 00:40:00 Bu bölümde video, Deep Q-Network'ün Breakout oyununa pratik uygulamasını tartışıyor. Breakout'un amacı, topun alt çizgiyi geçmesine izin vermeden tüm tuğlaları yok etmektir. Temsilci, Q-learning kullanarak eğitimden sonra tuğlaların diğer tarafına geçmek için bir tünel kazarak oyunu hızlı bir şekilde bitirmek için bir numara buldu. Ağ, bu stratejiyi insan denetimi olmadan kendi başına çözdü. Q ağının girdisi, topun, raketin ve tuğlaların konumunu içeren bir özellik temsilidir. Ancak, tüm bilgileri elde etmek için pikseller kullanılmalıdır. Ağın çıktısı, sola gitme, sağa gitme veya belirli bir durumda boşta kalma eylemini temsil eden üç Q değeridir.
  
  
• 00:45:00 Bu bölümde, konuşmacı, özellikle görüntülerle çalışırken derin pekiştirmeli öğrenme için derin Q ağ mimarisinin kurulmasına yardımcı olacak çeşitli ön işleme tekniklerini tartışıyor. İlk teknik, ağa ek bilgi sağlamak için ardışık çerçeveler almayı içerirken, diğer ön işleme teknikleri arasında girdilerin boyutunun küçültülmesi, görüntü sıkıştırma için gri tonlama dönüştürme ve belirli oyunlarda puanlar gibi önemsiz piksellerin kaldırılması yer alır. Ancak konuşmacı, gri tonlamaya indirgemenin önemli bilgileri kaybetme tehlikeleri konusunda uyarıyor ve girdinin görüntü olması nedeniyle evrişimli sinir ağlarının kullanıldığını söyleyerek derin Q ağ mimarisini ayrıntılı olarak açıklıyor. Son olarak, konuşmacı, y işlevi için önemli olan uygun döngü sonlandırmasını sağlamak için bir terminal durumunu takip etme ihtiyacını açıklar.
  
  
• 00:50:00 Bu bölümde öğretim görevlisi, yalnızca şu anda araştırılmakta olanlar yerine geçmiş deneyimler üzerine eğitime izin veren pekiştirmeli öğrenmede deneyim tekrarının önemini açıklıyor. Takviyeli öğrenme yalnızca keşfettiği şeyi eğittiği için, belirli durum geçişleriyle bir daha asla karşılaşmayabilir, bu da geçmiş deneyimleri eğitim için paha biçilmez kılar. Deneyim tekrarı, geçmiş deneyimlerin saklanabileceği bir tekrar hafızası oluşturur ve eğitim sırasında algoritma, yeni durum geçişlerini keşfetmenin yanı sıra tekrar hafızasından örnek alabilir. Bu, önemli veri noktalarının öğrenilmesinde çok önemli olabilecek geçmiş deneyimlerin eğitimde birden çok kez kullanılmasına olanak tanır.
  
  
• 00:55:00 Dersin bu bölümünde, konuşmacı derin pekiştirmeli öğrenmede deneyim tekrarının avantajlarını tartışır. İlk olarak, verilerin bir kez değil birçok kez kullanılmasına izin verir ve bu da veri verimliliğini artırır. İkinci olarak, deneyim tekrarı, ağın bir eylemi tekrar tekrar tahmin etmeye yönelik önyargılı olmasını önleyerek deneyimlerin ilişkisini bozar. Son olarak, hesaplama ve belleğin maliyetli olan keşifle takas edilmesine izin verir. Konuşmacı ayrıca, RL algoritmasında sömürü ve keşif arasındaki değiş tokuştan bahsediyor ve her zaman en iyi eylemi gerçekleştirmeyerek keşfi teşvik etmenin bir yolunu öneriyor.
  
  
• 01:00:00 Bu bölümde, eğitmen ve öğrenciler takviyeli öğrenmede keşif-sömürü denge problemini tartışırlar ve aracının istismar etmek yerine hangi olasılıkla keşfetmesi gerektiğine karar veren bir hiper parametre kullanarak bir çözüm önerirler. Keşfin neden çok önemli olduğunu açıklıyorlar ve yeniden oynatma belleğinde epsilon-açgözlü keşif için sözde koda satırlar ekliyorlar. Takviyeli öğrenmede derin öğrenmeyi kullanmanın temel avantajının, fonksiyonlara iyi bir şekilde yaklaşma yeteneği olduğunu vurguluyorlar. Son olarak, pekiştirmeli öğrenmede insan bilgisi konusuna ve algoritmanın performansını değerlendirmenin neden gerekli olduğuna kısaca değinirler.
  
  
• 01:05:00 Dersin bu bölümünde profesör, Derin Pekiştirmeli Öğrenmede (DRL) insan bilgisinin nasıl önemli bir rol oynadığını açıklıyor. İnsanlar bağlamsal ipuçlarını verimli ve içgüdüsel olarak yorumlayabilirler, örneğin insanlar bir anahtarın bir kapıyı açtığını bilirler ve bu anlayış, algoritmik karar verme sürecini önemli ölçüde artırabilir. Zorluk, DeepMind'in ağaç arama ve derin öğrenme algoritmalarını uygulayarak elde ettiği bir başarı olan, kötü şöhretli zorlu Montezuma's Revenge oyunu gibi sınırlı bağlamsal bilgiye sahip eğitim algoritmalarında ortaya çıkıyor. Ders, Alpha Go oyununa ve birleşik ağaç arama ve değer ağlarının algoritmik karar verme süreçlerini nasıl geliştirebileceğine kısaca değiniyor.
  
  
• 01:10:00 Bu bölümde öğretim görevlisi, durumdan eyleme (ilke) doğrudan eşleme için optimize eden, DQN'den tamamen farklı bir algoritma sınıfı olan ilke gradyanlarını tanıtıyor. Öğretim görevlisi, politika gradyanlarında Q-değerinden ziyade politikanın kendisine odaklanıldığını ve DQN'deki Q-fonksiyonu güncellemesinin aksine politika ağının politika gradyanı kullanılarak güncellendiğini açıklar. Öğretim görevlisi, çeşitli videolar aracılığıyla Yakın Politika Optimizasyonu (PPO) ve Rekabetçi Kendi Kendine Oynama gibi farklı politika gradyan yöntemlerini açıklıyor ve önünüzdeki gerçek aracıya fazla uydurma konusundaki teknik noktaları vurgulayarak farklı sürümler arasında geçiş yapma ihtiyacını öne sürüyor. aşırı uydurmayı önlemek için ajan. Son olarak öğretim görevlisi, belirli görevlerin minimum kademeli adımlarla öğrenilmesini sağlamak için benzer görevlerin dağılımı üzerinde meta-öğrenmenin nasıl çalıştığını açıklar.
  
  
• 01:15:00 Dersin bu bölümünde, konuşmacı keşif-sömürü ikilemini ve bunun nasıl bir meydan okuma olabileceğini tartışıyor, özellikle de ödül kıt olduğunda. Bir eyaletin kaç kez ziyaret edildiğine ilişkin sayımları tutma ve daha az sayımla eyaletleri ziyaret ettiği için acenteye gerçek bir ödül verme fikrini ortaya koyan "Keşif için Sayım Temelli Metaları Birleştirmek" adlı yakın tarihli bir makaleden bahsediyor. Bu, aracıyı daha fazla keşfetmeye ve aramaya teşvik ederek oyundaki farklı odaları keşfetmesine yol açar. Konuşmacı ayrıca taklit öğrenmeyi ve ödülleri tanımlamanın zor olduğu durumlarda bunun nasıl yardımcı olabileceğini kısaca tartışır.
  
  
• 01:20:00 Bu bölümde, konuşmacı Redmon et al. nesne algılama ile ilgili. Daha fazla bilgi verilmez.