Makine Öğrenimi ve Sinir Ağları - sayfa 21

[MetaQuotes]

KONFERANS JENSEN HUANG (NVIDIA) ve ILYA SUTSKEVER (OPEN AI).AI BUGÜN VE GELECEK VİZYONU

KONFERANS JENSEN HUANG (NVIDIA) ve ILYA SUTSKEVER (OPEN AI).AI BUGÜN VE GELECEK VİZYONU

NVIDIA CEO'su Jensen Huang ve OpenAI'nin kurucu ortağı Ilya Sutskever, bir konferansta yapay zekanın (AI) kökenlerini ve ilerlemelerini tartışıyorlar. Sutskever, derin öğrenmenin kendisi için ne kadar net hale geldiğini, sıkıştırma yoluyla denetimsiz öğrenmenin duyguya karşılık gelen bir nöronun keşfine nasıl yol açtığını ve bir sinir ağının önceden eğitilmesinin insan ve yapay zeka işbirliğiyle talimat ve iyileştirmeye nasıl yol açtığını açıklıyor. Ayrıca GPT-4 ve çok modlu öğrenmenin ilerlemeleri ve sınırlamalarının yanı sıra sentetik veri üretiminin rolü ve yapay zeka sistemlerinin güvenilirliğini artırmayı tartışıyorlar. 20 yıl öncesinden aynı konsept olmasına rağmen, her ikisi de AI araştırmasında kaydedilen ilerlemeye hayret ediyor.

• 00:00:00 Bu bölümde NVIDIA CEO'su Jensen Huang, OpenAI'nin kurucu ortağı Ilia Sutskever'i yapay zeka alanındaki başarılarından dolayı övüyor. Ilia'ya derin öğrenme konusundaki sezgisini ve bunun işe yarayacağını nasıl bildiğini sorar. Ilia, bilinç ve etkisine olan merakı nedeniyle yapay zeka ile ilgilendiğini ve yapay zekadaki ilerlemenin buna gerçekten yardımcı olacağını düşündüğünü açıklıyor. 2002-2003'te bilgisayarların hiçbir şey öğrenemediğini ve bunun teoride mümkün olup olmadığının bile net olmadığını, ancak sinir ağlarında çalışan Jeff Hinton'u bulmanın Ilia'ya umut verdiğini ekliyor.
  
  
• 00:05:00 Bu bölümde Sutskever, AlexNet'in kökenlerini ve derin ve büyük bir sinir ağı oluşturmak için denetimli öğrenmeyi kullanma fikrinin onun için nasıl netleştiğini tartışıyor. Makine öğrenimi alanının o sırada sinir ağlarına bakmadığını ve teorik olarak zarif olan ancak iyi bir çözüm sunamayan başka yöntemler kullandığını açıklıyor. Sutskever, başka bir yüksek lisans öğrencisinin büyük sinir ağlarının eğitilebileceğini kanıtlayan çığır açan optimizasyon yönteminden de bahsediyor. O zaman, ImageNet veri seti üzerinde büyük bir evrişimli sinir ağı eğitildiyse, başarılı olması gerektiği açıktı. Sutskever ayrıca GPU'nun laboratuvarda ortaya çıkışından ve Alex Krizhevsky'nin nasıl hızlı evrişimli çekirdekleri programlayabildiğinden ve sinir ağı veri setini nasıl eğitebildiğinden bahsediyor; Bu atılımın önemi, veri setinin çok bariz bir şekilde zor ve klasik tekniklerin ulaşamayacağı bir yerde olmasıydı.
  
  
• 00:10:00 Bu bölümde Jensen Huang ve Ilya Sutskever, OpenAI'nin ilk günlerini ve zekaya nasıl yaklaşılacağına dair ilk fikirlerini tartışıyorlar. 2015-2016'da, alan çok daha az araştırmacıyla ve çok daha az anlaşılarak hala emekleme aşamasındaydı. OpenAI'nin ilk büyük fikri, o zamanlar makine öğreniminde çözülmemiş bir sorun olan sıkıştırma yoluyla denetimsiz öğrenme kavramıydı. Sutskever, verilerin gerçekten iyi bir şekilde sıkıştırılmasının denetimsiz öğrenmeye yol açacağına ve içinde var olan tüm gizli sırların çıkarılmasına izin vereceğine inanıyordu. Bu, OpenAI'de, duyarlılığına karşılık gelen bir LSTM içinde bir nöron keşfeden duygu nöronu da dahil olmak üzere birkaç çalışmaya yol açtı.
  
  
• 00:15:00 Bu bölümde Ilya Sutskever, denetimsiz öğrenme kavramını ve bir temsili öğrenmek için değerli bir hedef olarak bir dizideki bir sonraki belirteci tahmin etmenin önemini tartışıyor. Denetimli öğrenmedeki zor kısmın, verilerin nereden alınacağı değil, bir sonraki belirteci tahmin etmek için neden sinir ağlarını eğitmekle ilgili olduğundan bahseder. Performans iyileştirme için ölçeklendirme de çalışmalarında önemli bir faktördü ve pekiştirmeli öğrenme, özellikle en iyi oyunculara karşı rekabet edebilmek için gerçek zamanlı strateji oyunu DotA 2'yi oynaması için bir takviyeli öğrenme temsilcisini eğitirken, odaklandıkları diğer bir önemli alandı. Dünyada.
  
  
• 00:20:00 Bu bölümde, Ilya Sutskever, internetten farklı metinlerdeki bir sonraki kelimeyi tahmin etmek için büyük bir sinir ağını önceden eğitme sürecini açıklıyor; bu, dünyanın sıkıştırılmış soyut, kullanılabilir bir temsilinin öğrenilmesine yol açıyor. Bununla birlikte, ön eğitim, sinir ağından beklediğimiz istenen davranışı belirtmez ve insan ve yapay zeka işbirliğinden ince ayar ve pekiştirici öğrenmenin ikinci aşaması burada devreye girer. sinir ağı ile iletişim kuruyoruz ve ona ne yapılması ve yapılmaması gerektiği konusunda talimat veriyoruz.
  
  
• 00:25:00 Bu bölümde konuşmacılar, lansmanından sadece birkaç ay sonra insanlık tarihinin en hızlı büyüyen uygulaması haline gelen GPT-4 gibi yapay zeka teknolojisindeki gelişmeleri tartışıyor. GPT-4, metindeki bir sonraki kelimeyi tahmin etmede daha iyi doğrulukla, metnin anlaşılmasında artışa yol açan Chat GPT'ye göre geliştirilmiş bir gelişmedir. Aslına uygunluğu sürekli olarak araştıran ve yenileyen yapay zeka, amaçlanan talimatları takip etmede daha güvenilir ve kesin hale geldi. Ek olarak, konuşma, yapay zeka kullanıcının amacını anlayana kadar belirsizliği düzeltebilir. Ayrıca, GPT-4'ün SAT puanları, GRE puanları ve baro sınavları gibi birçok alanda geliştirilmiş performansı dikkat çekici ve kayda değerdir.
  
  
• 00:30:00 Bu bölümde, konuşmacılar sinir ağlarının, özellikle GPT4'ün muhakeme yeteneklerindeki mevcut sınırlamaları ve gelişme potansiyelini tartışıyorlar. Sinir ağları bazı muhakeme becerileri gösterse de, güvenilirlik kullanışlılıklarının önündeki en büyük engel olmaya devam ediyor. Konuşmacılar, sinir ağından yüksek sesle düşünmesini istemenin ve iddialı araştırma planları sunmanın güvenilirliği ve doğruluğu artırabileceğini öne sürüyor. Şu anda, GPT4'ün yerleşik bir alma yeteneği yoktur, ancak bir sonraki kelime tahmincisi olma konusunda mükemmeldir ve görüntüleri tüketebilir.
  
  
• 00:35:00 Bu bölümde, Jensen Huang ve Ilya Sutskever çok yönlü öğrenmeyi ve önemini tartışıyor. Hem metin hem de resimlerden öğrenmeyi içeren çok modlu öğrenmenin, insanlar görsel hayvanlar olduğu için sinir ağlarının dünyayı daha iyi anlaması için yararlı olduğunu açıklıyorlar. Çok modlu öğrenme ayrıca sinir ağlarının ek bilgi kaynakları sağlayarak dünya hakkında daha fazla şey öğrenmesini sağlar. Renk gibi şeyleri anlamak için görmek önemli olsa da, yalnızca metinden oluşan sinir ağlarının, trilyonlarca kelimeye maruz kalarak yalnızca metinden öğrenmesi zor olan bilgileri yine de öğrenebileceğini savunuyorlar.
  
  
• 00:40:00 Bu bölümde Sutskever ve Huang, yapay zeka öğreniminde görseller ve ses dahil olmak üzere farklı veri kaynaklarının önemini tartışıyor. Çok modluluk fikrine ve farklı veri kaynaklarını birleştirmenin dünya hakkında bilgi edinmede ve görsel olarak iletişim kurmada nasıl son derece yararlı olabileceğine değiniyorlar. Sutskever ayrıca, dünyanın sonunda eğitim almak için belirteçlerin tükeneceğini ve yapay zekanın kendi verilerini üretmesinin bu soruna olası bir çözüm olabileceğini öne süren bir makaleden de bahsediyor.
  
  
• 00:45:00 Bu bölümde konuşmacılar yapay zeka eğitimi ve kendi kendine öğretimde sentetik veri üretiminin rolünü tartışıyor. Mevcut verilerin mevcudiyeti hafife alınmamakla birlikte, AI'nın öğrenme ve problem çözme için kendi verilerini oluşturma olasılığı gelecekteki bir olasılıktır. Yakın gelecekte odak noktası, önemli karar alma süreçlerinde güvenilir olabilmeleri için yapay zeka sistemlerinin güvenilirliğini artırmak olacaktır. GPT-4 gibi yapay zeka modellerinin matematik problemlerini güvenilir bir şekilde çözme ve yaratıcı içerik üretme potansiyeli heyecan vericidir, ancak kullanıcı niyetini anlama ve yanıt verme konusundaki doğruluklarını ve netliklerini geliştirmek için yapılması gereken daha çok iş vardır.
  
  
• 00:50:00 Bu bölümde Jensen Huang ve Ilya Sutskever, günümüzde yapay zekadaki sinir ağlarının şaşırtıcı başarısını tartışıyor. 20 yıl önceki aynı sinir ağı konsepti olmasına rağmen aynı temel eğitim algoritması ile daha büyük veri kümeleri üzerinde farklı şekillerde eğitildiğinden daha ciddi ve yoğun hale gelmiştir. Sutskever'in Open AI'da Alexnet ve GPT üzerine ufuk açıcı çalışmaları dikkate değer başarılardır ve Huang, onun sorunu çözme ve büyük dil modellerinin son durumunu tanımlama becerisine hayrandır. İkili, yapay zeka alanında kaydedilen ilerlemeyi yakalar ve hayrete düşürür.

[MetaQuotes]

AI'ya (ChatGPT ve Ötesi) Dikkat Etme Zamanı

AI'ya (ChatGPT ve Ötesi) Dikkat Etme Zamanı

Video, yapay zekanın (AI) gelişimini ve çalışma ve yaşam biçimimizi nasıl değiştirdiğini tartışıyor. Bazı insanlar yapay zekanın potansiyelinden heyecan duyarken, diğerleri potansiyel sonuçlarından endişe duyuyor. Konuşmacı ayrıca yakın zamanda yayınlanan bir podcast bölümünün kısa bir özetini sunar.

• 00:00:00 ChatGPT, devasa internet veri setinde gördüklerini temel alarak bir cümledeki bir sonraki kelimenin ne olacağını tahmin etmeye çalışan metin üretme yeteneğine sahip, 2022'de piyasaya sürülen bir yapay zeka programıdır. ChatGPT, açık yapay zekanın GPT 3.5'i çağırdığı gpt3'ün geliştirilmiş bir sürümüdür. GPT 3.5 ile GPT arasındaki temel fark, denetimli takviyeli öğrenme adı verilen eğitim sürecinde insan geri bildirimi eklemiş olmalarıdır. Temel olarak, eğitim sırasında, yapay zeka tarafından yanıtların birden fazla versiyonu, insanlar tarafından kaliteye göre en iyiden en kötüye doğru sıralandı ve yapay zeka, modeli geliştirdiğinde dijital olarak ödüllendirildi. ChatGPT, gelişmekte olan girişimciler tarafından bir sonraki büyük şeyin ne olduğunu merak etmek için kullanılıyor çünkü Open AI CEO'su tüm endüstrinin geleceğine dair bazı ilginç içgörülere sahip.
  
  
• 00:05:00 ChatGPT, müşterilerin şikayette bulunmasını, abonelikleri iptal etmesini ve daha fazlasını kolaylaştırmak için tasarlanmış bir girişimdir. Ek olarak ChatGPT, hiçbir arama motorunun yapamayacağı şekilde çok özel konularda görüşler oluşturabilir. ChatGPT'nin kodlamada da iyi olduğu söyleniyor, bu genellikle AI ile geliştirilebilecek bir beceri olarak düşünülmeyen bir şeydir. ChatGPT'nin pek çok yararlı uygulaması olsa da, henüz başlangıç aşamasındadır ve gerçekten devrim niteliğinde bir teknoloji olarak kabul edilebilmesi için kat etmesi gereken uzun bir yol vardır. Bununla birlikte, ChatGPT'nin potansiyel sonuçları dikkate alınmaya değer ve gelecekte daha da önemli hale gelmesi muhtemeldir.
  
  
• 00:10:00 ChatGPT, insan benzeri bir şekilde "konuşma" yeteneğine sahip ve açık yapay zeka tarafından belirlenen etik sınırları sorgulamak için kullanılmış bir sohbet robotudur. ChatGPT'nin öngörülemez ve kararsız olabileceği ve bunun da kontrolü zorlaştırabileceği belirtiliyor. ChatGPT'nin birden fazla alanda ihtiyaç duyulan işçi sayısını azaltma potansiyeline sahip olduğu da belirtiliyor.
  
  
• 00:15:00 Yazar, otomasyonun iş gücü üzerindeki potansiyel etkilerini ve nasıl hazırlanacağını tartışıyor. Ayrıca, girişimciler tarafından akılda tutulması gereken bazı yakın gelecek tahminleriyle yapay zekanın nasıl hızla ilerlediğini tartışıyor.
  
  
• 00:20:00 ChatGPT, tıp veya bilgisayar modelleri gibi geleceğin modellerini oluşturmak için kullanılacak yeni bir teknolojik platformdur. Bir sektöre veya kullanım durumuna özel modeller oluşturmak için mevcut büyük modelleri ayarlamak için platformu kullanacak yeni bir dizi girişim olacak.
  
  
• 00:25:00 Video, yapay zekanın (AI) gelişimini ve çalışma ve yaşama şeklimizi nasıl değiştirdiğini tartışıyor. Bazı insanlar yapay zekanın potansiyelinden heyecan duyarken, diğerleri potansiyel sonuçlarından endişe duyuyor. Konuşmacı ayrıca yakın zamanda yayınlanan bir podcast bölümünün kısa bir özetini sunar.

[MetaQuotes]

ChatGPT'nin Şaşırtıcı Potansiyelinin İç Hikayesi | Greg Brockman | TED

ChatGPT'nin Şaşırtıcı Potansiyelinin İç Hikayesi | Greg Brockman | TED

Videonun bu bölümünde Greg Brockman, yapay zekanın eğitimi iyileştirmedeki rolünü tartışıyor. Geleneksel eğitim yöntemlerinin genellikle verimsiz ve etkisiz olduğunu, öğrencilerin bilgiyi elde tutmakta zorlandıklarını ve öğretmenlerin her öğrencinin ilgisini çekecek şekilde öğretmek için mücadele ettiğini savunuyor. Brockman, AI'nın her öğrenci için kişiselleştirilmiş öğrenme deneyimleri sağlayarak bu sorunları çözmeye yardımcı olabileceğini öne sürüyor. AI araçlarıyla, müfredatı ihtiyaçlarına ve tercihlerine göre ayarlayarak öğrencilerin ilerlemesini gerçek zamanlı olarak izlemek mümkündür. Bu, öğrencilerin daha fazla bilgi edinmesine ve öğretmenlerin daha önemli görevlere odaklanmasına izin vererek daha ilgi çekici ve verimli öğrenme deneyimlerine yol açabilir. Brockman ayrıca, öğrenci verilerinin korunmasını ve yalnızca eğitim amaçlı kullanılmasını sağlamak için yapay zeka araçlarını gizliliği göz önünde bulundurarak tasarlamanın önemini vurguluyor.

• 00:00:00 Bu bölümde, OpenAI CEO'su Greg Brockman, AI'lar için araçlar oluşturan Dolly adlı bir AI aracının yeteneklerini gösterdi. Bu aracı ChatGPT ile birlikte kullanan kullanıcılar, birleşik bir dil arayüzü ile amaçlarına ulaşmak için resimler ve metinler oluşturabilir, bu da onların küçük ayrıntıları alıp diğer uygulamalarla birleştirerek kontrol etmelerine olanak tanır. Bir kullanıcı arayüzü hakkında bu yeni düşünme biçimi, AI'nın kullanıcı adına yapabileceklerinin yeteneklerini genişletecek ve teknolojiyi daha yeni boyutlara taşıyacaktır.
  
  
• 00:05:00 Bu bölümde Greg Brockman, yapay zekanın araçları kullanmak ve geri bildirim yoluyla istenen sonucu elde etmek için nasıl eğitildiğini açıklıyor. Sürecin iki adımı vardır - ilk olarak, yapay zekaya tüm dünyanın gösterildiği ve daha önce hiç görmediği metinde sırada ne olacağını tahmin etmesinin istendiği denetimsiz bir öğrenme süreci kullanılır. İkinci adım, yapay zekaya birden çok şeyi deneyerek bu becerilerle ne yapacağının öğretildiği ve yanıtı üretmek için kullanılan tüm süreci güçlendirmek için insan geri bildiriminin sağlandığı insan geri bildirimini içerir. Bu geri bildirim, öğrenmeyi yeni durumlara genellemesine ve uygulamasına izin verir. Yapay zeka aynı zamanda gerçekleri kontrol etmek için kullanılır ve arama sorguları düzenleyebilir ve tüm düşünce zincirini yazabilir, bu da muhakeme zincirinin herhangi bir parçasını doğrulamayı daha verimli hale getirir.
  
  
• 00:10:00 Videonun bu bölümünde Greg Brockman, karmaşık sorunları çözmede insanlar ve yapay zeka arasındaki işbirliği potansiyelini tartışıyor. Başka bir yapay zeka için yararlı veriler üretmek üzere insan girdisi gerektiren bir doğruluk kontrol aracı örneğini gösteriyor ve makineler güvenilir ve denetlenebilir bir şekilde çalışırken insanların nasıl yönetim, gözetim ve geri bildirim sağlayabileceğini gösteriyor. Brockman bunun, bilgisayarlarla nasıl etkileşim kurduğumuzu yeniden düşünmek de dahil olmak üzere daha önce imkansız olan sorunları çözmeye yol açacağına inanıyor. Güçlü bir yapay zeka dil modeli olan ChatGPT'nin 167.000 yapay zeka makalesinden oluşan bir e-tabloyu analiz etmek ve keşif grafikleri aracılığıyla içgörüler sağlamak için nasıl kullanılabileceğini göstererek, yapay zekanın veri analizine ve karar vermeye yardımcı olma potansiyelini gösteriyor.
  
  
• 00:15:00 Bu bölümde, Greg Brockman yapay zekanın potansiyelini tartışıyor ve onu doğru yapmanın günlük hayatımıza entegrasyonu için kuralların ve yönergelerin belirlenmesine herkesin katılımını gerektireceğini belirtiyor. Yapay genel zekanın tüm insanlığa fayda sağlamasını sağlama OpenAI misyonuna ulaşmanın, okuryazarlık ve işleri yapma şeklimizi yeniden düşünmeye istekli olmakla mümkün olduğuna inanıyor. Brockman, teknolojinin harika olmasının yanı sıra şu anda yaptığımız her şeyi yeniden düşünmeyi gerektirdiği için korkutucu olduğunu da kabul ediyor. OpenAI'nin chatGPT modelinin başarısı kısmen kasıtlı seçimlerinden, gerçeklerle yüzleşmelerinden ve farklı ekipler arasında işbirliğini teşvik etmelerinden kaynaklanmaktadır. Brockman ayrıca yeni olasılıkların ortaya çıkışını dil modellerinin büyümesine ve pek çok basit bileşenin karmaşık ortaya çıkan davranışlara yol açabileceği ortaya çıkma ilkesine bağlar.
  
  
• 00:20:00 Videonun bu bölümünde Greg Brockman, ChatGPT'nin makineye açıkça öğretilmemiş alanlarda bile öğrenme ve tahmin etme yeteneğinin şaşırtıcı potansiyelini tartışıyor. Bununla birlikte, makinenin 40 basamaklı sayıları toplamayı başarabilmesine rağmen, 40 basamaklı bir sayı ve 35 basamaklı bir sayı ile sunulduğunda genellikle yanlış bir toplama sorunu yaşayacağını belirtiyor. Brockman ayrıca makine öğrenimi ile mühendislik kalitesinin önemini vurguluyor ve tahminler yapmadan önce her parçanın uygun şekilde tasarlandığından emin olmak için tüm yığını yeniden oluşturuyor. Bu tür bir teknolojiyi büyütmenin öngörülemeyen sonuçlara yol açabileceğini kabul ediyor, ancak makinenin amacını bizimkiyle uygun şekilde denetlemek ve uyumlu hale getirmek için artımlı değişikliğin uygulanması gerektiğine inanıyor. Nihayetinde Brockman, uygun geri bildirim ve insanlarla entegrasyonla, yapay zeka ile gerçeğe ve bilgeliğe giden yolculuğun mümkün olduğuna inanıyor.
  
  
• 00:25:00 Bu bölümde Greg Brockman, GPT gibi yapay zekayı (AI) uygun korkuluklar olmadan serbest bırakmanın sorumluluk ve güvenlikle ilgili endişelerini ele alıyor. Gizlice inşa etmenin ve ardından güvenliğin uygun şekilde uygulanmasını ummanın varsayılan planının korkutucu olduğunu ve doğru gelmediğini açıklıyor. Bunun yerine, alternatif yaklaşımın yapay zekayı serbest bırakmak ve insanların çok güçlü hale gelmeden girdi vermelerine izin vermek olduğunu savunuyor. Brockman, teknolojinin 5 yıl mı yoksa 500 yıl uzakta mı olmasını isteyip istemediğini düşündüğü bir hikayeyi paylaşıyor ve bu hakka toplu sorumlulukla yaklaşmanın ve yapay zekanın pervasız olmaktansa akıllı olması için korkuluklar sağlamanın daha iyi olduğu sonucuna varıyor.

[MetaQuotes]

Yaşam Bilimlerinde MIT Derin Öğrenme - İlkbahar 2021

Yaşam Bilimlerinde MIT Derin Öğrenme - İlkbahar 2021

"Yaşam Bilimlerinde Derin Öğrenme" kursu, makine öğrenimini çeşitli yaşam bilimleri görevlerine uygular ve makine öğrenimi ve genomik alanında bir araştırmacı tarafından, MIT'den doktora öğrencileri ve lisans öğrencilerinden oluşan bir öğretim kadrosuyla birlikte verilir. Kurs, makine öğreniminin temellerini, gen düzenleyici devreleri, hastalıklardaki varyasyonları, protein etkileşimlerini ve katlanmayı ve bir Google Cloud platformunda Python aracılığıyla TensorFlow kullanarak görüntülemeyi kapsar. Kurs, öğrencilerin kendi projelerini tasarlamalarına yardımcı olmak için serpiştirilmiş mentorluk oturumlarıyla birlikte dört problem seti, bir sınav ve bir takım projesinden oluşacaktır. Eğitmen, tamamlayıcı becerilere ve ilgi alanlarına sahip bir ekip oluşturmanın önemini vurgular ve dönem boyunca çeşitli kilometre taşları ve çıktılar sağlar. Kurs, hibe ve burs teklifi yazma, akran değerlendirmesi, yıllık raporlar ve iletişim ve işbirliği becerilerini geliştirme dahil olmak üzere gerçek dünya deneyimi sağlamayı amaçlamaktadır. Konuşmacı, gözlemlenebilir uyaranlara dayalı olarak bir sahnenin dahili temsilini oluşturan geleneksel yapay zeka ile derin öğrenme arasındaki farkları tartışır ve eğitim verilerinin, bilgi işlem gücünün ve yeni algoritmaların yakınsaması nedeniyle yaşam bilimlerinde derin öğrenmenin önemini vurgular. .

Video, dünyanın karmaşıklığının keşfedilmesinde makine öğreniminin ve derin öğrenmenin önemini açıklayan, yaşam bilimlerinde derin öğrenmeye giriş niteliğinde bir derstir. Konuşma, Bayesci çıkarsama kavramına ve bunun klasik ve derin makine öğreniminde nasıl önemli bir rol oynadığına ve öğrenmeye üretken ve ayrımcı yaklaşımlar arasındaki farklara odaklanıyor. Ders ayrıca, biyolojik sistemlerdeki ağları anlamak için destek vektör makinelerinin, sınıflandırma performansının ve doğrusal cebirin gücünü vurgular. Konuşmacı, kursun düzenlileştirme, fazla uydurmadan kaçınma ve eğitim setleri dahil olmak üzere derin öğrenmedeki çeşitli konuları kapsayacağını belirtiyor. Ders, gelecekteki dersler için yapay nöronların ve derin ağların yorumlanabilirliği ile ilgili soruları ele alarak sona eriyor.

• 00:00:00 Bu bölümde, konuşmacı Yaşam Bilimlerinde Derin Öğrenme dersini tanıtıyor ve makine öğrenimini gen regülasyonu, hastalık, terapötik tasarım, tıbbi görüntüleme ve hesaplama dahil olmak üzere yaşam bilimlerindeki görevlere uygulamaya odaklandığını açıklıyor. Biyoloji. Kurs, Cuma günleri isteğe bağlı mentorluk oturumlarıyla haftada iki kez toplanır ve makine öğrenimi ve genomik alanında araştırmacı olan konuşmacı ve MIT'den doktora öğrencileri ve lisans öğrencilerinden oluşan bir öğretim kadrosu tarafından verilir. Konuşmacı ayrıca tüm derslerin kayıtlarını içeren geçen yılın kurs sayfalarına bağlantılar sağlar.
  
  
• 00:05:00 Transkriptin bu bölümünde eğitmen, dersin üzerine inşa edileceği kalkülüs, lineer cebir, olasılık ve istatistik ve programlama gibi temelleri tanıtır. Kursta ayrıca, öğrencilerin üzerine inşa edebilecekleri bir giriş niteliğinde biyoloji temeli de olacaktır. Eğitmen daha sonra problem setleri, kısa sınav, final projesi ve katılımı içeren dersin not dökümünü detaylandırır. Bölüm, ucuz büyük veri setlerinin yakınsaması, makine öğrenimi yöntemlerindeki temel gelişmeler ve bilimsel alanı tamamen dönüştüren yüksek performanslı bilgi işlem nedeniyle yaşam bilimlerinde derin öğrenmenin neden önemli olduğunun bir açıklamasıyla sona eriyor.
  
  
• 00:10:00 Bu bölümde konuşmacı, hesaplamalı biyolojinin önemini ve faydalarını tartışıyor. Öğrenciler, hesaplamalı biyolojinin neden önemli olduğu sorusuna, büyük miktarda verinin işlenmesi, keşfi hızlandırma yeteneği, karmaşık süreçler için matematiksel modeller oluşturma, biyolojik verilerden örüntüleri anlama ve görselleştirmenin kullanımı dahil olmak üzere cevaplar sağlar. desenler. Konuşmacı, biyolojide hesaplama yoluyla anlaşılabilecek temel kalıpların ve ilkelerin varlığını vurgular ve öğrencileri bölümde ve bölümler arasında sunulan farklı dersleri keşfetmeye teşvik eder.
  
  
• 00:15:00 Bu bölümde konuşmacı, hesaplamalı yöntemlerin yalnızca uygulamalı araştırmalarda değil, aynı zamanda temel biyolojik araştırmalarda yeni temel anlayışların oluşturulmasında da nasıl yardımcı olabileceğini tartışıyor. Kullanılan hesaplama yöntemlerinin her zaman mükemmel sonuçlar vermeyebileceğini, ancak daha da ilginç olabilecek önemli tahminler sağlayabileceklerini vurguluyorlar. Ek olarak, konuşmacı hesaplamalı biyolojinin, çeşitli araştırma alanlarının birden fazla organı etkileyen karmaşık hastalıkların daha kapsamlı bir şekilde anlaşılmasına entegrasyonuna nasıl izin verdiğini gösterir. Son olarak, hastalık bulaşması ve hastalık ilerlemesi gibi uzun vadeli zamansal süreçleri simüle etmek için hesaplama araçlarının kullanımından bahsediyorlar.
  
  
• 00:20:00 Videonun bu bölümünde konuşmacı, hesaplamanın yaşam bilimlerindeki rolünü, özellikle de ilaçların ve tedavilerin keşif ve geliştirme süresini kısaltarak süreçlerin zaman içindeki ilerlemesini nasıl simüle edebileceğini tartışıyor. İlaç tasarlamak ve sentetik test verileri oluşturmak için derin öğrenmenin kullanımı da daha yaygın hale geliyor. Konuşmacı ayrıca, genetik veri setlerinde gerçek eşitlik için demografik verilerdeki genetik çeşitliliği incelemenin önemini vurguluyor. Hayatın kendisi dijitaldir ve biyolojiyi anlamadaki zorluk, gürültüden sinyaller çıkarmak ve veri kümelerindeki anlamlı kalıpları tanımaktır.
  
  
• 00:25:00 Bu bölümde, kurs eğitmeni, makine öğreniminin temelleri, gen düzenleyici devreler, hastalıkta varyasyon, protein etkileşimleri ve katlanması ve görüntüleme dahil olmak üzere kursta ele alınacak ana görevleri ve zorlukları ana hatlarıyla belirtir. Kurs, öğrencilere bu sınırların her birini tanıtmak için problem setlerinden yararlanacak ve öğrenciler Google Cloud platformundaki bir programlama ortamında Python aracılığıyla TensorFlow'u kullanacak. İlk problem seti, karakter tanımaya odaklanacak, ardından bu teknikleri kullanarak genomik verileri analiz edecek ve gen düzenleyici olaylarla ilişkili dizi modellerini tanıyacaktır.
  
  
• 00:30:00 Bu bölümde eğitmen, ders boyunca dört problem seti, bir kısa sınav ve bir takım projesinden oluşacak olan dersin yapısını ve hedeflerini tartışır. Eğitmenler, kursun etkileşimli olacağını vurgular ve öğrencileri ilgi alanlarına giren derslere yazı yazmaları için teşvik ederek o alana yatırım yapmalarını sağlar. Öğrenciler ayrıca yaşam bilimlerinde derin öğrenme alanında aktif olan konuk öğretim görevlileriyle etkileşim kurma fırsatına sahip olacak ve araştırma projesi yönergeleri için tartışmalar üzerine ekip projeleri oluşturulacak ve öğrencilere pratik problemleri çözmek için yeni becerilerini uygulama fırsatı verilecek. . Ayrıca, eğitmenler yaşam bilimlerinde derin öğrenme alanının sadece on yaşında olduğundan bahsediyor ve konuk öğretim üyeleri bu alandaki önemli makaleleri tanıtarak kursu öğrenciler için oldukça heyecanlı ve etkileşimli hale getiriyor.
  
  
• 00:35:00 Bu bölümde, kurs eğitmeni, öğrencilerin kendi projelerini tasarlamalarına, fikir üretmelerine ve ortakları ve danışmanları ile bunları dengelemelerine yardımcı olmak için modüllerin arasına serpiştirilmiş mentorluk oturumlarının nasıl olacağını tartışır. Bu mentorluk oturumları, ilgili alanlarda aktif olan personel üyelerini veya araştırmacıları içerecek ve öğrencilerin fikirlerini değiştirmelerine ve hesaplamalı biyolojide aktif araştırmacılar olmaya hazırlanmalarına olanak tanıyacak. Eğitmen ayrıca, bir araştırma önerisi hazırlamak, tamamlayıcı beceri setlerinde çalışmak, akran geri bildirimi almak ve akranların önerilerindeki potansiyel kusurları belirlemek dahil olmak üzere, kursun yardımcı olacağı eğitimin somut olmayan yönlerini vurgular. Kurs, bu somut olmayan görevleri gerçek hayatta yansıtan bir dönem projesine sahip olacaktır. Öğrenciler ayrıca akranlarıyla tanışmaya, tamamlayıcı uzmanlıkla erkenden ekipler oluşturmaya ve bir profil ve bir tanıtım videosu göndermeye teşvik edilir.
  
  
• 00:40:00 Bu bölümde eğitmen, yeterli planlama, geri bildirim ve öğrencilerin becerilerine ve ilgi alanlarına uygun projelerin bulunmasını sağlamak için kurs için belirlenen çeşitli kilometre taşlarını tartışır. Tamamlayıcı becerilere ve ilgi alanlarına sahip bir ekip oluşturmanın, ilham almak için geçen yılın projelerine ve son makalelere bağlantılar sağlamanın ve son sınıf öğrencileri, doktora sonrası öğrenciler ve kurs personeli ile periyodik mentorluk oturumları oluşturmanın öneminden bahsediyor. Kurs ayrıca, teklifler hakkında eleştirel düşünmeyi teşvik etmek ve geri bildirim ve öneriler sağlamak için akran değerlendirmesinin çeşitli konuları ve yönleri üzerine grup tartışmalarını içerecektir. Eğitmen, hibe ve burs teklifi yazma, akran değerlendirmesi, yıllık raporlar ve iletişim ve işbirliği becerilerini geliştirme dahil olmak üzere bu kurs aracılığıyla kazanılacak gerçek dünya deneyimini vurgular. Eğitmen, kurs boyunca çeşitli ara oturumlarda öğrencileri birbirleriyle buluşmaya davet eder ve dönem boyunca teslim edilecek kilometre taşları ve çıktılara genel bir bakış sunar.
  
  
• 00:45:00 Kursun ve projelerin yapısı, eğitmen her konu için mevcut olan farklı modüller ve kağıtlara genel bir bakış sunar. Ek olarak, proje teklifleri ve uçtan uca boru hattı demoları için son tarih de dahil olmak üzere kursun zaman çizelgesi ana hatlarıyla belirtilir. Eğitmen, daha sonra sorun yaşamamak için kursun başında verilere ve araçlara sahip olmanın önemini vurgular. Kurs ortası raporları ve sunum üzerine bir dersin yanı sıra final projeleri ve sunumların teslim tarihinden de bahsedilir. Makalelerden bazılarını yazan konuk öğretim üyeleri de davet edilebilir.
  
  
• 00:50:00 Bu bölümde konuşmacı, mentorluk ve geri bildirim laboratuvarları da dahil olmak üzere kurs için mevcut olan kaynakları ve desteği tanıtır. Ayrıca, çoğunluğu altıncı ve 20. ana dallardan olmak üzere, dersi alan öğrencilerin farklı geçmişlerini ortaya çıkaran bir giriş anketinin sonuçlarını da paylaşıyorlar. ders, derin öğrenmenin önemini ve çeşitli uygulamalarını vurgulamaktadır. Ayrıca yapay zeka, derin öğrenme ve makine öğrenimi arasındaki farkı da açıklıyorlar.
  
  
• 00:55:00 Bu bölümde öğretim görevlisi, geleneksel yapay zeka (AI) yaklaşımları ile derin öğrenme arasındaki farkları tartışır. Geleneksel yapay zeka, kuralları kodlamak ve işlevleri puanlamak için insan uzmanlara güvenirken, derin öğrenme, açık bir insan rehberliği olmaksızın kendi başına sezgileri ve kuralları öğrenmeyi amaçlar. Öğretim görevlisi, bu farklılıkları göstermek için satranç örneğini kullanıyor ve derin öğrenmenin, makinelerin doğal sahneler ve gerçek dünya durumları gibi karmaşık ortamlarda gezinmesini sağlayarak yapay zekada devrim yarattığını belirtiyor. Öğretim görevlisi, eğitim verilerinin, bilgi işlem gücünün ve yeni algoritmaların yakınsamasını derin öğrenmenin üç temel direği olarak tanımlar ve makinelerin, gözlemlenebilir uyaranlara dayalı olarak bir sahnenin dahili bir temsilini oluşturduğunu açıklar.
  
  
• 01:00:00 Bu bölümde konuşmacı, makine öğrenimi ve derin öğrenmenin, gözlemleri ve verileri analiz ederek dünyanın karmaşıklığının temsillerini oluşturmayı içerdiğini açıklıyor. Geleneksel makine öğrenimi basit temsilleri kullanırken, derin öğrenme hiyerarşik temsilleri kullanır. Üretken modeller, dünyanın gizli durumu göz önüne alındığında bir olayın ileriye dönük olasılığını ifade etmeye izin verirken, Bayes kuralı, gözleme göre belirli bir mevsimin sonsal olasılığını tahmin etmeye izin verir. Bu, bir hipotez verilen verilerin olasılığından, olasılık ve önceki olasılıkların bir ürünü aracılığıyla veriler verilen bir hipotezin olasılığına gitmeyi içerir. Verilerin marjinal olasılığı, verilerin genel olasılığını elde etmek için tüm hipotezleri toplamak için kullanılır.
  
  
• 01:05:00 Bu bölümde, konuşmacı Bayesci çıkarım kavramını ve bunun klasik ve derin makine öğrenimindeki rolünü açıklıyor. Bayesci çıkarsama, dünya için üretken bir modele sahip olmayı ve ardından bu model hakkında bir şeyler çıkarmayı içerir; bu, özellikle bazı noktalar için etiketlerin bulunduğu denetimli öğrenmede yararlıdır ve özelliklere dayalı nesnelerin sınıflandırılması elde edilebilir. Geleneksel makine öğreniminde, önemli bir görev özellik mühendisliği veya bir veri kümesinden doğru özellikleri seçmekti, oysa derin öğrenmede özellikler otomatik olarak öğrenilir. Kümeleme, veri kümelerinin öğrenilebildiği ve temsil edilebildiği bir denetimsiz öğrenme biçimidir ve Bayes çıkarımı, verilerin özelliklerini geliştirmek için veri kümesi için üretken bir modelin parametrelerini yinelemeli olarak tahmin etmek için kullanılabilir.
  
  
• 01:10:00 Videonun bu bölümünde eğitmen, ayrımcı öğrenmenin tüm veri dağılımını yakalamaya çalışmak yerine veri öğeleri arasındaki en iyi ayırıcıyı öğrenmeye nasıl odaklandığını vurgulayarak öğrenmeye yönelik üretken ve ayrımcı yaklaşımlar arasındaki farkları tartışır. Ders ayrıca biyolojik sistemlerdeki ağları anlamak için destek vektör makinelerinin gücüne, sınıflandırma performansına ve doğrusal cebire de değiniyor. Eğitmen, sınıfın derin öğrenmeye, özellikle dünyayla ilgili çeşitli nesneleri ve kavramları sınıflandırmak için katmanlar aracılığıyla basit ve daha soyut özelliklerin oluşturulmasına odaklanacağını belirtiyor. Son olarak ders, tüm öğrenmenin derin olmadığını vurgular ve yapay zeka ve makine öğrenimine tarihsel yaklaşımları gözden geçirir.
  
  
• 01:15:00 Bu bölümde konuşmacı, soyut çıkarım katmanlarını öğrenen nöron katmanlarını kullanarak insan beyninin görüntüleri nasıl işlediğini ve nesneleri nasıl tanıdığını tartışıyor. Bu süreci, biyolojik alandan hesaplama alanına taşınan derin öğrenme ve yapay zekada kullanılan sinir ağlarının mimarisiyle karşılaştırır. Kurs, düzenlileştirme, fazla uydurmadan kaçınma, eğitim setleri ve test setleri dahil olmak üzere derin öğrenmedeki çeşitli konuları kapsayacaktır. Konuşmacı ayrıca temsilleri daha basit olanlara sıkıştırmak için otomatik kodlayıcılardan ve denetimsiz yöntemler olarak işlev gören denetimli algoritmalardan bahseder. Ayrıca kursa katılanları ağırlıyor ve kursun biyolojik yönlerinin önemini vurguluyor.
  
  
• 01:20:00 Bu bölümde, konuşmacı, yapay nöronların ve derin ağların yorumlanabilirliği ile ilgili, ilerideki bir derste ayrıntılı olarak ele alınacak olan birkaç soruyu ele alıyor. Ayrıca öğrencilere profillerini doldurmalarını ve tanıtım videolarını yüklemelerini hatırlatırlar.

[MetaQuotes]

Makine Öğrenimi Temelleri - Ders 02 (Bahar 2021)

Makine Öğrenimi Temelleri - Yaşam Bilimlerinde Derin Öğrenme Dersi 02 (Bahar 2021)

Bu ders, makine öğreniminin temellerini, eğitim ve test kümeleri gibi kavramları, ayırt edici ve üretken gibi model türlerini, kayıp fonksiyonlarını değerlendirmeyi, düzenlileştirmeyi ve fazla uydurmayı ve sinir ağlarını kapsar. Öğretim görevlisi, hiperparametrelerin önemini, yaşam bilimlerinde doğruluğu değerlendirmeyi, korelasyon testini ve model testi için olasılık hesaplamalarını açıklamaya devam ediyor. Son olarak, derin sinir ağlarının temelleri ve bir nöronun yapısı tartışılarak karmaşık fonksiyonların öğrenilmesinde doğrusal olmamanın rolü vurgulanır.

Dersin ikinci bölümünde, derin öğrenmedeki aktivasyon fonksiyonları kavramının yanı sıra, gradyanın temeli olan hataları en aza indirmek için ağırlık güncellemelerini ayarlamada kısmi türevler kullanarak çıkış fonksiyonuyla eşleşecek ağırlıkları ayarlama öğrenme süreci açıklanmaktadır. temelli öğrenme. Geri yayılım kavramı, ağırlıkları ayarlamak için türevleri bir sinir ağı aracılığıyla yaymak için bir yöntem olarak tanıtıldı. Derin öğrenme modellerinin çoklu katmanlarında ağırlıkları optimize etmek için stokastik gradyan inişi ve model kapasitesi kavramı ve VC boyutu dahil olmak üzere çeşitli yöntemler tartışılmaktadır. Bir modelin kapasitesinin bir grafik üzerindeki etkinliği ve önyargı ve varyans, erken durdurma ve ağırlık azaltma gibi çeşitli düzenlileştirme tekniklerinin yanı sıra tartışılır. Doğru karmaşıklık dengesini bulmanın önemi vurgulanır ve öğrencilerin kendilerini sınıf arkadaşlarına olumlu bir şekilde tanıtmaları teşvik edilir.

• 00:00:00 Bu bölümde öğretim görevlisi, makine öğreniminin temellerini ve tanımını tanıtır. Makine öğrenimi, deneyimi uzmanlığa veya bilgiye dönüştürme sürecidir ve verilerdeki açıklanmamış kalıpları kullanarak gelecekteki sonuçları doğru bir şekilde tahmin etmek için hesaplama yöntemlerini kullanır. Makine öğreniminin amacı, verilerdeki kalıpları otomatik olarak algılayabilen ve bunları çıktıya ilişkin iyi tahminler yapmak için kullanabilen yöntemler geliştirmektir. Öğretim üyesi ayrıca model parametrelerine ve mimariye uyması için kullanılan eğitim seti kavramını ve modelin performansını ve genelleme gücünü değerlendiren test seti kavramını da açıklar. Son olarak öğretim görevlisi, aşırı uydurmayı önlemek için parametreleri ve model karmaşıklığını kontrol etmede düzenlileştirmenin önemine değinir.
  
  
• 00:05:00 Dersin bu bölümünde, eğitmen makine öğreniminde kullanılan skalerler, vektörler, matrisler ve tensörler gibi farklı nesne türlerini tanıtır. Girdi alanı, belirli bir veri setinin belirli indeksler ve özelliklerle kullanıldığı bu nesnelerin bireysel örnekleri olarak tanımlanır. Tahmini etiket y hat olarak gösterilerek etiket alanı da tanıtılır. Makine öğreniminin amacı, girdi verilerinden çıkarılan özellikleri değerlendirmek ve girdiyi çıktıya çeviren bir işlevi kullanarak bir çıktı sonucunu hesaplamaktır. Eğitmen ayrıca eğitim ve test kümeleri arasındaki farkı ve işlevin girdi parametrelerini nasıl aldığını ve ağırlık vektörleri ve sapmaları kullanarak bir çıktıyı nasıl hesapladığını açıklar.
  
  
• 00:10:00 Bu bölümde konuşmacı, eksen olmadığında doğrusal bir işlevin çıktısını optimize etmek için ağırlıkların ve önyargıların nasıl kullanıldığını açıklar. Dönüşüm fonksiyonu, dünya hakkında çıkarımlar ve sınıflandırmalar yapan dünyanın modeli olarak görülebilir. İki tür model vardır - iki sınıf arasında ayrım yapan ayrımcı modeller ve çoklu sınıfların ortak dağılımını modellemeye çalışan üretici modeller. Doğrusal regresyon, makine öğreniminin yalnızca bir türüdür ve regresyon, sınıflandırmanın yanı sıra ortak bir görevdir.
  
  
• 00:15:00 Bu bölümde öğretim görevlisi denetimli, yarı denetimli, denetimsiz ve pekiştirmeli öğrenme dahil olmak üzere farklı makine öğrenimi türlerini tartışır. Denetimli öğrenmeye ve çok değişkenli regresyon, ikili ve çok sınıflı sınıflandırma ve çok etiketli sınıflandırma gibi çeşitli çıktı türlerine odaklanılır. Öğretim üyesi ayrıca eğitim sırasında makine öğrenimi modellerini optimize etmek için kullanılan ve kayıp, maliyet veya hata işlevleri şeklinde olabilen amaç işlevlerinden de bahseder. Sıfır bir kayıp, çapraz entropi kaybı ve menteşe kaybı dahil olmak üzere farklı kayıp fonksiyonları türleri sunulur ve ders, regresyon için ortalama kare hatası ve ortalama mutlak hata tartışmasıyla sona erer.
  
  
• 00:20:00 Bu bölümde öğretim görevlisi, tahmin edilen bir değerden sapma için sırasıyla doğrusal ve ikinci dereceden cezalar olan L1 ve L2 düzenlileştirme kavramlarını tanıtır. Bunların, uzak aykırı değerleri cezalandırmak ve parametrelere kısıtlamalar atayarak aşırı uydurmadan kaçınmak için nasıl kullanılabileceğini tartışıyorlar. Öğretim görevlisi daha sonra, her şeyi bir değerin oluşma olasılığına göre değerlendiren ikili çapraz entropi kaybı ve bilgi tabanlı bir yaklaşım kullanan kategorik çapraz entropi kaybı gibi sınıflandırma görevleri için farklı kayıp fonksiyonlarını araştırır. Ek olarak, verileri sıfırdan bire bir aralığa eşlemek için esnek maksimum işlevine değinirler. Bu kavramların tümü, bir Bayes ortamında maksimum olasılık tahmincisi ve son olasılıkları etkiler.
  
  
• 00:25:00 Bu bölümde ders, sınıf boyunca belirli bir formül kullanmanın çıktısını açıklar; bu, belirli bir sınıfa aitse bir, aksi takdirde sıfırdır. Ders ayrıca, girdi verileri, ağırlıklar ve bir yanlılık terimi de dahil olmak üzere sorunun yapısını tartışır. Optimize edici, ağırlıklar arasındaki tutarsızlıklara dayalı olarak oluşturulur ve bu ağırlıklar, ortalama karesel hata veya ortalama mutlak hata gibi bir kayıp işlevi kullanılarak eğitilir. Ders ayrıca, belirli tahminlerle ilişkili maliyeti açıklayan risk fikrini de tanıtıyor ve amaç fonksiyonunu optimize etmek için riskin nasıl kullanılacağını açıklıyor. Ders daha sonra kayıp fonksiyonuna dayalı olarak ağırlıkların nasıl güncelleneceğini ve modeli değerlendirmek için eğitim ve test setlerinin nasıl kullanılacağını açıklar.
  
  
• 00:30:00 Bu bölümde eğitmen, makine öğreniminde fazla uydurma ve yetersiz uydurma kavramını açıklıyor. Eğitim seti geliştikçe, modelin doğrulama setindeki verileri tahmin etmede nasıl daha iyi hale geldiğini açıklıyor. Ancak belli bir noktadan sonra model eğitim setini aşmaya başlar ve doğrulama setindeki hata artmaya başlar. Bu nedenle eğitmen, doğrulama setinin hiperparametreleri ayarlamak için ve test setinin tamamen eğitilmiş modelin performansını değerlendirmek için kullanılacağı şekilde, verileri eğitim, doğrulama ve test setlerine ayırmanın önemini vurgular.
  
  
• 00:35:00 Bu bölümde, konuşmacı makine öğrenimi modellerinin doğruluğunun yaşam bilimleri bağlamında nasıl değerlendirileceğini tartışıyor. Gerçek pozitif ve gerçek negatiflere ve yanlış pozitif ve yanlış negatiflere odaklanan gerçek pozitif güç gibi farklı değerlendirme yöntemlerini açıklarlar. Konuşmacı ayrıca kesinlik, özgüllük, hatırlama ve doğruluk gibi diğer değerlendirme tekniklerini ve veri kümesinin dengesini dikkate almanın önemini tartışır. Daha sonra, alıcı işletim karakteristiği (ROC) eğrisini ve bunun bir sınıflandırıcının hassasiyet ve özgüllük değiş tokuşunun değerlendirilmesine nasıl yardımcı olduğunu tanıtırlar. Ek olarak, hassas geri çağırma eğrisinin, belirli regresyon ayarları için çok dengesiz veri kümeleri için daha iyi bir seçenek olarak bahsedilmektedir. Her iki eğri de tamamlayıcıdır ve bir modelin performansının farklı yönlerini yakalar.
  
  
• 00:40:00 Bu bölümde, konuşmacı korelasyon kavramını ve bunun regresyon belirleyicilerini değerlendirmek için nasıl kullanılabileceğini tartışıyor. Korelasyonun tahmin edilen değerler ile gerçek değerler arasındaki ilişkiyi ölçtüğünü ve Pearson korelasyonu ve Spearman sıra korelasyonu gibi farklı korelasyon testleri olduğunu açıklarlar. Konuşmacı ayrıca korelasyon testlerinin öneminden ve bunların tahmin edicinin doğruluğunu değerlendirmek için nasıl kullanılabileceğinden bahseder. Belirli bir korelasyon değeri elde etme olasılığını ve bunun beklenen değerden önemli ölçüde sapıp sapmadığını belirlemek için Student t-dağılımı ve binom testleri gibi istatistiksel testlerin kullanımını açıklarlar.
  
  
• 00:45:00 Bu bölümde konuşmacı, hipergeometrik dağılım kullanarak k gözlemin tesadüfen doğru şekilde sınıflandırılma olasılığını hesaplayarak, sınıflandırıcının rastgele doğru seçimi yapma olasılığını tartışır. Ayrıca, birden fazla hipotezi test ediyorsanız sıfırın olasılığını ayarlamanız gerektiğini ve eşiğinizi ayarlamak için katı bir Bonferroni düzeltmesi veya daha az katı bir Benjamin Hofberg düzeltmesi kullanabileceğinizi vurguluyor. Konuşmacı, yeterli veriye sahip neredeyse her yerde korelasyon bulmanın tehlikeleri konusunda uyarıda bulunuyor ve korelasyon eksikliğinin, ilişkilerin eksikliği anlamına gelmediğinin altını çiziyor. Bölüm, konuşmacı sinir ağlarını tartışmaya geçmeden önce bir uzatma molasıyla sona erer.
  
  
• 00:50:00 Dersin bu bölümünde, eğitmen derin sinir ağları kavramını ve öğrenmedeki soyutlama hiyerarşisindeki köklerini tanıtıyor. Eğitmen, giriş katmanından başlayarak ve giderek karmaşıklaşan özellikleri öğrenen birkaç gizli katman boyunca ilerleyerek ağın katmanlarını açıklar. Evrişimli filtreler kavramından kısaca bahsedilmiştir, ancak daha sonraki bir derste daha derinlemesine ele alınacaktır. Eğitmen ayrıca bu ağların insan beynindeki nöronların biyolojik yapısından esinlendiğini de belirtiyor.
  
  
• 00:55:00 Bu bölümde öğretim görevlisi derin öğrenme sinir ağının temellerini açıklıyor. Bir nöronun yapısını, ağırlıklı girdiler alan, bir eşiği aşan ve ardından ardıllarına aynı çıktıları gönderen hesaplamalı bir yapı olarak tanımlıyor. Bir sinir ağındaki öğrenme, bu ağırlıklara gömülüdür ve hesaplanan fonksiyon, alınan girdilere dayalı olarak dönüştürülmüş bir olasılıktır. Öğretim görevlisi, sinir ağlarının doğrusal fonksiyonların ötesine geçtiklerinde güçlendiğini ve hemen hemen her işlevi öğrenebilen bir doğrusal olmayanlığı ortaya koyduğunu vurgular. Orijinal doğrusal olmama durumu, bir eşik aşılana kadar ya birde ateşleyen ya da sıfırda kalan bir nöronu temsil eden sigmoid birimdi. Bunun ötesinde, daha karmaşık fonksiyonlara yaklaşmak için esnek artı birimi tanıtıldı.
  
  
• 01:00:00 Dersin bu bölümünde, konuşmacı derin öğrenmedeki aktivasyon fonksiyonları kavramını ve girdilere yanıt olarak nöronların ateşlenmesine nasıl yardımcı olduklarını açıklıyor. Diğerlerinin yanı sıra soft plus, sigmoid ve rektifiye lineer birim (ReLU) gibi çeşitli aktivasyon fonksiyonlarını tanıtıyor. Konuşmacı ayrıca ağırlıkları çıktı fonksiyonuna uyacak şekilde ayarlamanın öğrenme sürecini ve hataları en aza indirmek için ağırlık güncellemelerini ayarlamada kısmi türevlerin rolünü tartışır. Bunun, gradyan tabanlı öğrenmenin temeli olduğunu açıklıyor.
  
  
• 01:05:00 Dersin bu bölümünde, ağırlıkları ayarlamak için bir sinir ağı aracılığıyla türevleri çoğaltma yöntemi olarak geri yayılım kavramı tanıtılmaktadır. Zincir kuralı, her katmanın türevini önceki katmanın bir fonksiyonu olarak hesaplamak için kullanılır ve her düzeyde ayarlamaların yapılmasına izin verir. Bu sürece, gradyanı ölçeklendirmek için bir öğrenme hızı, büyük ağırlıkları önlemek için ağırlık azalması ve gereken değişiklik yönünü ve miktarını belirlemek için önceki zaman adımında deltanın dikkate alınması gibi ek özellikler eklenebilir.
  
  
• 01:10:00 Bu bölümde konuşmacı, birden çok derin öğrenme modeli katmanında ağırlıkları optimize etmek için farklı yöntemleri açıklıyor. Bu yöntemler, her ağırlığa göre çıktının türevlerini hesaplamak için zincir kuralının yanı sıra ağırlıkları güncellemek için eğitim verilerinin bir alt kümesini rastgele örnekleyen stokastik gradyan inişini içerir. Ek olarak, konuşmacı model kapasitesi kavramını ve bir derin öğrenme modelinin hem parametrelerine hem de hesaplayabileceği işlev türlerine dayalı genel modelleme yeteneğini açıklayan VC boyutunu tartışır. Parametrik olmayan bir modelin kapasitesi, eğitim setinin boyutu ile tanımlanır.
  
  
• 01:15:00 Bu bölümde k-en yakın komşu kavramı ve genellenebilirliği tanıtılmaktadır. k-en yakın komşu iyi bir temel yöntem olsa da, zayıf genelleme gücüne sahip olabilir çünkü veri kümelerini ayıran işlevi öğrenemez, bu da daha önce görülmemiş girdilerde iyi performans göstermesini zorlaştırır. Bir modelin kapasitesinin bir grafik üzerindeki etkinliği de tartışılır, burada x ekseni etkin parametre veya boyut sayısını gösterir ve bu sayıyı artırmak, verilerle daha iyi eşleşmelere yol açabilir, ancak daha yüksek bir genelleme hatasıyla. Önyargı veya birinin verilen verileri ne kadar iyi eşleştirdiği ve varyans veya kişinin gelecekteki veri kümelerini ne kadar iyi eşleştirebileceği de tanıtılır. Son olarak, modeller, farklı nöron karmaşıklığı seviyelerine sahip veri kümelerini karşılaştırarak gösterilebilen, parametre düzenlemesi ve model karmaşıklığı düzenlemesi değiş tokuş edilerek düzenli hale getirilebilir.
  
  
• 01:20:00 Dersin bu bölümünde eğitmen, sinir ağlarına düzenlileştirme eklemek için erken durdurma, ağırlık azaltma, düzenleyici olarak gürültü ekleme ve Bayes öncülleri gibi çeşitli teknikleri tartışır. Aktivasyon fonksiyonlarına ve ağırlık sayısına bağlı olan kapasite kavramı da tartışılmaktadır. Eğitmen, daha fazla katman, daha geniş katman ve daha fazla bağlantı arasındaki değiş tokuşun bir teoriden çok bir sanat olduğunu ve doğru karmaşıklık dengesini kurmanın esas olduğunu vurgular. Eğitmen, öğrencileri sınıf arkadaşlarına kendilerini olumlu bir şekilde tanıtmaya ve profilleri ve videoları hakkında bilgi edinmek ve tanışmak için zaman ayırmaya teşvik eder.

[MetaQuotes]

Tekrarlayan Sinir Ağları RNN'ler, Grafik Sinir Ağları GNN'ler, Uzun Kısa Süreli Bellek LSTM'ler - Ders 04 (Bahar 2021)

Tekrarlayan Sinir Ağları RNN'ler, Grafik Sinir Ağları GNN'ler, Uzun Kısa Süreli Bellek LSTM'ler

Bu video, tekrarlayan sinir ağları (RNN'ler) ve bunların sıralı öğrenme için kritik olan geçici bağlamı kodlama yetenekleri ile başlayan bir dizi konuyu kapsar. Konuşmacı, uzun dizilerle başa çıkmak için güçlü bir yaklaşım olarak uzun kısa süreli bellek (LSTM) modüllerinin tartışılmasına yol açan gizli markov modelleri kavramını ve sınırlamalarını tanıtıyor. Video ayrıca, RNN'leri açmadan veya kullanmadan zamansal ilişkileri öğrenen transformatör modülünü de tartışıyor. Grafik sinir ağları tanıtılır ve bunların klasik ağ problemlerini çözme ve hesaplamalı biyolojideki potansiyel uygulamaları. Konuşma, dejeneratif grafik modellerindeki uygulamaları ve gizli grafik çıkarımı gibi grafik sinir ağlarındaki araştırma sınırlarının tartışılmasıyla sona eriyor.

Videonun bu ikinci bölümünde Tekrarlayan Sinir Ağları (RNN'ler), Grafik Sinir Ağları (GNN'ler) ve Uzun Kısa Süreli Bellek (LSTM) modülleri ele alınmaktadır. Geleneksel ileri beslemeli sinir ağlarının grafik tabanlı verilerle uğraşırken nasıl sınırlamaları olduğunu açıklar, ancak GNN'ler çok çeşitli değişmezlikleri işleyebilir ve bilgileri grafik boyunca yayabilir. Konuşmacılar ayrıca Grafik Evrişimli Ağları (GCN'ler) ve bunların avantajlarını ve zorluklarını tartışıyor. Ek olarak video, GNN'leri daha güçlü ve esnek hale getirmede dikkat fonksiyonlarının önemini anlatıyor.

• 00:00:00 Bu bölümde öğretim görevlisi, tekrarlayan sinir ağları ve uzun kısa süreli bellek modülleri dahil olmak üzere sınıfta işlenecek konuları tanıtıyor. Öğretim görevlisi, makinelerin bağlamı ve dikkati nasıl anlayabildiğini ve gizli markov modellerini ve tekrarlayan sinir ağlarını kullanarak zamansal bağlamı nasıl kodlayabildiğini tartışır. Ders ayrıca bellek modüllerini kullanarak yok olan gradyanlardan nasıl kaçınılacağını kapsar ve sırayı bozmadan zamansal ilişkileri öğrenebilen Transformer modülünü tanıtır. Ders ayrıca grafik sinir ağlarına ve eğitime rehberlik etmek için grafik bağlantı modellerini nasıl kullandıklarına da değiniyor. Öğretim görevlisi daha sonra insan beyninin bağlamı okuma ve anlama yeteneğini tartışır ve bağlama dayalı olarak fonemik restorasyon ve eksik sözcükleri doldurma örneklerini sunar.
  
  
• 00:05:00 Videonun bu bölümünde konuşmacı, beynin dili ve sesi, anlamanın temelinde yatan bir sonraki adımı tahmin ederek nasıl işlediğini tartışıyor. Tekrarlayan sinir ağları, bir girdi dizisini farklı bir etki alanında yaşayan bir çıktı dizisine dönüştürmek için dizilere makine öğrenimi uygularken geçici bağlamı kodlamak için kullanılır; örneğin, bir ses baskıları dizisini bir sözcük kimlikleri dizisine dönüştürmek. Konuşmacı ayrıca McGurk etkisi ve gecikmeli işitsel geri bildirim gibi işitsel ve görsel bağlam bilgileriyle ilgili bilişsel etkilere örnekler verir ve bunların nasıl çalıştığını açıklar.
  
  
• 00:10:00 Videonun bu bölümünde konuşmacı, dünya hakkında bilgi edinmek için bir dizi tahmin modeli kullanmanın gücünü tartışıyor. Sıradaki bir sonraki terimi tahmin ederek, denetimsiz öğrenme süreci, denetimli öğrenme sürecine dönüştürülebilir. Bu, denetimli öğrenme için tasarlanmış yöntemlerin ek açıklamaya ihtiyaç duymadan kullanılmasına izin verir. Konuşmacı, tek bir ortak işlevin öğrenilebileceğini ve tüm diziye uygulanarak gelecekteki olayların tahminine olanak tanıyacağını açıklıyor. Gizli düğümler ve iç dinamikler birleştirilerek daha karmaşık modeller oluşturulabilir ve bilgiler uzun süre saklanabilir. Konuşmacı, gizli durum vektörleri üzerindeki olasılık dağılımlarının nasıl çıkarsanabileceğini ve mevcut gizli düğüme bilgi vererek, girdinin gizli düğümleri doğrudan veya dolaylı olarak sürmek için nasıl kullanılabileceğini açıklar.
  
  
• 00:15:00 Bu bölümde konuşmacı Gizli Markov Modellerini (HMM) ve sınırlamalarını tartışıyor. HMM'lerin iki tür parametresi vardır: gizli durum verildiğinde her çıkışı gözlemleme olasılığını temsil eden bir emisyon matrisi ve mevcut durumda verilen başka bir gizli duruma geçiş olasılığını temsil eden bir geçiş matrisi. Ancak, her zaman adımında gizli durumlardan yalnızca biri seçilebilir ve n durumla yalnızca log n bitlik bilgi hatırlanabilir. Daha önceki bilgileri kodlamak için, çok sayıda durum gerekli olacaktır. Bu sınırlama, bilgilerin açık bir şekilde kodlanmasına izin veren tekrarlayan sinir ağları (RNN'ler) tarafından giderilir.
  
  
• 00:20:00 Bu bölümde, doğrusal olmayan dinamiklerle daha karmaşık şekillerde güncellenen, dağıtılmış bir gizli durumu kullanarak çok fazla bilgiyi verimli bir şekilde depolamamıza izin veren tekrarlayan sinir ağlarının (RNN'ler) özelliklerini öğreniyoruz. Bir doğrusal dinamik sistemdeki veya gizli markov modelindeki (HMM) gizli durumların son olasılık dağılımı stokastik iken, bir RNN'nin gizli durumu deterministiktir. Doğası gereği stokastik olan HMM'lerin veya doğrusal dinamik sistemlerin aksine, RNN'ler, öngörülemeyen kararlara izin vererek, salınım veya kaotik davranma gibi her türlü davranışa sahip olabilir. İleri beslemeli ağlar ve RNN'ler, zaman açıldığında aynıdır, bu da onu, ağdaki her karakteri hesaplamak için kullanılan aynı paylaşılan ağırlıklara sahip sonsuz sayıda yığına sahip bir ileri beslemeli ağa eşdeğer kılar.
  
  
• 00:25:00 Bu bölümde konuşmacı, tekrarlayan sinir ağları (RNN'ler) için kullanılabilecek belirli mimarileri ve bunların geri yayılım kullanılarak nasıl eğitilebileceğini açıklamaktadır. Bunun bir yolu, gizli birimleri besleyen girdilere sahip olmak ve ardından tüm sekanstan sonra tek bir çıktıya sahip olmaktır. Diğer bir yol ise, gizli birimler arasında bilgi akışına izin vererek ve çıktı değişkenlerinin tahminini mümkün kılarak, her zaman adımında bir çıktı tahminine sahip olmaktır. Aynı geri yayılma algoritması, bu mimarilerin ağırlıklarını güncellemek için kullanılabilir. Konuşmacı, ağırlıkların ağın farklı düzeylerinde paylaşıldığını ve bunun da daha verimli öğrenmeyi mümkün kıldığını vurgular.
  
  
• 00:30:00 Bu bölümde, konuşmacı tekrarlayan sinir ağlarında (RNN'ler) zaman içinde geriye yayılım kavramını ve bunun önceki zaman adımlarından belleğin kodlanmasına nasıl izin verdiğini tartışıyor. Bunun, önceki zaman adımındaki çıktıyı mevcut gizli birime akıtarak veya eğitim sırasında mevcut modele önceki ifade için doğru çıktı etiketini besleyerek gerçekleştirilebileceğini açıklarlar. Eğitim süreci, her ağırlığa karşı kayıp fonksiyonunun türevini almayı ve bunu doğrusal kısıtlamalar altında ağırlıkları güncellemek için kullanmayı içerir. Konuşmacı, RNN'lerin karmaşık görünseler de, diğer sinir ağlarıyla aynı prosedürler kullanılarak eğitilebileceklerini belirtiyor.
  
  
• 00:35:00 Bu bölümde konuşmacı, dizileri makine öğrenimi araçlarıyla modelleme kavramını ve uzun dizilerle nasıl başa çıkılacağını tartışıyor. Cümleleri çevirmek veya konuşulan kelimeleri yazıya dökmek gibi durumlarda, girdi dizilerinin çıktı dizilerine dönüştürülmesi gerektiğini açıklıyor. Bununla birlikte, ayrı bir hedef dizi olmadığında, giriş dizisinin bir sonraki terimi tahmin edilmeye çalışılarak bir öğretme sinyali elde edilebilir. Bu yaklaşımın zorluğu, belirli bir kelimenin etkisinin zamanla azaldığı çok uzun dizilerle uğraşırken ortaya çıkar. Bununla başa çıkmak için konuşmacı, yankı durumu ağları ve momentum kullanımı gibi çeşitli yöntemleri açıklıyor, ancak en güçlü yaklaşım olarak uzun kısa süreli bellek modüllerini vurguluyor. Bu modüller, yüzlerce zaman adımı için değerleri hatırlayabilen bir bellek hücresi tasarlamak için çarpımsal etkileşimlere sahip lojistik ve doğrusal birimler kullanır.
  
  
• 00:40:00 Bu bölümde, konuşmacı uzun kısa süreli bellek (LSTM) sinir ağlarında analog bellek hücresi kavramını açıklıyor. Bellek hücresi, bilginin değişmeden kalmasını ve herhangi bir ağırlık azalmasıyla seyreltilmemesini sağlayan, ağırlığı bir olan kendi kendine bağlantıya sahip doğrusal bir birimdir. Hücre, bilginin ihtiyaç duyulana kadar sürekli olarak tekrarlandığı bir yankı odasını koruyan kapılar tarafından kontrol edilir ve ağ, bir bilgi parçasını ne zaman hatırlayacağına veya unutacağına karar verir. Okuma ve saklama kapılarının etkinleştirilmesi, sırasıyla bilgilerin alınmasına ve korunmasına izin verir. Ağa hatırlama, unutma, depolama ve bir anıyı geri getirme yetenekleri verilir ve belirli bir bilgi parçasını hatırlamanın veya unutmanın ne zaman yararlı olacağına karar verir. Bu kapıların uygulanması, tekrarlayan sinir ağlarında bilginin uzun süre korunmasına izin verir.
  
  
• 00:45:00 Bu bölümde, konuşmacı bitişik eğik yazı okumada tekrarlayan sinir ağlarının (RNN'ler) uygulamasını tartışıyor. Uzun kısa süreli bellek modüllerine sahip RNN'lerin 2009 yılında bu görev için en iyi sistem olduğu bulundu. Ağı eğitmek için kalem koordinatlarının yerine bir dizi küçük görüntü kullanıldı. Konuşmacı, karakterlerin zaman içinde el yazısından çıkarıldığı ve bu karakterlerin her biri için sonraki olasılıklara erişildiği bir çevrimiçi el yazısı tanıma demosu gösterir. Sistemin durumu korunur ve farklı noktalar farklı ağırlıklar alır. Konuşmacı, karakterlerin nasıl öğrenildiğini ve sistemin hangi bölümlerinin önemli olduğunu açıklar. Konuşmacı ayrıca, RNN'lerin gizli ve çıkış birimlerinin başlatılmasını ve başlangıç durumlarının, bunları açıkça kodlamak yerine öğrenme parametreleri olarak nasıl ele alınabileceğini tartışır.
  
  
• 00:50:00 Bu bölümde video, sinir ağlarında, tekrarlayan sinir ağlarını kullanmadan ve açılmadan zamansal ilişkileri öğrenen, trafo modülü adı verilen yeni bir gelişmeyi anlatıyor. Transformatör modülü, ağın zaman içinde açılmasına gerek kalmadan ağın sıralamada nerede olduğunu belirtmek için konumsal kodlamalı bir giriş kullanır. Kodlayıcı, cümledeki bir sonraki öğeyi tahmin etmek için girişe göre çıkış yerleştirmesini bir kaydırırken, dikkat modülleri cümledeki en önemli noktaları belirler. Modül, zamansal ilişkileri elde etmek için dizideki bir kelimenin sorgu temsilini, dizideki tüm kelimelerin anahtar temsillerini ve dizideki tüm kelimelerin değer temsillerini kullanır.
  
  
• 00:55:00 Bu bölümde konuşmacı, dizi çevirisi veya herhangi bir sıralı görev için yararlı olan bir tür sinir ağı olan Transformer'ı tartışıyor. Her kelimeyi üretirken her seferinde tüm cümlenin bağlam bilgisini kodlar ve ardışık kelimeler arasındaki ilişkiler de bu bir kaydırılan girdi-çıktı ilişkisinde kodlanır. Konuşmacı ayrıca grafik sinir ağlarını tanıtıyor ve bunların klasik ağ problemlerini çözmek için nasıl kullanılabileceğini ve hesaplamalı biyolojideki potansiyel uygulamaları açıklıyor. Konuşma, dejeneratif grafik modellerindeki uygulamaları ve gizli grafik çıkarımı gibi grafik sinir ağlarının araştırma sınırlarının tartışılmasıyla sona eriyor.
  
  
• 01:00:00 Bu bölümde konuşmacı, görüntüler gibi ızgara yapılı veriler üzerinde Konvolüsyonel Sinir Ağları (CNN) kullanmanın avantajlarından ve sosyal ağlar gibi ızgara dışı veriler üzerinde Grafik Sinir Ağları (GNN) kullanma potansiyelinden bahsediyor. beyin bağlantı haritaları ve kimyasal moleküller. Konuşmacı ayrıca GNN'lerde bulunabilecek üç farklı özellik türünü tartışır: düğüm özellikleri, kenar özellikleri ve grafik seviyesi özellikleri. Ek olarak, konuşmacı, düğüm sayısıyla ölçeklenen parametrelerin sayısı da dahil olmak üzere, grafik tahminleri için tamamen bağlı bir ağ kullanmanın birçok durum için pratik olmayan sorunları vurgulamaktadır.
  
  
• 01:05:00 Bu bölümde, konuşmacı, grafik boyutu sorunu ve düğüm sıralamasında değişmezlik eksikliği dahil olmak üzere, grafik tabanlı veriler için geleneksel ileri beslemeli sinir ağlarını kullanmanın bazı sınırlamalarını tartışıyor. Ardından, geniş bir değişmezlik sınıfını işleyebilen ve düğüm özelliklerini hesaplamak ve akış aşağı tahminler yapmak için bilgileri bir grafik boyunca yayan grafik sinir ağlarını (GNN'ler) tanıtıyorlar. GNN'ler için temel formül, düğümü çevreleyen komşuluktan bilgi örneklemeyi ve bu bilgiye dayalı olarak düğümün temsilini güncellemeyi içerir. Konuşmacı, bu işlemin görüntü verileri için evrişimli sinir ağlarında (CNN'ler) kullanılan işleme benzer olduğunu belirtiyor.
  
  
• 01:10:00 Bu bölümde, konuşmacı iki katmanlı grafik sinir ağları kavramını ve bir grafikteki farklı düğümler için nasıl güncellendiklerini tartışıyor. Grafik sinir ağlarının diğer ağ türlerinden farklı olduğunu açıklıyorlar çünkü girdi uzayının farklı bölümleri arasındaki yüksek dereceli etkileşimler yerine genel olarak daha fazla bilgiye izin veriyorlar. Konuşmacı ayrıca, bir düğümün komşularından gelen her bir gizli temsile bir ağırlık matrisi uygulayan bir güncelleme kuralıyla, grafik evrişimli ağlar (GCN'ler) ve bunların yönsüz grafikleri nasıl ele aldıklarından bahseder. Ağın patlamasını önlemek için düğüm güncellemelerine katkıda bulunanların sayısını alt örnekleme önerisiyle, grafik sinir ağlarının ölçeklenebilirliği de tartışıldı.
  
  
• 01:15:00 Bu bölümde konuşmacı, grafik verileri için kullanılan bir tür sinir ağı olan grafik sinir ağlarını (GNN'ler) açıklar. GNN'ler, tamamen bağlı ağlardan daha az ağırlığa bağımlıdır ve büyük grafikler üzerinde sınıflandırmaya izin vererek, permütasyonlara karşı değişmezdir. GNN'ler, kenar özellikleri için dolaylı desteğe sahiptir ve bir uyarlama, mesajları ağ üzerinden tamamen iletmek için uç yerleştirmeleri kullanmaktır. Konuşmacı alıntı ağlarını örnek olarak kullanır ve GNN'lerde güncelleme mekanizmasının nasıl çalıştığını açıklar.
  
  
• 01:20:00 Videonun bu bölümünde, konuşmacı bir grafik sinir ağının uçtan uca güncelleme için nasıl çalıştığını ve dikkat işlevinin ağı esnek ve güçlü hale getirmede nasıl hayati bir rol oynadığını açıklıyor. GNN'lerin uçtan tepeye güncellemesinin amacı, kenarlardan birinin durumunu elde etmektir; bu, olay düğümlerinden temsillerin bir araya toplanması ve kenar güncellemelerine özgü doğrusal olmayan bir işlev uygulanarak elde edilebilir. Benzer şekilde, tepe noktası güncellemeleri, bir düğümün olay kenarlarından gelen bilgileri içerir. Bununla birlikte, uç tabanlı aktivasyonlar çok büyük hale gelir ve büyük grafikleri işlemeyi zorlaştırır. Dikkat işlevi, tüm kenarların bilgilerini dahil etmeden açık bir vektör gösterimi sağlayarak modellerin hesaplama gereksinimlerini azaltırken esnekliklerini ve güçlerini korur. Konuşmacı, dikkat puanlarının, her bir komşunun merkezi düğümün güncellemesine ne kadar katkıda bulunduğunu göstererek, bazı ilişkiler veya katkıda bulunan özellikler hakkında çıkarım yapmayı nasıl mümkün kıldığını açıklar.
  
  
• 01:25:00 Bu bölümde, konuşmacılar Grafik Evrişimli Ağları (GCN'ler) ve bunların avantajlarını ve zorluklarını tartışıyor. GCN'ler, grafik boyunca birden fazla katmanın uygulanmasına izin verir ve her güncelleme aynı forma sahiptir. Düğüm sınıflandırması, grafik sınıflandırması ve bağlantı tahmini için kullanışlıdırlar. Ancak, grafikteki paralel güncellemeler nedeniyle hala optimizasyon sorunları var ve istikrarsızlığı önlemek için normalleştirme sabitlerinin düzeltilmesi gerekebilir. Ek olarak, GCN'ler, Grafik Dikkat Ağları (GAT'ler) gibi diğer yöntemlerle karşılaştırıldığında ifade sorunları yaşayabilir. Bununla birlikte, GCN'ler kenar yerleştirmeleri veya nöral mesaj iletimi gerektiren yöntemlerden hala daha hızlıdır.
  
  
• 01:30:00 Bu bölümde konuşmacı, grafiklere veya veri ağlarına uygulanabilen bir model türü olan Grafik Sinir Ağlarını (GNN'ler) tartışır. GNN'ler, grafikteki herhangi iki düğümün temsilleri arasındaki iç çarpımı almayı, sigmoid gibi doğrusal olmayan bir işlevi uygulamayı ve ardından bu kenarın var olma olasılığını üretmeyi içerir. GNN'ler ayrıca biyolojideki gen etkileşimi gibi alanlarda tahmine dayalı modellemeyi mümkün kılar. Konuşmacı, Evrişimli Sinir Ağları (CNN'ler), Tekrarlayan Sinir Ağları (RNN'ler), Uzun Kısa Süreli Bellek modülleri ve Transformatör modülleri dahil olmak üzere tartışılan çeşitli ağ türlerini özetleyerek bitirir.

[MetaQuotes]

Yorumlanabilir Derin Öğrenme - Yaşam Bilimlerinde Derin Öğrenme - Ders 05 (Bahar 2021)

Yorumlanabilir Derin Öğrenme - Yaşam Bilimlerinde Derin Öğrenme - Ders 05 (Bahar 2021)

Bu video, derin öğrenme modellerinde, özellikle de kararların ciddi sonuçlara yol açabileceği yaşam bilimleri alanında yorumlanabilirliğin önemini tartışıyor. Konuşmacı iki tür yorumlanabilirliği açıklıyor: onu en baştan model tasarımına dahil etmek ve halihazırda oluşturulmuş modeller için post hoc yorumlanabilirlik yöntemleri geliştirmek. Ağırlık görselleştirme, vekil model oluşturma ve aktivasyon maksimizasyonu gibi modelleri yorumlamak için farklı teknikleri keşfetmeye devam ediyorlar ve modelin dahili temsillerini anlamanın önemini tartışıyorlar. Öğretim görevlisi ayrıca bireysel kararları yorumlamak için örneğe dayalı ve ilişkilendirme yöntemleri gibi çeşitli yöntemleri açıklar. Ek olarak, konuşmacı, karmaşık kavramları yorumlamanın zorluğunu ve sinir ağı modeli yorumlarının sınırlamalarını ve ayrıca derin öğrenme sinir ağlarındaki gradyanların süreksizliği ile ilgili hipotezleri keşfetmeyi tartışıyor.

Dersin ikinci bölümünde konuşmacı, yaşam bilimleri alanındaki derin öğrenme modellerinde süreksiz gradyanların ve doymuş fonksiyonların zorluklarını ele aldı. Daha yumuşak bir gradyan elde etmek için birden çok örnek üzerindeki küçük girdi bozulmalarının ortalamasını almak, görüntü sınıflandırmasındaki göze çarpan özellikleri vurgulamak için rastgele gürültü kullanmak ve gen düzenleyici modelleri yorumlamak için dekonvolüsyonel sinir ağları ve rehberli geri yayılım gibi geri yayılım teknikleri gibi yöntemler önerdiler. Konuşmacı ayrıca, piksel çevirme prosedürü ve puanı kaldır ve değiştir yaklaşımı dahil olmak üzere ilişkilendirme yöntemlerinin nicel değerlendirmesini tartıştı. Son olarak, derin öğrenme modellerinde yorumlanabilirlik ihtiyacını ve bunu başarmak için çeşitli teknikleri vurguladılar.

• 00:00:00 Bu bölümde sunucu, derin öğrenmede yorumlanabilirliğin önemini ve bunu başarmak için farklı yöntemleri tartışıyor. Derin öğrenme modelleri insanlardan daha iyi performans gösterebilse de, nasıl karar verdiklerini ve bu kararlara güvenilip güvenilemeyeceğini anlamanın önemli olduğunu açıklıyorlar. Yorumlanabilirlik, hata ayıklama, keşifler yapma ve kararlar için açıklamalar sağlama konusunda yardımcı olabilir. Sunum yapan kişi, anti-hawk ve post hoc yorumlama yöntemlerinin yanı sıra modelleri yorumlamaya karşı kararları tartışmaya devam ediyor. Daha sonra, ağırlık görselleştirme, vekil modeller oluşturma, aktivasyon maksimizasyonu ve örnek tabanlı modeller gibi modelleri yorumlamak için belirli yöntemleri araştırırlar. Son olarak, sunum yapan kişi niteliksel ve niceliksel ölçütler yoluyla ilişkilendirme yöntemlerini ve bu yöntemlerin etkililiğini değerlendirmeyi tartışır.
  
  
• 00:05:00 Bu bölümde, özellikle yanlış kararların maliyetli sonuçlara yol açabileceği yaşam bilimleri alanında, makine öğreniminde yorumlanabilirliğin önemi vurgulanmaktadır. Nasıl ve neden çalıştığını anlamadan dev bir model oluşturmaya yönelik geleneksel yaklaşım artık yeterli değildir ve bunun yerine kara kutu modellerinden yorumlanabilir bilgiler çıkarılmalıdır. Yorumlanabilir makine öğrenimi, yalnızca genelleme hatası için değil, aynı zamanda insan deneyimi için de optimize edilmiş doğrulanmış tahminler sağlar. Doktorları daha iyi eğitmek ve insan beyninin nasıl çalıştığına dair fikir edinmek için hastalığın fiziksel, biyolojik ve kimyasal mekanizmalarını anlamak önemlidir. Ek olarak, açıklama hakkı, yüzyıllardır süren ayrımcılığa bağlı olarak eğitim veri setlerinin doğasında var olabilecek önyargılarla mücadelede çok önemlidir.
  
  
• 00:10:00 Videonun bu bölümünde, konuşmacı derin öğrenmede iki tür yorumlanabilirliği tartışıyor: model tasarımında yorumlanabilirlik oluşturmak ve oluşturulduktan sonra karmaşık modelleri yorumlamak için özel teknikler geliştirerek post hoc yorumlanabilirlik oluşturmak . Derin öğrenmenin milyonlarca parametreye sahip olduğunu ve bunun başlangıçta yorumlanabilir modeller oluşturmayı imkansız hale getirdiğini açıklıyorlar. Bu nedenle, yerellik derecelerine dayalı olarak post hoc yorumlanabilirlik için teknikler geliştirmeye odaklanılmaktadır. Konuşmacı ayrıca hem model hem de karar düzeylerinde yorumlanabilir sinir ağları oluşturmanın yollarını tartışıyor.
  
  
• 00:15:00 Bu bölümde, konuşmacı derin öğrenme için iki tür yorumlanabilir modeli tartışıyor: modelin kendisini yorumlayanlar ve kararları yorumlayanlar. Kararlar, ilişkilendirme yöntemlerine veya örnek tabanlı yöntemlere dayalı olabilir. Konuşmacı ayrıca temsillerin kendilerinin analiz edilmesinden ve modelden veri üretilmesinden bahsediyor. Temsilleri analiz etmek için ağırlık görselleştirme, vekil model oluşturma ve aktivasyon birimlerini en üst düzeye çıkaran girdileri anlama dahil olmak üzere dört tür yaklaşım sunarlar. Son olarak konuşmacı, modelin dahili temsillerini, özellikle de derin öğrenme modellerinin nasıl çıkarımlar yaptığına dair içgörü sağlayabilen modelin sol yarısından çıkarılan hiyerarşik özellikleri anlamanın önemini vurgular.
  
  
• 00:20:00 Bu bölümde öğretim görevlisi, sinir ağının iç işleyişine bakarak derin öğrenmeyi yorumlama fikrini tartışır. Bilim adamlarının, bireysel nöronların farklı yönelimlerde nasıl ateşlendiğini anlamak için kedilerde ve maymunlarda görsel korteksi nasıl inceledikleri gibi, ağın tanımayı öğrendiği ilkelleri veya özellikleri anlamak için bir sinir ağında ateşlenen nöronlara bakabileceğimizi açıklıyor. Ancak milyonlarca parametre ve binlerce dahili düğüm ile bunların her birini görselleştirmek mümkün değildir. Bu nedenle öğretim görevlisi, daha basit ve daha yorumlanabilir olan vekil modeller veya yaklaşık modeller fikrini ortaya koyar. Ders ayrıca, amacın belirli bir nöronun aktivasyonunu en üst düzeye çıkaran verileri üretmek olduğu aktivasyon maksimizasyonunu da kapsar.
  
  
• 00:25:00 Bu bölümde konuşmacı, çıktının insan tarafından yorumlanabilir olmasını sağlamak için bir düzenlileştirme terimi kullanırken, belirli bir girdi için sınıfın sonsal olasılığını maksimize etmeyi içeren bir optimizasyon problemini tartışıyor. Basitçe sınıf olasılığına dayalı olarak maksimize etmenin pek mantıklı olmayan görüntülerle sonuçlanabileceğini, bu nedenle çıktının yorumlanabilir olmasını sınırlamak için ek düzenleme teriminin gerekli olduğunu açıklıyorlar. Ayrıca, gürültülü vektörleri parametreleştirmeye ve yorumların kalitesini artırmaya yardımcı olabilecek gizli değişkenler ve parametreler kavramına da değinirler. Amaç, çıktının sınıfla ilgili kalıplara benzemesi ve insanlar için yorumlanmasının daha kolay olması için eğitim verileriyle daha yakından eşleşen veriler oluşturmaktır.
  
  
• 00:30:00 Amaç, belirli özellikleri en üst düzeye çıkarmak veya en aza indirmek ve ardından modelin kararlarını nasıl verdiğini anlamak için bu örnekleri kullanmaktır. Bu, girdinin insan benzeri bir veri dağılımından gelmek üzere kısıtlandığı olası girdiler alanı içinde aktivasyon maksimizasyonu yoluyla yapılabilir. Alternatif olarak, bu dağılımın olasılık yoğunluk fonksiyonundan örnekleme yapmak için üretken bir model kullanılabilir. Sunumu kod alanı içinde olmaya zorlayarak, ortaya çıkan görüntüler daha yorumlanabilir ve daha yorumlanabilir modeller oluşturmak için kullanılabilir. Yorumlanabilir modeller oluşturmaya yönelik diğer teknikler arasında ağırlık görselleştirme, çıktıya yaklaşan vekil modeller oluşturma ve modelin karar verme sürecini anlamak için belirli özellikleri en üst düzeye çıkaran veya en aza indiren örneklerin kullanıldığı örnek tabanlı yorumlama yer alır.
  
  
• 00:35:00 Bu bölümde konuşmacı, özellikle pratik uygulamalar açısından model tarafından verilen kararları yorumlamanın dört farklı yolunu tartışıyor. İlk yöntem, modele nasıl geliştirileceğini öğretmek için yanlış sınıflandırılmış ve belirli girdiye yakın örneklerin seçilmesini içeren örnek tabanlıdır. İkinci yöntem, belirli bir gradyanın neden gürültülü olduğuna bakmayı içeren aktif ilişkilendirmedir. Üçüncü yöntem, pürüzsüz gradyan veya iç gradyanlarla gradyan tabanlı ilişkilendirmedir ve son yöntem, evrişim ve kılavuzlu siyah yayılım ile arka destek tabanlı ilişkilendirmedir. Özellikle sınıflandırmayı yorumlamak için en iyi görüntüyü belirleme söz konusu olduğunda, model düzeyinde yorumlamanın sınırlamalarına da dikkat çekilmektedir.
  
  
• 00:40:00 Bu bölümde, konuşmacı, motosiklet veya ayçiçeği gibi karmaşık bir kavramı temsil eden bir prototip veya tipik bir görüntü bulma açısından derin öğrenme modellerini yorumlamanın zorluğunu tartışıyor. Örnek tabanlı yöntem, bu görüntülerin önemli özelliklerini özel olarak vurgulamadan, hangi eğitim örneğinin bir kararı en çok etkilediğini belirlemenin bir yolu olarak sunulmuştur. Yöntem, piksel yakınlığından ziyade belirli bir görüntünün sınıflandırılması üzerindeki etkilerine dayalı olarak en yakın eğitim görüntülerini belirlemeyi amaçlar. Konuşmacı ayrıca sinir ağı modeli yorumlarının kırılganlığından ve altta yatan öğrenme sürecini anlamada etki fonksiyonlarının kullanımından bahsediyor.
  
  
• 00:45:00 Bu bölümde, konuşmacı derin öğrenme modellerini yorumlamak için iki yöntem sunar. İlki, sinir ağının karar verme sürecini anlamak için eğitim setindeki bireysel örneklere bakan örnek tabanlı yorumlamadır. İkincisi, sınıflandırma kararına ne kadar katkıda bulunduğunu belirlemek için bir görüntüdeki her piksele bir nitelik değeri atayan ilişkilendirme yöntemleridir. Her iki yöntemin de amacı, makine öğrenimini insanlar tarafından yorumlanabilir ve anlaşılır kılmak ve bir görüntüde en belirgin olan özellikleri belirlemektir. Araştırmacılar, ilişkilendirme değerlerini ısı haritaları olarak görselleştirerek, derin sinir ağlarının kararları nasıl verdiğini ve bir görüntüdeki hangi piksellerin bu karardan en çok sorumlu olduğunu daha iyi anlayabilirler.
  
  
• 00:50:00 Bu bölümde, konuşmacı, eğitim sırasında geriye yayılımla aynı metodolojiyi kullanarak bir görüntünün belirginliğinin nasıl hesaplanacağını açıklar. Ağırlıklara göre türevlere bakmak yerine, piksellere göre türevlere bakarlar. Belirginlik haritası daha sonra bu piksellerin görüntüye görsel olarak atfedilmesiyle hesaplanır. Bununla birlikte, bu belirginlik haritaları gürültülü olma eğilimindedir ve kesin değildir. Konuşmacı, bunun neden böyle olduğunu açıklamak için iki hipotezi detaylandırıyor: ya dağınık pikseller sinir ağı karar verme süreci için önemlidir ya da gradyanlar süreksiz olabilir. Konuşmacı daha sonra bu hipotezlerin gürültülü belirginlik haritalarını ele alan yöntemlerin geliştirilmesine nasıl rehberlik ettiğini açıklar.
  
  
• 00:55:00 Dersin bu bölümünde, konuşmacı derin öğrenme sinir ağlarında gradyanların süreksizliği ile ilgili üç hipotezi tartışıyor. İlk hipotez, öğrenilen fonksiyonun pürüzsüz olmadığı ve daha fazla katman eklendikçe ateşlemenin son derece süreksiz hale geldiği ve yanlış sınıflandırmalara yol açtığıdır. İkincisi, katman sayısı ve türevsiz fonksiyonlar nedeniyle gradyanların süreksiz olması, gürültüye neden olması ve sınıflandırma fonksiyonlarında hileye izin vermesidir. Üçüncü hipotez, işlevin doyuma ulaştığını ve daha yumuşak bir şey öğrenme yeteneğini engellediğini öne sürüyor. Girdiye göre bu kısmi türevleri iyileştirmek için tartışılan bir olasılık, girdiyi bozmak için gürültü eklemek ve karışık girdi üzerindeki gradyanı kullanmak veya gürültülü gradyanı yumuşatmak için çoklu pertürbasyonların ortalamasını almaktır.
  
  
• 01:00:00 Bu bölümde konuşmacı, süreksiz gradyanlar veya doymuş işlevlerin neden olduğu derin öğrenme zorluklarına yönelik çözümleri tartıştı. Bunlar, gradyanları veya geri yayılımı değiştirmek ve ek gürültü ile birden fazla görüntü kullanmak için yöntemler içeriyordu. Konuşmacı ayrıca gen düzenleme modellerini yorumlamak için katman bazında alaka yayılımı ve derin kaldırma gibi çeşitli ilişkilendirme yöntemlerini tartıştı. Gradyanların süreksizliğini ele almak için, birçok örnek üzerindeki girdinin küçük pertürbasyonlarının ortalamasını alarak düzgün bir gradyan fonksiyonu tanımlamayı önerdiler ve gradyan fonksiyonunu derin bir ağ yerine sığ bir ağ gibi çalışacak şekilde etkili bir şekilde pürüzsüzleştirdiler. Ayrıca konuşmacı, görüntülere rastgele parazit eklemenin, modelin sağlamlığını göstermeye ve görüntü sınıflandırmasında tekrar tekrar kullanılan göze çarpan özellikleri vurgulamaya nasıl yardımcı olabileceğini açıkladı.
  
  
• 01:05:00 Bu bölümde öğretim görevlisi, yaşam bilimleri alanındaki derin öğrenme modellerini yorumlamak için üç hipotezi tartışır. İkinci hipotez, gradyanların herhangi bir belirli görüntüyle süreksiz olduğunu, ancak onu çevreleyen birden çok görüntünün bir örneğini alarak daha yumuşak bir gradyan elde edilebileceğini ileri sürer. Üçüncü hipotez, fonksiyonun doyuma ulaştığını ve aşırı aktivasyonlara yol açtığını ileri sürer. Bunu ele almak için öğretim görevlisi, görüntüleri dağıtılabilir işlevlere yaklaştırmak için küçültmeyi önerir. Bu, görüntünün piksellerini yeniden ölçeklendirmek için kullanılan iç gradyanlar aracılığıyla yapılır. Doğrultulmuş lineer birimdeki sıfırlanmış değerlerin zorluğu nedeniyle ters evrişimsel sinir ağları ve güdümlü geri yayılım gibi zemin tabanlı yöntemler de araştırılmaktadır.
  
  
• 01:10:00 Bu bölümde, konuşmacı derin öğrenmede geri yayılımın zorluklarını ve evrişimsiz sinir ağları kullanılarak bunların nasıl ele alınabileceğini tartışıyor. Özellik modellerini giriş uzayına eşleyerek ve görüntüyü yeniden yapılandırarak, ters evrişimsel sinir ağları, geçerli bir özellik yeniden yapılandırması elde edebilir ve negatif gradyanları kaldırarak gürültüyü ortadan kaldırabilir. Konuşmacı ayrıca orijinal görüntüyü temsil eden görüntüler oluşturmak için ileri ve geri geçişlerden gelen bilgileri birleştirmek için kılavuzlu geri yayılımın nasıl kullanılabileceğini açıklar. Ek olarak, konuşmacı tutarlılık ve sınıf duyarlılığına dayalı niteliksel ve niceliksel yaklaşımlar dahil olmak üzere bu ilişkilendirme yöntemlerini değerlendirme yöntemlerini tartışır. Son olarak konuşmacı, derin kaldırma, belirginlik haritaları ve pürüzsüz gradyan gibi farklı ilişkilendirme yöntemlerini ve bunların belirli bir sınıflandırmadan sorumlu belirli pikselleri yakalamadaki etkinliğini araştırır.
  
  
• 01:15:00 Bu bölümde, konuşmacı derin öğrenmede ilişkilendirme yöntemlerinin nicel değerlendirmesini tartışıyor. Amaç, bu yöntemlerin amaçlanan ilgilenilen nesneyi düzgün bir şekilde yakalayıp yakalamadığını ve farklı nesne sınıflarını ayırt edip etmediğini değerlendirmektir. Konuşmacı, yüksek nitelik değerlerine sahip bireysel özellikleri kaldırmak için piksel çevirme prosedürünü tanıtır ve yöntemin hassasiyetini ölçmek için sınıflandırma işlevini değerlendirir. Belirginlik niteliklerinin ve sınıflandırma niteliklerinin doğruluğu bir eğri kullanılarak ölçülebilir ve konuşmacı, daha iyi doğruluk elde etmek için çıkarma ve yeniden eğitim önerir. Genel olarak, bölüm, derin öğrenme ilişkilendirme yöntemlerinin etkinliğini değerlendirmenin nicel yollarını tartışır.
  
  
• 01:20:00 Bu bölümde, konuşmacı, bir sınıflandırıcının performansının, ilişkilendirme yöntemine dayalı olarak belirli özellikleri kaldırarak nasıl ölçülebileceğini açıklamaktadır. "Skoru kaldır ve değiştir" yaklaşımı, en çok veya en az önemli piksellerin belirli bir yüzdesinin değiştirilmesini ve doğruluktaki değişikliği ölçmek için derin sinir ağının yeniden eğitilmesini içerir. Bu, yorumlama kararlarının doğruluğunu değerlendirmek için nicel bir ölçüm sağlar. Konuşmacı ayrıca yorumlanabilirliğin önemini ve derin öğrenme modellerini ilişkilendirme yöntemleri ve aktivasyon maksimizasyonu kullanarak yorumlamak için farklı tekniklerin yanı sıra post hoc yöntemlerin zorluklarını da özetliyor.
  
  
• 01:25:00 Bu bölümde öğretim görevlisi, derin öğrenme modellerinin nasıl sınırlandırılabileceğini ve geri yayılım, ters evrişim ve güdümlü geri yayılım kullanılarak bulunan en belirgin özellikleri tartışıyor. Tutarlılık, sınıf duyarlılığı ve yüksek niteliklere sahip özellikleri kaldırmak için nicel metrikler dahil olmak üzere, bu bölme yöntemlerini puanlamanın çeşitli yöntemleri de vurgulanmıştır. Öğretim görevlisi daha sonra, tek tek piksellerin kaldırılabileceği, yeniden eğitilebileceği ve doğruluktaki düşüşün ölçülebileceği kaldırma ve yeniden eğitme yöntemlerini tanıttı. Ders, işlenen konuların gözden geçirilmesi ile sonlandırıldı ve gelecek dersler açıklandı.

[MetaQuotes]

Üretken Modeller, Rakip Ağlar GAN'lar, Değişken Otokodlayıcılar VAE'ler, Temsili Öğrenme - Ders 06 (Bahar 2021)

Üretken Modeller, Rakip Ağlar GAN'lar, Değişken Otokodlayıcılar VAE'ler, Temsili Öğrenme - Ders 06 (Bahar 2021)

Bu video, makine öğreniminde temsili öğrenme kavramını tartışıyor, sınıflandırma görevlerindeki önemini ve yeni mimariler geliştirmede yenilik potansiyelini vurguluyor. Otomatik kodlayıcılar ve varyasyonel otomatik kodlayıcılar (VAE'ler) gibi teknikler aracılığıyla, etiketli verilere ihtiyaç duymadan temsilleri öğrenmenin yolları olarak kendi kendini denetleyen ve bahane görevleri sunulur. Konuşmacı ayrıca, gizli alan gösterimini manipüle ederek yeni veriler üretebilen VAE'ler ve üretken çekişmeli ağlar (GAN'lar) gibi üretken modelleri tartışır. Her yöntemin artıları ve eksileri tartışılır, etkinlikleri ve sınırlamaları vurgulanır. Genel olarak video, temsili öğrenime yönelik farklı yaklaşımlara ve makine öğrenimindeki üretken modellere kapsamlı bir genel bakış sağlar.

Video, Üretken Çekişmeli Ağlar (GAN'lar), Değişken Otomatik Kodlayıcılar (VAE'ler) ve üretken modellerde temsili öğrenme kavramlarını araştırıyor. GAN'lar, karşıt hedeflere sahip olan oluşturucu ve ayırıcıyı içerir ve sahte örnekler için eğitim süreci yavaştır, ancak çözünürlük ve objektif işlevindeki iyileştirmeler, gerçekçi görünen görüntülere yol açabilir. Konuşmacı, GAN'ların mimari açıdan makul odaları nasıl oluşturabileceğini ve bir odadan diğerine nasıl aktarabileceğini gösteriyor. VAE'ler, yoğunluk fonksiyonlarını açıkça modeller ve anlamlı gizli alan parametreleri aracılığıyla gerçek dünya görüntülerinin çeşitliliğini yakalar. Konuşmacı, yaratıcılığı ve açık mimariler ve modellerle deney yapmayı teşvik eder ve üretken modellerin uygulanması ve çeşitli alanlarda temsili öğrenme, sınırsız olanaklarla hızla büyüyen bir alandır.

• 00:00:00 Bu bölümde, konuşmacı makine öğreniminde temsili öğrenme kavramını ve bunun dünya hakkında bilgi edinmek için evrişimli sinir ağlarında (CNN'ler) nasıl kullanıldığını tartışıyor. Derin öğrenmenin gerçek ilerlemesinin, CNN'nin özellik çıkarımı yoluyla dünya hakkındaki doğrusal olmayan durumları ve temsilleri öğrenme yeteneğinden geldiğini vurguluyorlar. Konuşmacı, sınıflandırma görevlerinin özellik çıkarımını yönlendirdiğini ve dünyanın tüm bilgi temsilinin buradan geldiğini savunuyor. Ayrıca, mevcut mimarilerin ötesine geçen çeşitli alanlarda temsil öğrenimi için yeni mimariler geliştirmede yenilik potansiyeli olduğunu öne sürüyorlar. Son olarak, üretken modellerin en heyecan verici kısmının etiketlerden ziyade gizli uzay temsili olduğunu ve bu tür modellerin etiketlere dayanmadan bir dünya modeli öğrenmek için kullanılabileceğini iddia ediyorlar.
  
  
• 00:05:00 Bu bölümde, konuşmacı temsili öğrenmeyi ve bu amaçla kendi kendine denetimli öğrenmenin kullanımını tartışır. Kendi kendini denetleyen öğrenme, verinin başka bir bölümünü eğitmek için verinin bir kısmını kullanmayı ve veriyi kandırarak kendi denetleyicisi olmasını içerir. Bu, dünya görüşlerini oluşturmak için kullanılabilecek harika temsillerin öğrenilmesine izin verir. Üretken modeller, modeli geriye doğru çalıştırarak ve dünyanın sıkıştırılmış temsilinden daha fazla örneğine giderek çalışır. Temsili öğrenmeye başka bir yaklaşım, eldeki görevin sadece temsilleri öğrenmek için bir bahane olduğu metin öncesi görevlerdir. Verilen örnek, otomatik kodlayıcıların konusu olan kendini tahmin etmektir. Sıkıştırılmış bir temsilden geçme ve onu bir kıskaç aracılığıyla görüntünün kendisine yeniden genişletme kavramı, dünyanın altında yatan bir temsilin öğrenilebilmesi için yeterince anlamlıdır. Varyasyonel otomatik kodlayıcılar, varyansı ve dağılımları açıkça modeller.
  
  
• 00:10:00 Bu bölümde, konuşmacı, ağın temsillerini öğrenmek için bir ağ aracılığıyla giriş sinyallerini işlemeyi ve giriş sinyalini birinin yapmadığı bir görev olan bir eğitim sinyali oluşturmak için kullanmayı ifade eden bahane görevleri kavramını tartışıyor. Gerçekten umrumda değil. Bahane görevlerine örnek olarak, görüntülerden önce ve sonra tahminde bulunma, bir yamayı kaldırdıktan sonra görüntünün kalan piksellerini tahmin etme ve siyah beyaz görüntüleri renklendirme yer alır. Bahane görevlerinin amacı, etkili denetimli öğrenme görevlerine yol açan, dünyanın temsillerini öğrenmeye kendini zorlamaktır. Bu kavramı anlamanın önemi, otomatik kodlayıcılar, varyasyonel otomatik kodlayıcılar ve üretken rakip ağlar gibi sonraki tartışma konularına yol açtığı için çok önemlidir.
  
  
• 00:15:00 Bu bölümde, etiketli verilere ihtiyaç duymadan öğrenmeyi mümkün kılan bahane görevleri oluşturarak iyi temsilleri öğrenmenin bir yolu olarak kendi kendine denetimli öğrenme kavramı tanıtılmaktadır. Bahane görevleri, diğerlerinin yanı sıra bir görüntünün yapısını anlamayı, görüntüleri dönüştürmeyi veya birden çok görüntüyü kullanmayı içerir. Bir bahane görev örneği, görüntü yamalarının göreli yönelimini anlamakken, diğeri orijinal görüntünün yeniden oluşturulması gereken bir yapboz görevidir. Kendi kendini denetleyen her yöntemin artıları ve eksileri tartışılarak, etkinliklerinin yanı sıra eğitim görüntülerinde veya sınırlı dış alanda fotoğrafik kanonik yönelimlerin varsayılması gibi sınırlamaları da vurgulanıyor.
  
  
• 00:20:00 Bu bölümde, konuşmacı, aynı tür bahane görevleri kavramını inşa ederek ve bunları farklı örneklere uygulayarak, görünüşte karmaşık görevleri fiilen çözerek karmaşık görevleri çözmemizi sağlayacak bir dünya temsilini öğrenmek için bahane görevleri kavramını açıklar. dünya hakkında ilginç bir şey öğrenmek. Örneklerden biri, denetimsiz bir öğrenme görevini denetimli bir öğrenme görevine dönüştüren etiketlenmemiş verilerden daha düşük boyutlu özellik temsillerini öğrenmek için bir kodlayıcı ve kod çözücü temsili oluşturmayı içerir. Amaç, veri varyasyonlarının anlamlı temsillerini zorlamak ve kodlanmış orijinal görüntünüzün kodu çözülmüş sürümünü oluşturmak için özellikleri kullanmaktır ve kayıp işlevi, orijinal ile tahmin edilen arasındaki farktır.
  
  
• 00:25:00 Bu bölümde konuşmacı, otomatik kodlayıcıların dünyanın temsillerini oluşturmak ve bir üreteç işlevi aracılığıyla görüntüler oluşturmak için nasıl kullanılabileceğini açıklıyor. Otomatik kodlayıcılardaki z vektörü, ek görüntüler oluşturmak için kullanılabilen, göreceli özellikler ve dünyadaki farklı özelliklerin varlığı hakkında anlamlı bilgiler sağlayabilir. Kodlayıcı ve kod çözücü, temsili öğrenme için kod çözücünün üretken bir model olarak ve kodlayıcının bir özellik uzayı vektörü olarak kullanılması gibi farklı görevler için ayrı ayrı kullanılabilir. Konuşmacı daha sonra, ek veriler oluşturmak için modelden örnekleme yapmamızı sağlayan otomatik kodlayıcılarda olasılıksal bir dönüş olan varyasyonel otomatik kodlayıcılar (VAE'ler) kavramını tanıtıyor. VAE'ler, bir dizi skaler ve her skaler için ilişkili varyansların çok boyutlu temsilinden öğrenir. Gizli uzay vektörünün gerçek öncülünden örnekleme yaparak, görüntünün çeşitli özelliklerine dayalı görüntüler üretebiliriz.
  
  
• 00:30:00 Bu bölümde konuşmacı, üretici modelleri ve bunların otomatik kodlayıcıdaki çeşitli vektörleri ayarlayarak dünyayı yakalama hedeflerini tartışıyor. Bu vektörler, parametreleri değiştirerek farklı görüntülerin örneklenmesine izin vererek, dünyanın anlamlı temsilleri haline gelir. Üretken modelleri eğitme stratejisi, model parametrelerini öğrenerek eğitim verilerinin olasılığını en üst düzeye çıkarmaktır. Konuşmacı daha sonra, verilerin ortalamasını ve varyansını açık bir şekilde modelleyerek olasılıksal olarak modeller oluşturan varyasyonel otomatik kodlayıcıları tanıtır. Kodlayıcının hem tek bir z hem de z'nin bir varyansını sağlamasıyla, konuşmacı hem normal dağılımlardan örnek alabilir hem de tekneler gibi nesnelerin farklı varyasyonlarını tanıyabilir.
  
  
• 00:35:00 Bu bölümde, konuşmacı varyasyonel otomatik kodlayıcılar (VAE'ler) kavramını ve nasıl çalıştıklarını açıklıyor. VAE'ler, girdi verilerini gizli bir alana eşleyen bir kodlayıcı ağından, gizli alandan çıktı verileri üreten bir kod çözücü ağından ve kodlayıcı ağı tarafından öğrenilen gösterimden görüntüler üreten bir üretim ağından oluşur. Konuşmacı, VAE kayıp işlevinin, giriş verilerinin yeniden yapılandırılmasını ve kod çözücü ağı kullanılarak görüntülerin önceki dağılımına yakınlaştırılmasını maksimize eden varyasyonel bir alt sınır olduğunu açıklıyor. Konuşmacı ayrıca KL diverjans teriminin anlaşılmaz olduğundan, ancak gradyan iniş yoluyla optimizasyon için bir alt sınır olarak ele alınabileceğinden bahseder.
  
  
• 00:40:00 Bu bölümde, konuşmacı, varyasyonel otokodlayıcılar (VAE'ler) gibi üretici modellerin, dünyanın anlamlı özelliklere sahip bir temsilini oluşturmak için nasıl kullanılabileceğini açıklıyor. VAE, görüntüleri yalnızca iki boyut kullanarak kodlayarak tüm olası karakterlerin alanını yakalayabilir ve yalnızca iki boyutlu bir koordinat kullanılarak temsil edilebilecek her türlü karakteri oluşturabilir. Ağ, z üzerinde önceliği köşegenleştirerek, bağımsız gizli değişkenleri öğrenir ve z'nin farklı boyutları, iyi bir özellik temsilinde yorumlanabilir varyasyon faktörlerini kodlar. Bu kodlayıcı ağı, kullanıcıların veri oluşturmasına ve z'nin önceki dağıtımı yoluyla gizli alanın kodunu çözmesine izin vererek VAE'leri temsili öğrenme için yararlı bir araç haline getirir.
  
  
• 00:45:00 Bu bölümde video, diğer görevler için yararlı bir temsil olabilecek x verilen gizli uzayın çıkarımını sağlayan üretken modellere ilkeli bir yaklaşım olarak varyasyonel otomatik kodlayıcıların (VAE'ler) kullanımını tartışıyor. Bununla birlikte, VAE'lerin, olasılığın alt sınırını en üst düzeye çıkarmak gibi, olasılığı açıkça değerlendirmek kadar iyi olmayan bazı eksileri vardır. VAE'lerden oluşturulan örnekler, üretken çekişmeli ağlardan (GAN'lar) alınan örneklerle karşılaştırıldığında daha bulanık ve daha düşük kalitelidir. Daha zengin arka dağılımlar için daha esnek yaklaşımlar kullanmak ve gizli değişkenlere yapı dahil etmek gibi VAE'lerden alınan örneklerin kalitesini iyileştirmeye yönelik devam eden araştırmalar vardır. Video ayrıca üretim, denetimsiz öğrenme ve gizli alan parametreleriyle ilgili önceki bölümlerden önemli çıkarımları özetler.
  
  
• 00:50:00 Bu bölümde, üretken çekişmeli ağlar (GAN'lar) kavramı ele alınmaktadır. GAN'lar, rastgele gürültü gibi basit bir dağılımdan örnekleme yaparak karmaşık yüksek boyutlu görüntüler oluşturmak ve bir eğitim setinden görüntüler oluşturmak için öğrenme dönüşümleri oluşturmak üzere tasarlanmıştır. Sistem, sahte görüntüler oluşturmak için bir üretici ağından ve gerçek ve sahte görüntüleri ayırt etmek için bir ayrımcı ağdan oluşur. Amaç, süreçte bir rakip haline gelen ayrımcıyı kandırarak daha gerçekçi görüntüler oluşturmak için üreticiyi eğitmektir. Sistem kendi kendini denetler, yani manuel etiketleme gerekmez ve insan değerlendiricilere olan ihtiyacın yerini alır.
  
  
• 00:55:00 Bu bölümde konuşmacı, bir üretici ve bir ayrımcı ağı eğitmek için mini maksimum oyun yaklaşımı kullanan üretken çekişmeli ağlar (GAN'lar) kavramını açıklıyor. Ayrımcı, oluşturulan görüntülerin gerçek mi yoksa sahte mi olduğunu belirlemek için eğitilirken, oluşturucu, ayrımcıyı gerçek olduklarına inandıracak görüntüler oluşturmak için eğitilir. Bu ortak olabilirlik fonksiyonu aracılığıyla, ayrımcının gerçek görüntüler için 1 ve sahte görüntüler için 0 puan vermesi amacıyla her iki ağın ağırlıkları ve parametreleri aynı anda eğitilir. Jeneratör ise gerçek olanlardan ayırt edilemeyen görüntüler üreterek bu puanı en aza indirmeyi hedefliyor.
  
  
• 01:00:00 Bu bölümde, oyun benzeri bir senaryoda bir üretici ve ayrımcının karşıt hedeflere sahip olduğu Üretici Düşman Ağları (GAN'lar) kavramı açıklanmaktadır. Üretici, gerçek verileri doğru sınıflandırmayı öğrenmiş olan ayrımcıyı kandıracak sahte veriler üretmeye çalışır. Bununla birlikte, örnek sahte olduğunda eğitim yavaştır, bu nedenle, ayrımcının sahte veriler için yanlış olma olasılığını en üst düzeye çıkarmak için oluşturucunun amacının değiştirildiği bir numara kullanılır. İki ağı ortaklaşa eğitmek zor olabilir, ancak görüntülerin çözünürlüğünü aşamalı olarak artırmak kararlılığı iyileştirebilir. GAN eğitim algoritması, stokastik gradyanı yükselterek ayırıcıyı güncelleme ile geliştirilmiş amaç fonksiyonunu kullanarak üreteci güncelleme arasında geçiş yapmayı içerir.
  
  
• 01:05:00 Bu bölümde video, Üretken Karşıt Ağlar (GAN'lar) kavramını ve gerçekçi görüntüler oluşturmak için bir üretici ağ oluşturmaya dahil olan eğitim sürecini tartışıyor. Video, ayrıştırıcı ağın oluşturulan görüntüler ile gerçek görüntüler arasında ayrım yapmak için nasıl eğitildiğini ve oluşturulan görüntülerin kalitesini insan performansını aşacak şekilde iyileştirmek için üretici ağın nasıl eğitildiğini açıklıyor. Video ayrıca, kesirli çizgili kıvrımlara sahip derin evrişimli mimarilerin nasıl oluşturulacağını ve gerçekçi görünen görüntüler elde etmek için ReLU ve sızdıran ReLU aktivasyon işlevlerinin nasıl kullanılacağını açıklıyor. Video, mimari açıdan makul odalar oluşturmak için GAN'ları kullanma potansiyelini gösteriyor ve gizli alan koordinatları arasında enterpolasyon yaparak bir odanın diğerine nasıl aktarılacağını gösteriyor.
  
  
• 01:10:00 Bu bölümde, konuşmacı GAN'lar, Değişken Otomatik Kodlayıcılar (VAE'ler) ve temsili öğrenme gibi üretici modelleri tartışıyor. Bu modellerin amacı, gerçek dünyanın altında yatan kalıpları ve stilleri öğrenerek farklı ve gerçekçi örnekler oluşturmaktır. Konuşmacı, bu modellerin yükseltme, etki alanı bilgi aktarımı ve doku sentezi gibi çeşitli görüntü işleme görevlerini nasıl gerçekleştirebildiğine dair örnekler sunuyor. Konuşmacı ayrıca, yüksek çözünürlüklü görüntüler oluşturmaya izin veren Aşamalı GAN'lar ve mümkün kılan ortogonal parametreleri öğrenmek için çok sayıda parametre alanı kullanan Nvidia'nın "Bu kişi yok" web sitesi gibi bu modellerde yapılan ilerlemeleri de vurguluyor. farklı görüntü bileşenlerinin ayrıştırılması.
  
  
• 01:15:00 Bu bölümde konuşmacı, açık veya örtük yoğunluk fonksiyonlarının modellenmesini içerebilen üretken modellerin bir taksonomisini açıklıyor. Üretken çekişmeli ağlar (GAN'lar) yoğunluk fonksiyonlarını dolaylı olarak kuplaj oluşturucu ve ayrımcı ağlar aracılığıyla modellerken, varyasyonel otomatik kodlayıcılar (VAE'ler) yoğunluk fonksiyonlarını açık bir şekilde modeller. Derin öğrenmenin gücü, temsili öğrenmede yatar ve konuşmacı, genç alanın birçok açık mimarisi ve modeliyle yaratıcılığı ve deneyi teşvik eder. Kendini tahmin etme veya eksik yamaları doldurma gibi bahane görevlerinin kullanılması, dünyanın anlamlı gizli temsillerini öğrenmeye ve gizli alan parametrelerinin gerçek bir dağılımından örnek alabilen gerçekten üretken modellere doğru ilerlemeye yardımcı olabilir.
  
  
• 01:20:00 Bu bölümde konuşmacı, varyasyonel otomatik kodlayıcılarda (VAE'ler) anlamlı gizli alan parametreleri aracılığıyla gerçek dünya görüntülerinin çeşitliliğini yakalama kavramını tartışıyor. Gizli alan parametrelerini ortogonal ve birbirinden farklı olacak şekilde sınırlayarak, ortaya çıkan görüntüler gerçek insanlardan ayırt edilemez olabilir. Buna ek olarak konuşmacı, üretken modellerin ve temsili öğrenmenin uygulanmasının, çeşitli alanlarda sınırsız olanaklarla hızla büyüyen bir alan olduğunu belirtiyor.

[MetaQuotes]

Düzenleyici Genomik - Yaşam Bilimlerinde Derin Öğrenme - Ders 07 (Bahar 2021)

Düzenleyici Genomik - Yaşam Bilimlerinde Derin Öğrenme - Ders 07 (Bahar 2021)

Ders, gen düzenlemesinin biyolojik temelleri, düzenleyici genomik için klasik yöntemler, evrişimli sinir ağlarını kullanarak motif keşfi ve sekansın gen düzenleme özelliklerini nasıl kodladığını anlamak için makine öğrenimi modellerinin kullanımı dahil olmak üzere düzenleyici genomik alanını kapsar. Konuşmacı, gen regülasyonunda düzenleyici motiflerin önemini ve bu motiflerdeki bozulmaların nasıl hastalığa yol açabileceğini açıklıyor. Sıralama okumalarını genoma eşleyen ve iki iplikçik üzerindeki her bir baz çiftinin kaç tane beş-asal uç olduğunu sayan evrişimli bir sinir ağı kullanarak yeni bir model sunuyorlar. Model, farklı proteinlerin çoklu okumaları için kullanılabilir ve çoklu görev modeli kullanılarak ayrı ayrı veya aynı anda takılabilir. Konuşmacı ayrıca sözdiziminin TF işbirliğini nasıl etkilediğine dair biyolojik hikayeleri ortaya çıkaran yorumlama çerçevelerini kullanarak modelin genomik veriler dahil her türlü testi nasıl analiz edebileceğini gösteriyor. Modeller, yüksek çözünürlüklü CRISPR deneyleriyle doğrulanan tahminler yapabilir.

Video, derin öğrenmenin, sinyal tepe noktalarını iyileştirerek ve gürültüyü gidererek düşük kapsamlı ATAC-seq verilerinin kalitesini nasıl iyileştirebileceğini tartışıyor. AttackWorks, kapsama verilerini alan ve sinyal doğruluğunu iyileştirmek ve erişilebilir kromatin bölgelerini belirlemek için artık bir sinir ağı mimarisi kullanan bir derin öğrenme modelidir. Konuşmacı, AttackWorks'ün düşük kaliteli verileri işlemek ve tek hücreli kromatin erişilebilirliğini inceleme çözünürlüğünü artırmak için nasıl kullanılabileceğini gösteriyor. Ayrıca, soy hazırlığına dahil olan belirli düzenleyici öğeleri tanımlamak için ATAC-seq kullanan hematopoietik kök hücreler üzerinde belirli bir deneyi açıklarlar. Konuşmacı, öğrencileri staj veya işbirlikleri için ulaşmaya davet ediyor.

• 00:00:00 Bu bölümde, öğretim görevlisi düzenleyici genomik alanını tanıtır ve etkili makaleleri tartışmak ve öğrenciler için işbirliği ve staj fırsatları sağlamak üzere konuk konuşmacıları davet eder. Ders, gen düzenlemesi üzerine Modül 2'nin başlangıcıdır ve gen düzenlemesinin biyolojik temellerini, düzenleyici genomik için klasik yöntemleri ve evrişimli sinir ağlarını kullanarak motif keşfini kapsar. Ders, genetik kodun karmaşıklığını vurgulayarak, baştan ayağa vücudun her yerinde karmaşık ara bağlantılara sahip kendi kendini iyileştiren bir organizmanın inşasına ve geliştirilmesine olanak tanır.
  
  
• 00:05:00 Bu bölümde hücrelerin karmaşıklığı ve hiçbir bağlamsal bilgiye sahip olmamalarına rağmen kimliklerini nasıl hatırladıkları tartışılmaktadır. Hücrelerin, genomun her bir parçasının durumunu hatırlamasına izin veren bir dizi ilkel ve yapıya dayanan düzenleyici devre de vurgulanmıştır. DNA'nın hem yapısal hem de işlevsel yapılarda paketlenmesi, bu sürecin ayrılmaz bir parçasıdır ve hücrelerin içlerinde çok fazla DNA'yı sıkıştırmasını sağlar. Bu paketleme, her biri farklı histon modifikasyonları ile post-translasyonel olarak değiştirilebilen uzun bir amino asit kuyruğuna sahip dört histon proteininden oluşan, DNA'nın bir dizi görünümündeki küçük boncuklar olan nükleozomlar aracılığıyla yapılır. Bu modifikasyonlar, hücrelerin kimliklerini hatırlamasını sağlamak için doğrudan DNA üzerinde CPG dinükleotitleri gibi ek epigenomik işaretlerle çalışır.
  
  
• 00:10:00 Bu bölümde, konuşmacı epigenomikteki üç tip modifikasyonu tartışıyor: DNA erişilebilirliği, histon modifikasyonları ve DNA metilasyonu. Bu modifikasyonların gen düzenlemesini ve transkripsiyon faktörlerinin bağlanmasını nasıl etkileyebileceğini açıklıyor. Epigenomik dilini kullanarak, DNA'nın sıkıştırılmasını destekleyici bölgelerin belirli imzalarına göre ayarlayarak vücuttaki her hücre tipi programlanabilir. Promotörler, kopyalanan bölgeler, bastırılan bölgeler ve güçlendirici bölgelerin tümü, tanımlanabilen ve incelenebilen farklı işaret kümeleriyle işaretlenir. Özellikle güçlendiriciler son derece dinamiktir ve H3K4 monometilasyonu, H3K27 asetilasyon ve DNA erişilebilirliği ile işaretlenmiştir.
  
  
• 00:15:00 n bu bölümde, konuşmacı "kromatin durumları" kavramını açıklamaktadır; kromatinin diğerlerinin yanı sıra güçlendiriciler, promotörler, kopyalanan ve bastırılan bölgelere karşılık gelen farklı durumlarıdır. Bu kromatin durumlarını keşfetmek için çok değişkenli gizli bir Markov modeli kullanılır ve bu, vücudun farklı hücre tiplerinde güçlendirici bölgeleri, promotör bölgeleri ve kopyalanan bölgeleri bulmak için kullanılır. Proteinlerin DNA'yı tanıma şekli, genomdaki spesifik DNA dizilerini tanımak için DNA bağlama alanlarını kullanan transkripsiyon faktörleriyle de açıklanmaktadır. Konuşmacı ayrıca, bir DNA dizisinin özgüllüğünün tanınmasına izin veren DNA motifleri ve konum ağırlık matrislerinden ve düzenleyiciler için bağlanma yerlerini ayırt eden bilgi teorik ölçülerinden bahseder.
  
  
• 00:20:00 Dersin bu bölümünde konuşmacı, gen regülasyonunda düzenleyici motiflerin önemini ve bu motiflerdeki bozulmaların nasıl hastalığa yol açabileceğini tartışıyor. Konuşmacı daha sonra gen düzenlemesini araştırmak için üç teknolojiyi açıklıyor: kromatin immünopresipitasyon, DNA erişilebilirliği ve ATAC-seq. Bu teknolojiler, geliştiricilerin yerlerini haritalamak ve motifleri kullanarak ve derin öğrenme modelleri oluşturarak DNA'nın dilini keşfetmek için kullanılabilir.
  
  
• 00:25:00 Videonun bu bölümünde konuşmacı, sekansın gen düzenleme özelliklerini nasıl kodladığını anlamak için makine öğrenimi modellerinin kullanımını tartışıyor. Düzenleyici DNA'nın profilini çıkaran farklı deneyler sunuyor ve belirli yanıtları yönlendirmek için düzenleyici öğelerin karmaşık sözdizimini anlama ihtiyacını vurguluyor. Problem, her genomun bin baz çiftinden oluşan küçük parçalara bölündüğü ve bu baz çiftlerinin her birinin deneyden gelen bazı sinyallerle ilişkilendirildiği bir makine öğrenimi görevi olarak modellenmiştir.
  
  
• 00:30:00 Bu bölümde konuşmacı, çeşitli makine öğrenimi modellerini kullanarak dizileri skalere eşleyerek genetik bilgiyi özetlemeye yönelik geleneksel yaklaşımı tartışıyor. Bununla birlikte, tek nükleotid çözünürlüğündeki okuma kapsama profilleri, protein DNA etkileşimini yansıtan geometriler içerdiğinden, bu yaklaşım bilgi kaybına neden olur ve bu da yüksek çözünürlüklü ayak izleriyle sonuçlanır. Bu karmaşık ayrıntılar, bilgileri bir skalere özetlerken kaybolur. Bu sorunu çözmek için konuşmacı, verileri en temel çözünürlüğünde modelleyebilen yeni bir model oluşturma gereğini vurgular; bu, dizileme okumalarını genoma eşleyen ve her birinin kaç tane beş-asal bittiğini sayan evrişimli bir sinir ağı ile gerçekleştirilir. baz çifti üzerinde iki tel vardır. Daha sonra, sırayla başlayarak, profile doğru hareket eden ve profil modeline düz bir dizi ile sonuçlanan gerçek değerli okumalara bu çeviriyi yapan bir sinir ağı kullanırlar.
  
  
• 00:35:00 Bu bölümde konuşmacı, bir diziye düşen okuma sayılarını modellemek için kayıp fonksiyonlarının kullanımını ve bu okumaların baz çiftleri arasında nasıl dağıtıldığını açıklar. Her baz çiftinde okumaların kesin dağılımı için toplam sayımlar için ortalama karesel hata ve multinomial negatif log-olasılığın bir kombinasyonunu kullanırlar. Model, farklı proteinlerin çoklu okumaları için kullanılabilir ve çoklu görev modeli kullanılarak ayrı ayrı veya aynı anda takılabilir. Konuşmacı bu modeli, yüksek çözünürlüklü ayak izleriyle çip nexus deneylerini kullanarak fare embriyonik kök hücrelerindeki dört ünlü pluripotens transkripsiyon faktörüne uygular.
  
  
• 00:40:00 Bu bölümde, konuşmacı genomdaki güçlendiriciler hakkında tahminlerde bulunan modellerin doğruluğuna odaklanır; bu tahminler gürültü giderme, atama ve diğer faktörler nedeniyle gözlemlenen verilerden bazı gürültülere veya farklılıklara rağmen oldukça doğrudur. Modellerin genom çapındaki performansını değerlendirmek için iki ölçüm kullanırlar: Jensen-Shannon sapması ve tekrarlanan deneyler arasındaki benzerlik; birincisi, üst ve alt sınırlar sağlamak için hesaplanan ikincisinden daha iyi performans gösterir. Konuşmacı daha sonra, nöronların katmanlar ve nükleotitler arasındaki katkılarını yinelemeli olarak ayrıştırmak için DeepLift algoritmasını kullanarak yorumlama yaklaşımlarını açıklıyor ve dizinin hangi parçalarının dört transkripsiyon faktörünün her biri tarafından bağlanmayı yönlendirdiği konusunda yüksek çözünürlüklü yorumlar sağlayarak bir kombinatoryal sözdizimini ortaya koyuyor.
  
  
• 00:45:00 Bu bölümde konuşmacı, tüm genom boyunca model tarafından öğrenilen kalıpları özetlemek için kullanılan iki yöntemi tartışıyor. İlk yöntem olan Modisco, ilgilenilen bir protein tarafından bağlanan tüm dizileri alır ve her dizideki her bir nükleotit için derin kaldırma puanları çıkarır. Diziler daha sonra benzerliğe göre kümelenir ve fazlalık olmayan motiflere bölünür. İkinci yöntem, sözdizimine veya işbirlikçi bağlanmayı yönlendiren motiflerin üst düzey düzenlemelerine odaklanır. Nano motif örneğini kullanan sinir ağı, çekirdek bölgeyi çevreleyen önemli nükleotitleri tespit edebiliyor ve on buçuk baz çiftindeki periyodik kalıpları tam olarak tanımlayabiliyor, bu da nano'nun DNA'yı aynı tarafta meydana gelen bir şeyi içerecek şekilde bağladığını gösteriyor. DNA sarmalının.
  
  
• 00:50:00 Bu bölümde, konuşmacı on buçuk baz çiftinin katlarının tercih edilen aralığı aracılığıyla gösterilen DNA'daki esnek bir sözdizimi tercihini tartışıyor. Konuşmacı, modelin bu sözdizimini, genomda görülen sinyaldeki ince artışların varlığı yoluyla nasıl öğrenebildiğini, belirli sitelerle birlikte yerelleşmesine ve bağlanmayı sağlayan sözdizimini öğrenmesine izin vererek nasıl öğrendiğini gösterir. Konuşmacı ayrıca, iki motifin rastgele bir diziye gömüldüğü ve aralarındaki aralığın proteinlerin bağlanmasını tahmin etmek için değiştirildiği sentetik bir deney de dahil olmak üzere, sözdiziminin farklı proteinlerin bağlanmasını nasıl yönlendirdiği hakkında fikir edinmek için silico'da yürütülen deneyleri açıklamaktadır. gerçek güçlendiricilerin mutasyona uğradığı ve dört proteinin bağlanmasının etkilerinin model tarafından tahmin edildiği in silico CRISPR deneyi. Konuşmacı, sözdiziminin modelin üst katmanlarında öğrenildiğini not eder ve çıkarılmasının sözdiziminin tamamen ortadan kalkmasına neden olduğunu gösterir.
  
  
• 00:55:00 Bu bölümde konuşmacı, belirli motifleri silmenin etkilerini göstermek için OP4 ve nano ile bağlanan bir geliştirici kullanan sentetik bir deneyi açıklıyor. Model, motifleri silmenin etkilerini tahmin eder ve deneyler aynı etkiyi gösterir, böylece modelin tahminlerini doğrular. Konuşmacı, sözdiziminin TF işbirliğini nasıl etkilediğine dair biyolojik hikayeleri ortaya çıkaran yorumlama çerçevelerini kullanarak, genomik veriler dahil her türlü tahlili analiz edebilen bir model olan BPNet'i tanıtıyor. Modeller, yüksek çözünürlüklü CRISPR deneyleriyle doğrulanan tahminler yapabilir. Konuşma, konuşmacı ekibi ve Bowing Rosenthal laboratuvarı arasındaki bir işbirliği olan ATAC-seq ile epigenomik verilerin derin öğrenmeye dayalı olarak geliştirilmesine ilişkin yakın tarihli bir makalenin tartışılmasıyla sona eriyor.
  
  
• 01:00:00 Bu bölümde dizileme yoluyla kromatin erişilebilirliği kavramı açıklanmaktadır. Kapsama izindeki zirveler, genomun aktif düzenleyici bölgelerini temsil ederek, farklı hücre veya doku türlerinde aktif düzenleyici elemanların tanımlanmasına izin verir. Ataxi, tek hücre düzeyinde de gerçekleştirilebilir ve biyolojiye daha yüksek çözünürlük sağlar. Ancak, sıralama derinliği, numune hazırlama ve tek hücreli bir Ataxi deneyindeki hücre sayısı sonuçları etkileyebileceğinden, veri kalitesi bir sorun olabilir. Attack, bu sorunlardan bazılarını ele almak için geliştirilmiş bir derin öğrenme modeli olarak çalışır.
  
  
• 01:05:00 Bu bölümde, konuşmacı, gürültülü bir deneyden kapsama izini alan ve ataksik sinyali gürültüden arındırmak ve geliştirmek ve ayrıca tepe noktalarını veya erişilebilir konumları belirlemek için artık bir sinir ağı mimarisi kullanan AttackWorks aracını tartışıyor. kromatin siteleri. Model, tek boyutlu konvolüsyon katmanları ve genişlemiş konvolüsyonlar kullanır ve gürültüden arındırılmış kapsama izinin doğruluğunu ve pik konumlarının sınıflandırma doğruluğunu ölçen çok parçalı bir kayıp fonksiyonu içerir. Diğer modellerden farklı olarak AttackWorks, farklı hücre türleri arasında daha fazla aktarılabilir olmak için genom dizisi yerine yalnızca kapsama verilerini alır. Konuşmacı, modeli eğitmek için kullanılan basit eğitim stratejisini açıklar ve farklı insan hücre tiplerinde kullanımının örnek sonuçlarını gösterir.
  
  
• 01:10:00 Bu bölümde, konuşmacı, derin öğrenmenin, sinyali gürültüden arındırarak ve daha önce tanımlanması zor olan pikleri iyileştirerek düşük kapsamlı ATAC-seq verilerinin kalitesini iyileştirmek için nasıl kullanılabileceğini açıklıyor. Bir derin öğrenme modeli olan saldırının nasıl çalıştığına dair örnekler gösterirler, tepe noktalarını yakındaki gürültüden ayırt edebilir ve eğitim verilerinde bulunmayan yeni verilerde bile farklı hücre türlerindeki erişilebilir kromatinin konumunu doğru bir şekilde belirleyebilir. Ayrıca saldırı çalışmalarının, daha az sıralama için aynı kalitede sonuçlar üreterek deneylerin maliyetini nasıl azaltabileceğini tartışıyorlar. Ek olarak, arka plan gürültüsünü temizleyerek ve yüksek kaliteli verilerle yakından eşleşen zirveleri belirleyerek saldırı çalışmalarının düşük kaliteli ATAC-seq verilerini nasıl işleyebileceğini gösterirler. Son olarak, transkripsiyon başlangıç bölgeleri etrafındaki kapsamın zenginleşmesine bakarak saldırı çalışmalarının performansını ölçerler.
  
  
• 01:15:00 Bu bölümde, konuşmacı, tek hücreli ataksik verilerde küçük hücre popülasyonlarını incelemek için sınırlı yetenek sorununu ele almak için derin öğrenmenin nasıl uygulanabileceğini tartışıyor. Bol miktarda hücre tipinden rastgele bir hücre alt kümesi seçebilir ve bunları gürültülü bir sinyal almak için kullanabilirler. Daha sonra, birkaç hücreden gelen sinyali almak ve birçok hücreden gelen sinyalin ne olacağını tahmin etmek için gürültüyü gidermek için bir saldırı çalışması modeli eğitebilirler.
  gibi görünmek. Bu eğitilmiş modele sahip olduklarında, dizilenecek daha fazla hücre olsaydı verilerin nasıl görüneceğini tahmin etmek için bunu çok az sayıda hücreden oluşan küçük popülasyonlara uygulayabilirler. Bu yaklaşım, tek hücreli kromatin erişilebilirliğini inceleyebilecekleri çözünürlüğü önemli ölçüde artırır ve modellerin deneyler, hücre türleri ve hatta türler arasında aktarılabilir olduğunu gösterir.
  
  
• 01:20:00 Bu bölümde konuşmacı, hücrelerin lenfoid veya eritroid soyuna farklılaşabilen hematopoietik kök hücreler üzerinde tek bir hücre dizileme deneyini tartışıyor. Deney, tek hücre popülasyonunda heterojenliği ortaya çıkardı ve iki soydan birine farklılaşmaya hazırlanan hücrelerin alt popülasyonlarını belirledi. Ekip, sinyali gidermek ve soy hazırlama sürecini kontrol eden belirli düzenleyici öğeleri belirlemek için ATAC-seq'i kullandı. Projede yer alan ekibi tanırlar ve öğrencileri stajyerlik veya iş birliği için ulaşmaya davet ederler.

[MetaQuotes]

Düzenleyici Genomik İçin Derin Öğrenme - Düzenleyici bağlama, Transkripsiyon Faktörleri TF'ler - Ders 08 (Bahar 2021)

Düzenleyici Genomik İçin Derin Öğrenme - Düzenleyici bağlama, Transkripsiyon Faktörleri TF'ler - Ders 08 (Bahar 2021)

Video, düzenleyici genomik için derin öğrenmenin kullanımını tartışıyor ve DNA dizisinin, güçlendirici ve destekleyici bölgelerde bulunan farklı motifleri ve bunların 3B döngülerini nasıl ortaya çıkarabileceğine odaklanıyor. Video, Kromozom doğrulama yakalama (3C) teknolojisinin kromozomal organizasyonu nasıl inceleyebileceğini ve Hi-C teknolojisinin birbiriyle etkileşime giren topolojik olarak ilişkili alanları (TAD'ler) ve genomdaki bölme modelini nasıl tanımlayabildiğini açıklıyor. Farklı özellikleri veya motifleri tespit etmek için DNA dizisinin her konumuna evrişimli filtreler uygulanır ve derin öğrenme çerçevesi, çeşitli tahmin görevlerinin gerçekleştirilmesine olanak tanıyan DNA dizisinin ortak özelliklerini, filtrelerini ve motiflerini öğrenebilir. Video ayrıca çoklu görev öğrenmenin ne kadar faydalı olduğundan ve transkripsiyon faktörü motiflerinin çoklu yapı taşı temsillerini tanımak ve birleştirmek için derin öğrenme ağında ek katmanlar kullanmanın karmaşık motiflerin daha verimli tanınmasına izin verebileceğinden bahseder.

Bu videodaki konuşmacı, transkripsiyon faktörü bağlama ve gen ekspresyonu tahminine odaklanarak düzenleyici genomik için derin öğrenmenin kullanılmasını tartışıyor. Büyük DNA bölgelerini getirmek ve kromatin verileri ve gen ifadesi için çok görevli bir çerçevede tahminler yapmak için evrişim yapılarının ve genişlemiş evrişimlerin kullanımını araştırıyorlar. Konuşmacı ayrıca derin sinir ağlarını eğitmek için artık bağlantıların kullanımını ele alır ve modelin IC verilerini ve modellerini kullanarak 3B temasları nasıl tahmin edebileceğini açıklar. Genel olarak, derin öğrenme, genomik verileri analiz etmek ve yeterli veri ve doğru dönüşümlerle DNA dizisine dayalı tahminler yapmak için güçlü bir araç olabilir.

• 00:00:00 Bu bölümde, konuşmacı, gen düzenleyici genomun özelliklerini tahmin etmek için DNA dizisinin ve derin öğrenmenin kullanımını tartışıyor, güçlendirici ve destekleyici bölgeleri ve bunların 3B döngülerini oluşturan farklı motifleri ayırt etmeye odaklanıyor. Konuşmacı, daha sonra gen düzenleyici işlevi tahmin etmek için kullanılan her bir transkripsiyon faktörünün bağlanma özgüllüğünü belirlemek için konum ağırlık matrislerinin (PWM'ler) kullanımını açıklar. Kromatin immünopresipitasyon, genomdaki düzenleyici bölgelerin profilini çıkarmak için kullanılan bir teknoloji olarak da bahsedilmektedir.
  
  
• 00:05:00 Bu bölümde, konuşmacı üç boyutlu kromatin yapısını anlamanın farklı transkripsiyon faktörlerinin nereye bağlı olduğunu nasıl ortaya çıkarabileceğini açıklıyor. Çekirdek, bir hücredeki tüm DNA'yı içerir ve nükleer laminadan uzağa itilen ve çekirdeğin merkezine daha yakın olan aktif bölgelerle uzamsal olarak düzenlenir. Kromozom doğrulama yakalama (3C), DNA iplikçiklerini rastgele keserek ve ardından DNA'nın farklı bölümlerinin birbiriyle temas halinde olabileceğini görmek için bunları tekrar yapıştırarak kromozomal organizasyonu araştırmak için kullanılan bir tekniktir. Bu teknik, kromozomların aslında birbirleri üzerinde nasıl döngüye girdiğini ortaya çıkarabilir.
  
  
• 00:10:00 Bu bölümde, konuşmacı, farklı DNA parçalarının kesilip bağlanmasının, DNA bölümlerinin genomda nereye bağlandığını ve haritalandığını ortaya çıkaran kimerik moleküller oluşturmak için nasıl kullanılabileceğini açıklıyor. Araştırmacılar, bu kimerik bölgeleri sıralayarak ve analiz ederek, genomun üç boyutlu paketlenmesi ve farklı bölgelerin birbirleriyle nasıl etkileşime girdiği hakkında fikir edinebilirler. Konuşmacı, genomik bölgeler arasındaki etkileşimlerin analizine izin veren 3C, 4C, 5C ve ChIA-PET gibi çeşitli teknikleri ve belirli düzenleyiciler tarafından bağlanan bölgeleri seçici olarak incelemek için antikor bazlı yöntemlerin kullanımını tartışıyor.
  
  
• 00:15:00 Bu bölümde, konuşmacı Hi-C teknolojisinin nasıl çalıştığını ve genomun organize edilme biçimine ilişkin içgörüleri nasıl sağladığını açıklıyor. Hi-C teknolojisi, genom bölgelerine biyotinilasyon işaretleri eklemeyi ve daha sonra bu işaretleri aşağı çekerek onları sıralamayı içerir; bu, bilim adamlarının genomun iki bölgesinin birbiriyle nasıl etkileşime girdiğini belirlemesine olanak tanır. Ortaya çıkan resimler döngü bilgilerini gösterir ve köşegene yakın bölgelerin en çok etkileşime girdiğini ortaya çıkarır. Hi-C teknolojisi ayrıca, alanın dışından çok birbirleriyle etkileşime giren topolojik olarak ilişkili alanları (TAD'ler) ve bunların içindeki hiyerarşik etkileşim modellerini de tanımlar. Ek olarak, teknoloji, bölgelerin aynı türdeki bölgelerle daha fazla etkileşime girme eğiliminde olduğu bir dama tahtası deseni gösteriyor, bu da bilim adamlarının genomun sıkıştırılmasını ve organizasyonunu görselleştirmesine olanak tanıyor.
  
  
• 00:20:00 Bu bölümde, konuşmacı çekirdek içindeki farklı kromozomların bölgeselliğini ve genomdaki a'ya karşı b kompartıman modelini tartışıyor; merkeze daha yakındır. Konuşmacı ayrıca, içlerinde güçlü bir şekilde etkileşime giren ancak aralarında olmayan bölge grupları olan topolojik olarak ilişkili alanlardan da bahseder. Bu alanlardaki köşe zirveleri için geçerli olan model, bunların, düzenleyici CTFC ve kohezin için bir DNA döngüsünü iten bağlanma bölgelerini içeren bir döngü ekstrüzyon işlemi tarafından yaratılmış olmalarıdır.
  
  
• 00:25:00 Bu bölümde video, üst düzey kromatin yorumlama ve kromatin üç boyutlu katlamanın ilmek ekstrüzyon modelini açıklamaktadır; bu, bağlanma yerlerinin birbirine yaklaştırılmasını ve etkili bir şekilde büyüyen bir ilmek yoluyla DNA'yı itmesini içerir. Ardından video, düzenleyici motiflerin hesaplamalı analizini, derin öğrenmeden önce geleneksel yaklaşımları kullanarak ve aynı derin öğrenme metodolojisinin, DNA'nın tek sıcak kodlamasıyla görüntü analizi ve düzenleyici genomik için nasıl kullanılabileceğini tartışmaya devam ediyor. Bu metodoloji, ortak bir dizi modelini tanıma ve bu motifin örneklerini keşfetme arasında yineleme yaparak bir motif logosunu iyileştirmeyi içerir.
  
  
• 00:30:00 Bu bölümde konuşmacı, evrişimli filtrelerin derin öğrenme mimarisinde temsili öğrenmede nasıl kullanıldığını açıklıyor. DNA dizisi, her harf için dört farklı giriş kanalıyla bir sıcak kodlama temsiline dönüştürülür. Farklı özellikleri veya motifleri tespit etmek için DNA dizisinin her konumuna evrişimli filtreler uygulanır. Bu motifler daha sonra öğrenilir ve bir transkripsiyon faktörünün ikili olup olmadığını belirlemek gibi belirli bir görevi yerine getirmek için uygulanabilir. Konuşmacı, derin öğrenme çerçevesinin tüm bu evrişimli filtreleri öğrenebileceğini ve diğerlerinin yanı sıra katman sayısını, tahmin görevlerini, girdi-çıktı ilişkilerini değiştirebileceğini vurgular. Nihayetinde mimari, DNA dizisinin ortak özelliklerini, filtrelerini ve motiflerini çıkarabilir ve bunları dizinin bir temsilini öğrenmek için kullanabilir ve çeşitli tahmin görevlerinin gerçekleştirilmesine olanak tanır.
  
  
• 00:35:00 Bu bölümde, konuşmacı biyolojide nükleik asit dizileri üzerinde makine öğreniminin kullanımına bir giriş yapar. Dize çekirdekleri gibi makine öğreniminin daha önceki başarılı kullanımlarının eksikliklerini ve bunların k-merlerin uzamsal konumlandırmasını veya aralarındaki herhangi bir ilişkiyi nasıl hesaba katamadıklarını tartışıyor. Ardından konuşmacı, derin öğrenme yöntemlerinin potansiyel olarak bu sınırlamaların üstesinden gelebileceğini ve makine öğrenimi için DNA dizilerinin daha iyi temsil edilmesini sağlayabileceğini öne sürüyor.
  
  
• 00:40:00 Videonun bu bölümünde konuşmacı, görüntü analizinde kullanılan işleme benzer şekilde düzenleyici genomik için derin öğrenmede evrişim filtrelerini kullanma sürecini açıklıyor. Evrişim filtrelerinin ilk katmanı, sayısal bir temsil oluşturarak dizi boyunca taranan konum ağırlık matrislerini tanır ve ardından bir toplu normalleştirme işlemi uygulanır ve ardından negatif değerleri sıfıra ayarlayan doğrusal olmayan bir işlev uygulanır. Ardından, maksimum havuzlama işlemi, her bir filtre kanalı için bitişik konumların maksimum değerini almak için kullanılır. Daha sonra, transkripsiyon faktörleri ve bağlanma bölgeleri arasındaki ilişkileri öğrenmek için, aralarında havuzlama işlemleri olacak şekilde, evrişimli katmanlar model için birden çok kez uygulanır.
  
  
• 00:45:00 Bu bölümde konuşmacı, düzenleyici genomik için derin öğrenmede tahminler yapmayı tartışıyor. Nesneyi uzunluk ekseni boyunca daraltırlar ve tahminlerde bulunmak için tamamen bağlantılı bir katman çalıştırırlar. Konuşmacı daha sonra DNA aşırı duyarlılığına ve hücre türleri arasında erişilebilen birçok sitenin yanı sıra öğrenilmesi gereken birçok hücre tipine özgü tepe noktasının nasıl olduğuna dair bir örnek sunar. Eğitim, doğrulama ve test setleri, bu DNA aşırı duyarlılık testinden önemli bir sinyal olup olmadığına yönelik 164 ikili çağrıya bölünmüş iki milyon siteden oluşur. Konuşmacı, tüm evrişimlerin ve tamamen bağlantılı katmanların son doğrusal dönüşüm dışında tüm görevler arasında paylaşıldığı çoklu görev öğreniminin faydalarını tartışır. Bu ortak temsilin, her görev için ayrı modeller eğitmekten daha iyi sonuçlar verdiğini açıklıyorlar.
  
  
• 00:50:00 Bu bölümde sunum yapan kişiler, transkripsiyon faktörü chip-seq ve histon modifikasyon chip-seq gibi farklı hücre türleri ve analizleri içeren düzenleyici genomik için derin öğrenme modellerinde yer alan görevleri tartışıyorlar. Modelin, k-mer SVM'lerden daha esnek olan ve daha fazla şeyi temsil edebilen evrişimli sinir ağlarını kullandığını açıklıyorlar. Modelin ne yaptığını anlamak için evrişim filtrelerinden elde edilen konum ağırlık matrislerini analiz ederler ve bunları transkripsiyon faktörü bağlama bölgelerinin cisBP veri tabanıyla karşılaştırırlar. Filtrelerin, veri tabanı motiflerine benzer dizileri büyük ölçüde tanıdığını ve CTCF gibi önemli transkripsiyon faktörleri için çoklu filtre kullanımının erişilebilirliği tahmin etmek için çok önemli olduğunu belirtiyorlar.
  
  
• 00:55:00 Bu bölümde konuşmacı, CTCF gibi transkripsiyon faktörü motiflerinin çoklu yapı taşı temsillerini tanımak ve birleştirmek için derin bir öğrenme ağında ek katmanlar kullanmanın potansiyelini tartışıyor. Bu, karmaşık motiflerin daha verimli bir şekilde tanınmasına izin verebilir, ancak aynı zamanda her bir filtrenin tam yerini ve katkısını belirlemeyi zorlaştırabilir. Konuşmacı ayrıca, düzenleyici genomiklere yönelik bir derin öğrenme yaklaşımının sonuçlarının daha iyi yorumlanmasına yardımcı olabilecek, modeldeki farklı filtrelerin bilgi içeriği ve etkisi hakkında bilgi edinmek için gerçekleştirdikleri birkaç analizden de bahsediyor.
  
  
• 01:00:00 Videonun bu bölümünde konuşmacı, tahminlerde bulunmak için bilinen bir motifi kullanmayı ve dizi boyunca her bir nükleotidi mutasyona uğratarak transkripsiyon faktörü bağlanma bölgelerini incelemeyi tartışıyor. Konuşmacı daha sonra DNA'nın uzun bir bölgesindeki tüm elementlerin bir fonksiyonunu hesaplayarak transkripsiyonu ve gen ekspresyonunu tahmin etmeye yönelik yeni bir problemi tartışmaya geçer. Çözüm, evrişim yapılarını kullanmayı ve model için yaklaşık 100.000 nükleotit olan geniş bir dizi bölgesi getirmeyi ve ardından diziyi yaklaşık 128 baz çifti çözünürlüğüne getirmek için maksimum havuzlama yapmayı içerir. Buradaki zorluk, bilginin genom boyunca nasıl paylaşılacağıdır ve bunun için farklı modüller kullanılabilir. Tekrarlayan sinir ağlarının iş için en iyi araç olduğu varsayılmıştır.
  
  
• 01:05:00 Bu bölümde konuşmacı, uzun sekanslarda yavaş eğitim probleminden kaçınmak için tekrarlayan bir sinir ağı yerine kullandıkları dilate konvolüsyon adlı bir araçtan bahsediyor. Genişletilmiş evrişim, evrişime boşluklar eklemeyi ve onu genişletmeyi içerir, bu da alıcı alanın katlanarak büyümesine izin vererek, bir görüntüyü kaplamak için çok parametre verimli bir yönteme yol açar. Konuşmacı daha sonra, kromatin verileri ve gen ifadesi için çok görevli bir çerçevede tahminler yapmak için genişlemiş evrişimleri nasıl kullandıklarını tartışıyor. Ayrıca, derin sinir ağlarını eğitmek için yardımcı olabilecek artık bağlantılar veya atlama bağlantıları adı verilen ek bir teknikten de bahsediyorlar.
  
  
• 01:10:00 Bu bölümde konuşmacı, kendisinden önceki her şeyi yeniden öğrenmek zorunda kalmadan her katmanın yeni bilgileri öğrenmesini kolaylaştırmak için artık ağları kullanmayı tartışıyor. Bu, özellikle daha uzaktaki farklı konumlara bakan genişlemiş konvolüsyonlar için kullanışlıdır. Artık bağlantıyla zaten öğrendiklerini doğrudan aktararak, her konumun vektörüne yeni bilgiler ekleyebilir ve onu normalleştirebilir veya üstüne bir evrişim atabilirler. Artık bağlantıların sayısı, dizi sınırlarının dışına çıkmadan yeterince uzağa bakabilmeleri gerektiğinden, üzerinde çalışılan dizinin uzunluğuna bağlıdır.
  
  
• 01:15:00 Videonun bu bölümünde, konuşmacı 100.000'lik bir giriş dizisi için 5 ila 10 genişletilmiş evrişim katmanının kullanımını tartışıyor, ancak bunun dizinin ölçeğine veya bölme boyutuna bağlı olarak değişebileceğini belirtiyor. Bu durumda girdi, çeşitli veri kümelerinden gelen sürekli sinyaldir ve konuşmacı bunun gen ifadesi gibi kolayca ikili hale getirilemeyeceğini not eder. Konuşmacı, artı kayıp fonksiyonunun veriler için daha iyi çalıştığını belirtir ve modelin kalitesinin, önemli ölçüde değişebilen verilerin kalitesinden etkilendiğini belirtir. Konuşmacı, hastalıkla ilişkili SNP'lerdeki mutasyonlar için tahminler yapmak için modeli kullanmaktan ve hesaplamalı biyoloji araştırmalarını hastalık ilişkilerine bağlamanın öneminden kısaca bahseder. Son olarak konuşmacı, IC verilerini ve modellerini kullanarak 3B temasların tahminini kısaca ele alır.
  
  
• 01:20:00 Bu bölümde konuşmacı yüksek c verilerini tahmin yapmak için nasıl kullandıklarını açıklıyor. Veriler, x ekseni ve y ekseni boyunca nükleotitlerle iki boyutludur ve genomun o kısmı ile genomdaki başka bir kutu arasındaki temas frekansını temsil eder. Ortalama kare hata ve çoklu görev öğrenmeyi kullanan model, verileri tahmin edebilir. Ancak, gelen bir milyon nükleotid ile GPU bellek sınırlamaları bir sorun haline gelir. Çözüm, i konumu ve j konumu ortalamasını kullanarak derin öğrenme araçlarının analiz edebileceği bir 2B matris elde etmektir. 2B evrişimleri, genişletilmiş evrişimleri kullanarak ve her katmandan sonra matrisi yeniden simetrize ederek, model ana öğrenme faktörü olan ctcf ile tahminler yapabilir.
  
  
• 01:25:00 Bu bölümde David Kelley, DNA dizisi gibi temel girdileri analiz etmek ve transkripsiyon faktörü bağlanmasını tahmin etmek için düzenleyici genomikte derin öğrenmenin nasıl kullanılabileceğini örnek olarak CTCF kullanarak tartışıyor. Yeterli veri ve doğru dönüşümlerle, sinir ağı mimarileri başarılı bir şekilde öğrenebilir ve genomik verilere dayalı tahminler yapabilir. Sentetik veriler şu anda ana odak noktası olsa da, bu sunum derin öğrenmenin biyoloji ve genomikte uygulanabileceği yollara genel bir bakış sunuyor.