Yapay zeka 2020 - herhangi bir ilerleme var mı? - sayfa 52
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Transistörlerden bahsetmişken, analog kartın çalışması için bunların da değiştirilmesi gerekecek. Sonuçta, transistörler bitleri, yani "bir sayının parçacıkları" depolar, ancak TÜM sayıyı voltaj biçiminde (bir pil gibi) depolamak gerekli olacaktır, çünkü bir analog sayı akımın genliğidir ve bir kesinti değil.
Elementary: int: 8 bitlik 4 bayt = durumlarında (1 veya 0) kodlanmış 32 bit dijital bilgi, 4 milyarın üzerinde bir değer alanı verir. Bu analog forma dönüştürülürse, sinyalin genlik (voltaj) doğruluğu ondalık noktadan sonra 9 sıfır olmalıdır, aksi takdirde iletilen/alınan sinyal orijinal sayıyı bozacaktır.
22nm kristalde nasıl yapılır - hayal edemiyorum, zaten orada her şey yolunda - kesmek imkansız ...
Bu yüzden kendilerinin yazdığı gibi yüksek doğruluk olmayacak.
Izgaralar zaten program yazabilir
GPT-3 hakkında çevrilmiş genel bilgiler: (çeviri hataları var)
Vikipedi:
Generative Pretrained Transducer 3 (GPT-3), insan benzeri metinler oluşturmak için derin öğrenmeyi kullanan otoregresif bir dil modelidir. Bu, San Francisco'daki bir yapay zeka araştırma laboratuvarı olan OpenAI tarafından oluşturulan GPT-n serisinden üçüncü nesil bir dil tahmin modelidir. [2] GPT-3'ün tam sürümü, önceki GPT-2'den iki kat daha fazla olan 175 milyar makine öğrenme parametresi kapasitesine sahiptir. [1]:14 Mayıs 2020'de tanıtılan ve Temmuz 2020'den beri beta testinde olan GPT-3. [3], "önceden eğitilmiş dil temsillerinin" doğal dil işleme (NLP) sistemlerindeki bir eğilimin parçasıdır. [1] GPT-3'ün piyasaya sürülmesinden önce, en büyük dil modeli, Microsoft'un Şubat 2020'de tanıtılan ve GPT-3'ten on kat daha az bant genişliği ile Turing NLG'siydi. [4]
GPT-3 ile oluşturulan metnin kalitesi o kadar yüksektir ki, hem faydaları hem de riskleri olan insan yazılı metinlerinden ayırt etmek zordur. [4] Otuz bir OpenAI araştırmacısı ve mühendisi, 28 Mayıs 2020'de GPT-3'ü tanıtan bir kaynak belge sundu. Makalelerinde, GPT-3'ün potansiyel tehlikeleri konusunda uyardılar ve riski azaltmak için araştırma yapılması çağrısında bulundular. [1]:34 Avustralyalı bir filozof olan David Chalmers, GPT-3'ü “şimdiye kadar yaratılmış en ilginç ve önemli AI sistemlerinden biri” olarak tanımladı. "[5] GPT-3 web siteleri oluşturabilir, soruları yanıtlayabilir ve ilaçları reçete edebilir.[6]
The Economist'e göre, geliştirilmiş algoritmalar, güçlü bilgisayarlar ve sayısallaştırılmış verilerdeki artış, makine öğreniminde bir devrimi ateşledi ve 2010'larda dilin manipülasyonu da dahil olmak üzere “görevlerde hızlı iyileştirmeye” yol açan yeni yöntemlerle [7]. Yazılım modelleri, "beynin nöral mimarisine gevşek bir şekilde dayanan bir çerçeve içinde" binlerce veya milyonlarca örnek kullanılarak eğitilir. [7] Doğal dil işlemede (NLP) en yaygın olarak kullanılan mimari sinir ağıdır. [8] İlk olarak 2017'de tanıtılan bir derin öğrenme modeli olan trafo makine öğrenimi modeline dayanmaktadır. [8] GPT-n modelleri, bu derin öğrenme sinir ağı mimarisine dayanmaktadır. Soruları işleyebilen, analiz edebilen, düzenleyebilen, bağlayabilen, karşılaştırabilen, anlayabilen ve sorulara yanıt üretebilen bir dizi NLP sistemi vardır [9].
Öykü:
11 Haziran 2018'de OpenAI araştırmacıları ve mühendisleri, üretken ön eğitim olarak adlandırdıkları bir süreçte veri kümeleri kullanılarak çok büyük ve çeşitli bir metin topluluğu ile önceden eğitilebilen üretken modeller - dil modelleri - yapay zeka sistemleri - hakkındaki orijinal makalelerini yayınladılar. . eğitim (GP). [10] Yazarlar, dönüştürücü-n üretici ön eğitimde (GPT-n) doğal dil işleme (NLP) dil anlama puanlarının “bir dil modelinin etiketlenmemiş çeşitli korpuslar üzerinde üretici ön eğitimi” süreci aracılığıyla nasıl geliştirildiğini açıkladılar. metin, ardından her bir özel görev için ayrımcı ayarlama. Bu, insan denetimi ve zaman alıcı manuel etiketleme ihtiyacını ortadan kaldırdı [10].
Şubat 2020'de Microsoft, o zamanlar "17 milyar parametreyle şimdiye kadar yayınlanan en büyük dil modeli" olan Turing Natural Language Generation'ı (T-NLG) tanıttı. [11] Metinleri özetlemek ve soruları yanıtlamak gibi çeşitli görevlerde diğer tüm dil modellerinden daha iyi performans gösterdi.
Fırsatlar:
31 OpenAI mühendisi ve araştırmacısından oluşan bir grup tarafından 28 Mayıs 2020 arXiv ön baskısı, GPT-3 [1] [4] veya üçüncü nesil bir dil olan Generative Pretrained Transformer 3 adlı bir "son teknoloji dil modelinin" geliştirilmesini anlatıyor modeli. Ekip, GPT-3'ün kapasitesini öncülü GPT-2'ye göre iki kattan fazla artırmayı başardı ve GPT-3'ü bugüne kadarki en büyük seyrek olmayan dil modeli haline getirdi. [1]: 14 [2] Daha fazla GPT-3 parametresi, daha düşük kapasiteli önceki sürümlerden daha yüksek düzeyde doğruluk sağlar. [12] GPT-3, Microsoft Turing NLG'den on kat daha yeteneklidir. [4]
GPT-3 için ağırlıklı ön eğitim veri kümesinin yüzde altmışı, 410 milyar bayt çift kodlu belirteçlerin filtrelenmiş bir Ortak Tarama sürümünden gelir. [1]: 9 Diğer kaynaklar - %22 ağırlıklı miktar olan WebText2'den 19 milyar jeton, Kitap1'den 12 milyar jeton, %8 olan Kitap2'den 55 milyar jeton ve Wikipedia'dan 3 milyar jeton. yani %3. [1]: 9 GPT-3 yüz milyarlarca kelimeyle eğitilmiştir ve CSS, JSX, Python ve daha fazlasını kodlama yeteneğine sahiptir.[3] GPT-3 eğitim verileri kapsamlı olduğu için daha fazlasına gerek duymadı. çeşitli dil görevlerini yerine getirmek için eğitim. [3]
11 Haziran 2020'de OpenAI, kullanıcıların OpenAI'nin bu yeni teknolojinin "güçlü ve zayıf yönlerini öğrenmesine" yardımcı olacak bir "makine öğrenimi araç seti" olan kullanıcı dostu GPT-3 API'sine erişim talep edebileceklerini duyurdu [13][14]. ] Davet, API'yi, olağan tek kullanımlık durum yerine neredeyse "her türlü İngilizce görevini" yerine getirebilecek genel bir "metin giriş-çıkış" arayüzüne sahip olarak tanımladı. [13] OpenAI GPT-3 API'sinin kapalı bir erken sürümüne erişimi olan bir kullanıcıya göre, GPT-3 sadece birkaç basit komutla "şaşırtıcı derecede tutarlı metin" yazmada "ürkütücü derecede iyidir" [15].
GPT-3, “insan değerlendiricilerinin insan tarafından yazılmış makalelerden ayırt etmesi zor olan haber makaleleri üretebildiğinden” [4], GPT-3 “dil modellerinin hem faydalı hem de zararlı uygulamalarını teşvik etme potansiyeline” sahiptir [1]: 34 28 Mayıs 2020 tarihli bir makalesinde, araştırmacılar, "yanlış bilgi, istenmeyen e-posta, kimlik avı, yasal ve resmi süreçlerin kötüye kullanılması, sahte akademik makale yazma ve sosyal medyayı içeren GPT-3'ün olası zararlı etkilerini" [4] ayrıntılı olarak açıkladılar. mühendislik bahaneleri." "[1]. Yazarlar, risk azaltma araştırması çağrısı yapmak için bu tehlikelere dikkat çekiyor. [1]:
OpenAI'nin yeni GPT-3'ü
OpenAI tarafından geliştirilen yeni AI modellerine erişmek için bir API yayınlıyoruz. Tek bir kullanım durumu için tasarlanmış çoğu yapay zeka sisteminin aksine, bugün API, kullanıcıların hemen hemen tüm İngilizce görevlerinde denemelerine olanak tanıyan evrensel bir metin giriş - çıkış arabirimi sağlar. Artık API'yi ürününüze entegre etmek, tamamen yeni bir uygulama geliştirmek veya bu teknolojinin güçlü ve zayıf yönlerini keşfetmemize yardımcı olmak için erişim talep edebilirsiniz.
Herhangi bir metin isteği için API, belirttiğiniz kalıpla eşleşmeye çalışan bir metin tamamlama döndürür. Ne yapmak istediğinize dair sadece birkaç örnek göstererek onu "programlayabilirsiniz"; başarısı genellikle görevin ne kadar zor olduğuna bağlı olarak değişir. API ayrıca sağladığınız (küçük veya büyük) veri kümeleri üzerinde eğitim vererek veya kullanıcılardan veya geliştiricilerden gelen sonuçları inceleyerek belirli görevler için performansta ince ayar yapmanıza da olanak tanır.
Makine öğrenimi ekiplerini daha üretken hale getirmek için kullanımı kolay ve esnek olması gereken bir API tasarladık. Aslında, ekiplerimizin çoğu artık API'leri kullanıyor, böylece dağıtılmış sistem sorunları yerine makine öğrenimi araştırmalarına odaklanabiliyorlar. Bugün API, GPT-3 ailesinden birçok hız ve verim iyileştirmesiyle ağırlık modellerini piyasaya sürüyor. Makine öğrenimi çok hızlı bir şekilde gelişiyor ve kullanıcılarımızı güncel tutmak için teknolojimizi sürekli olarak güncelliyoruz.
Bu alandaki ilerleme hızı, genellikle hem olumlu hem de olumsuz AI'nın beklenmedik yeni uygulamalarının olduğu anlamına gelir. Taciz, istenmeyen e-posta, radikalleşme veya halı saha turları gibi bilinen kötü niyetli kullanım durumları için API erişimini durduracağız. Ancak, bu teknolojinin tüm olası sonuçlarını öngöremeyeceğimizi de biliyoruz, bu nedenle bugün genel beta yerine özel bir beta yayınlıyor, kullanıcıların API'miz tarafından döndürülen içeriği daha iyi kontrol etmesine yardımcı olacak araçlar geliştiriyor ve araştırıyoruz. güvenlik sorunları. dil teknolojisinin yönleri (analiz, azaltma ve zararlı önyargıların kaldırılması gibi). Kullanıcılarımızın ve daha geniş toplulukların daha fazla insan yapay zeka sistemi kurabilmesi için öğrendiklerimizi paylaşacağız.
API, misyonumuzun maliyetlerini karşılamamıza yardımcı olan bir gelir kaynağı olmasının yanı sıra, teknolojiyi ilerletmek, kullanımını sağlamak ve gerçek dünyadaki etkisini göz önünde bulundurmak gibi genel amaçlı AI teknolojisine odaklanmamızı sağladı. API'nin faydalı AI ürünleri üretmenin önündeki engeli önemli ölçüde azaltacağını ve bugün hayal edilmesi zor olan araçlara ve hizmetlere yol açacağını umuyoruz.
API'yi öğrenmekle ilgileniyor musunuz? Özel betamızda Algolia, Quizlet ve Reddit gibi şirketlere ve Middlebury Enstitüsü gibi kuruluşlardan araştırmacılara katılın.
GPT-3'ü bugün denemek istiyorsanız, OpenAI tarafından beyaz listeye alınmak için başvuruda bulunmanız gerekir. Ancak bu modelin uygulamaları sonsuz görünüyor - sözde onu düz İngilizce bir SQL veritabanını sorgulamak, otomatik yorum kodu, otomatik kod oluşturmak, modaya uygun makale başlıkları yazmak, viral tweet'ler yazmak ve daha fazlası için kullanabilirsiniz.
Peki bu inanılmaz modelin kaputunun altında neler oluyor? İşte içeriye (kısa) bir bakış
GPT-3, sinir ağı tabanlı bir dil modelidir. Dil modeli, dünyada var olan bir cümlenin olasılığını tahmin eden bir modeldir. Örneğin, bir dil modeli, "Köpeğimi yürüyüşe çıkarırım" ifadesini, "Muzumu yürüyüşe çıkarırım" ifadesinden daha olası olarak (yani İnternette) belirtebilir. Bu, cümleler için olduğu kadar tümceler için ve daha genel olarak herhangi bir karakter dizisi için de geçerlidir.
Çoğu dil modeli gibi, GPT-3 de etiketlenmemiş bir metin veri kümesi üzerinde zarif bir şekilde eğitir (bu durumda, eğitim verileri diğerlerinin yanı sıra Common Crawl ve Wikipedia'yı içerir). Sözcükler veya ifadeler metinden rastgele çıkarılır ve model bunları bağlam olarak yalnızca çevreleyen sözcükleri kullanarak doldurmayı öğrenmelidir. Bu, güçlü ve çok yönlü bir modelle sonuçlanan basit bir öğrenme görevidir.
GPT-3 modelinin mimarisi, bir transformatöre dayalı bir sinir ağıdır. Bu mimari yaklaşık 2-3 yıl önce popüler hale geldi ve popüler BERT NLP modelinin temeli ve GPT-3'ün öncülü GPT-2 oldu. Mimari olarak konuşursak, GPT-3 aslında çok yeni değil!
Onu bu kadar özel ve büyülü yapan nedir?
O gerçekten büyük. Gerçekten büyük demek istiyorum. 175 milyar parametre ile şimdiye kadar yapılmış en büyük dil modelidir (en yakın rakibinden çok daha büyük!) ve herhangi bir dil modelinin en büyük veri kümesi üzerinde eğitilmiştir. Görünüşe göre, GPT-3'ün bu kadar etkileyici bir şekilde akıllı ve kulağa insan gibi gelmesinin ana nedeni bu.
Ama işte gerçekten büyülü kısım. GPT-3, büyük boyutu sayesinde, herhangi bir özel yapılandırma olmadan başka hiçbir modelin (iyi) belirli görevleri gerçekleştiremediğini (iyi) yapabilir. GPT-3'ten bir çevirmen, programcı, şair veya ünlü bir yazar olmasını isteyebilirsiniz ve bunu 10'dan az eğitim sağlayan kullanıcısının (sizin) yardımıyla yapabilir. Kahrolası.
GPT-3'ü makine öğrenimi uygulayıcıları için bu kadar heyecan verici yapan da budur. Diğer dil modelleri (BERT gibi), ona nasıl tercüme edileceğini öğretmek için binlerce (diyelim ki) Fransızca-İngilizce cümle çifti örneği topladığınız karmaşık bir ince ayar adımı gerektirir. BERT'yi belirli bir göreve uyarlamak için (örneğin, çeviri, genelleme, istenmeyen posta algılama, vb.), dışarı çıkıp büyük bir eğitim veri kümesi (binlerce veya on binlerce örnek düzeyinde) bulmanız gerekir. hantal veya hantal. bazen imkansız, göreve bağlı olarak. GPT-3 ile bu ince ayar adımını yapmanız gerekmez. Bu onun özüdür. İnsanları GPT-3'e çeken şey budur: eğitim verileri olmadan özelleştirilebilir dil zorlukları.
GPT-3 bugün özel beta sürümünde, ancak elime geçmesi için sabırsızlanıyorum.
Bu makale, Austin, Teksas merkezli Google'da Uygulamalı Yapay Zeka Mühendisi olan Dale Markowitz tarafından yazılmıştır ve burada makine öğrenimini yeni alanlara ve sektörlere uygulamak için çalışmaktadır. Ayrıca, AI ile hayatının sorunlarını çözmekten zevk alıyor ve bunun hakkında YouTube'da konuşuyor.
Dürüst olmak gerekirse, bu GPT-3'ten ofigel. Havalı şey.))))
Ancak, çok daha havalı bir şey olacak ve yakında. Niye ya? Çünkü GPT-3 verimlilik açısından çok verimsiz.
Hiçbirimiz interneti tarayarak kafamıza milyarlarca kelime kombinasyonunu cümle içinde doldurmadık, ancak aynı zamanda kitap yazabilir, mantıklı ve eleştirel düşünebilir ve ölçülemeyecek kadar karmaşık ve belirsiz görevleri çözebiliriz. Nasıl?
İnsan öğrenimi, bilginin özümsenmesi ve işlenmesinin farklı bir düzeyidir. GPT-3'ün içinde bir şey yok, sanki sırt, mimari, dahili motor gibi ... ve başka ne olduğu hala belli değil ...
Bu ağı eğitme yaklaşımı, insan eğitimi ile karşılaştırıldığında kusurlu ve tam olarak ne olduğunu bulmanız gerekiyor.
Dürüst olmak gerekirse, bu GPT-3'ten ofigel. Havalı şey.))))
algoritmalarda yeni bir şey yoktur, ancak güç, modellerin yeni olasılıklarını ve kalite düzeylerini verir. 175 yard 5000 kelime değil))))
algoritmalarda yeni bir şey yoktur, ancak güç, modellerin yeni olasılıklarını ve kalite düzeylerini verir. 175 yard 5000 kelime değil))))
İşin aslı, algoritmalar hakkında yeni bir şey duymadım. Tüm bu eğitim ağları yöntemleri zaten olmuştur - fark sadece ölçektedir.
Videolu çalışma örnekleri bulmaya çalıştım ve beni etkileyen şu oldu: https://twitter.com/sharifshameem
Bu şey, kısmi işlevsellik ile birlikte sözlü bir açıklamadan bir arayüz oluşturur. İlk başta saçmalık diye düşündüm ama yakından bakınca yanıldığımı anladım. Ancak, olasılıkların sınırlarını tam olarak anlayamadı.
GPT-3'ün yapabileceklerinin sınırları belirsizdir.