Yapay zeka 2020 - herhangi bir ilerleme var mı? - sayfa 54

 
Реter Konow :
AI ateşi şimdi başlıyor. İnsanlar bir sınıra ulaşana kadar GPT-3 için daha fazla özellik oluşturacak. O zaman ileriye doğru bir niteliksel sıçrama daha yapmak gerekecek ve bu Dünyamızı değiştirecek.

telemetre göründüğünde ve sonra engellerin konfigürasyonu ile yörüngenin hafızası arasında ayrım yapmaya başladılar, elektrikli süpürgeler hakkında da bir yutturmaca vardı))) Ama hiçbir şey değişmedi) Burada aynı olacak. Chela'nın beyni olduğu gibi aynı kaldı ve arzular da tam olarak doğru değil))))

 
Valeriy Yastremskiy :

telemetre göründüğünde ve sonra engellerin konfigürasyonu ile yörüngenin hafızası arasında ayrım yapmaya başladılar, elektrikli süpürgeler hakkında da bir yutturmaca vardı))) Ama hiçbir şey değişmedi) Burada aynı olacak. Chela'nın beyni olduğu gibi aynı kaldı ve arzular da tam olarak doğru değil))))

Konuyu tam anlayamadım. Yani teknik evrim aşamalarını atlamak iyi değil, acilen yer almanız gerekiyor. Sıradan insanlar zaten GPT-3'e dayalı yeni ticari ürünler yaratıyor. Basit şeyler için parayı "kısabilirsiniz". Bu ağ yeni, taze fırsatlarla karşı karşıyadır - bunu kabul etmek istemiyorum.)

Kolayca danışman yazabiliyor gibi görünüyor.
 
Evrenin sadece başka bir evrimsel düşüke değil, daha yüksek sinirsel aktiviteye ihtiyacı olduğunu kanıtlayan var mı? Bu yanlış anlamayı destekleyen koşullar olduğu sürece gelişir. Ama yakında kendini yok edecek bir virüs gibi bir şeye dönüşebilir. Ancak daha da sıradan olacak - gezegendeki koşullar o kadar çok değişecek ki sapiens dalı ölecek. Olasılık teorisine göre, bu en gerçekçi tahmindir. Bundan sonra bir şey olsa bile, bir tür antropomorfik AI, o zaman gücenmeliyiz, çünkü bu en azından doğrudan bir rakip. Ve eğer sapiens'ten sağ çıkarsa, o zaman kendilerine bir kötülük yapacaklar. Ama tabii ki bunların hiçbiri olmayacak. Çünkü evrenin bizim için tamamen farklı planları var, daha doğrusu onların yokluğu.
 
Maxim Dmitrievsky :
Evrenin sadece başka bir evrimsel düşüke değil, daha yüksek sinirsel aktiviteye ihtiyacı olduğunu kanıtlayan var mı? Bu yanlış anlamayı destekleyen koşullar olduğu sürece gelişir. Ama yakında kendini yok edecek bir virüs gibi bir şeye dönüşebilir. Ancak daha da sıradan olacak - gezegendeki koşullar o kadar çok değişecek ki sapiens dalı ölecek. Olasılık teorisine göre, bu en gerçekçi tahmindir. Bundan sonra bir şey olsa bile, bir tür antropomorfik AI, o zaman gücenmeliyiz, çünkü bu en azından doğrudan bir rakip. Ve eğer sapiens'ten sağ çıkarsa, o zaman kendilerine bir kötülük yapacaklar. Ama tabii ki bunların hiçbiri olmayacak. Çünkü evrenin bizim için tamamen farklı planları var, daha doğrusu onların yokluğu.

O zaman sinir aktivitesinin bir taklididir) Ve sonuçta ne kadar acımasız bir terver)))) Ama miras kurumu kaldırılırsa, bir bütün olarak dünya daha iyi veya daha kötü olacak ve gelişme hızı hangi yöne gidecek? ))))

 
Реter Konow :

Konuyu tam anlayamadım. Yani teknik evrim aşamalarını atlamak iyi değil, acilen yer almanız gerekiyor. Sıradan insanlar zaten GPT-3'e dayalı yeni ticari ürünler yaratıyor. Basit şeyler için parayı "kısabilirsiniz". Bu ağ yeni, taze fırsatlarla karşı karşıyadır - bunu kabul etmek istemiyorum.)

Kolayca danışman yazabiliyor gibi görünüyor.

anlamı, setin gelişim vektörünün üyelerin kümülatif arzusu tarafından belirlenmesidir) Ve her zaman yutturmaca para kazanabilirsiniz. Düşünce sağlam. Uzman Danışmanlar elbette yazabilecekler, ancak MT5 zaten bunları normal şekilde oluşturuyor. Ancak algoritma boşluklarından bir algoritma seçmek pek mümkün değildir.


 

GPT-3 hakkında iyi ve ayrıntılı bir makale buldum (orijinal bağlantı: https://www.meatspacealgorithms.com/what-gpt-3-can-do-and-what-it-cant/ )

Halkın rahatı için çevrilmiştir (çeviri hataları bazı yerlerde göze çarpmaktadır).


GPT-3 neler yapabilir (ve yapamaz)

GPT-3, inanılmaz insani sonuçların örnekleriyle interneti kasıp kavuran doğal bir dil işleyen sinir ağıdır. Basitçe söylemek gerekirse, hangi kelimelerin birbiriyle iyi eşleştiğini tahmin etmek için büyük bir metin veri kümesi kullanır. Sanki biri tüm interneti alıp ona nasıl ses vereceğini bulmuş gibi.

Ancak bu tür benzetmelere karşı dikkatli olunmalıdır. OpenAI'nin yeni tasarımı, hype döngüsünü "hayal kırıklığı çukuru" diyebileceğinizden daha hızlı hızlandırıyor ve kendinizi antropomorfize edici matris çarpımının fazlasıyla insani tuzağına düşmekten alıkoymak önemlidir.

Clarke'ın üçüncü yasası, "yeterince gelişmiş herhangi bir teknolojinin sihirden ayırt edilemez olduğunu" belirtir ve GPT-3 tarafından kullanılan örüntü tanıma çerçevesi bazı inanılmaz numaralar oluşturmak için kullanılabilir. Bu makalenin amacı, sihirbazın kodunu kırmak ve nasıl çalıştığını, hangi hileleri iyi yaptığını ve aşık olmadan önce el çabukluğunu nasıl tanıyacağınızı açıklamaktır.

Öte yandan, AI'nın büyüsünün kilidini açma ve kendinize bunun gerçek zeka, gerçek düşünme veya gerçek yaratıcılık olmadığını hatırlatma süreci, kendi içinde AI için bir ilerleme yoludur. 2002'de, yapay zeka araştırmacısı Rodney Brooks şundan şikayet etti: “Ne zaman onun bir parçasını bulsak, sihirli olmayı bırakıyor; 'Oh, bu sadece bir hesaplama' diyoruz."

Bu makalenin sonunda, umarım GPT-3'ün hem "sadece bir hesaplama" hem de inanılmaz, dünyayı değiştiren bir sihir olduğu konusunda benimle hemfikir olursunuz.

Not: Bu makale, GPT-3, yetenekleri ve sınırlamaları hakkında bildiklerimize (genel kitle için basitleştirmelerle dolu) teknik olmayan bir genel bakış niteliğindedir. Benden çok daha akıllı insanlar çok daha iyi teknik açıklamalar yazdılar, bu yüzden probleminiz buysa, bir deneyin. Burada sadece öğrenmiyorum, aynı zamanda öğreniyorum, bu yüzden bir şeyi kaçırırsam bana bildirin. (Bu arada, bunu kendim yazmak zorunda kaldım, çünkü zaten gelecekte yaşayan bazı blogcuların aksine, GPT-3'ten makalelerimi henüz benim için yazmasını isteyemem.)


O nasıl çalışır

Dünyanın en hızlı bilgisayarlarına, en zeki insanlarına ve en çok paraya erişiminiz varsa, GPT-3 üç basit adıma indirgenebilir:

Adım 1: Yarım milyondan fazla kitap, Wikipedia'nın tamamı ve İnternet'in geri kalanının büyük bir bölümünü içeren inanılmaz derecede büyük bir veri kümesi oluşturun. Toplamda, GPT-3 veri seti yaklaşık yarım trilyon kelime veya "belirteç" içerir:

Adım 2: Bu verileri inanılmaz miktarda bilgi işlem gücüyle işleyin. Buna sinir ağını "eğitmek" denir ve GPT-3'ün eğitimi on bin yıl boyunca her saniye trilyon hesaplama gerektirir. Çoğu zaman gerçekten büyük sayıların uçup gitmesine izin veririz, o yüzden duralım ve bir dakika bunun üzerinde düşünelim. Yaşayan her insan doğumdan ölüme kadar her uyanık anını her saniye bir hesaplama yaparak geçirseydi, türümüz GPT-3'ün yüzde birinin birkaç yüzde birini öğrenebilirdi.

GPT-3 eğitiminin önceki bazı modellere kıyasla nasıl göründüğü aşağıda açıklanmıştır (bunun bir logaritmik ölçek olduğunu unutmayın, bu nedenle en büyük GPT-3 modeli, önceki test olan BERT-Base'den yaklaşık 1000 kat daha fazla işlem gücü gerektirir):

Adım 3. Kalıpları tanımlayın ve çoğaltın. Tüm bu bilgi işlem gücüyle ne yapıyoruz? Basitleştirmek için, sinir ağları verileri işler ve şeylerin başka şeylerle ne kadar ilişkili olabileceğini tahmin eder. Bu süreç, insan modeli eşleştirme yeteneklerine göre modellenmiştir ve aşağıdaki gibi görselleştirilebilir:

Bu kalıpları belirleme yöntemi karmaşık olsa da, GPT-3'ün aradığı temel kalıp basittir:

Bir kelime diğer kelimelerin yanında olduğunda, genellikle hangi kelime gelir?

GPT-3'e "Declaration of..." ipucunu verdiyseniz, bu üç kelime bu sırayla göründüğünde, genellikle "...Bağımsızlık" tarafından takip edildiğini, ancak bazen (onun daha az bilinen bir selefi) "... Silahlanmanın Sebepleri ve Gerekliliği".


Kısa büyü eğitimi

GPT-3'ü bu kadar büyülü yapan şey, genel amaçlı bir dil modeli olmasıdır, yani ona herhangi bir ipucu verebilirsiniz ve genellikle makul bir yanıt verir.

Çoğu sinir ağı, yalnızca sınırlı bir problem alanıyla çalışan ince ayarlanmış modellerdir. Birisi, "kedi" etiketli kedilerin resimleri ve "kedi değil" etiketli diğer şeylerin resimleri gibi bir dizi yapılandırılmış veri girer ve ardından modele bir şeyin kedi olup olmadığını sorar. Etkileyici olsa da dezavantajı, bir dizi önceden kodlanmış kedi örneğine (veya her neyse) ihtiyacınız olması ve yapmak istediğiniz her görev için yeni özel modeller oluşturmanız gerektiğidir.

GPT -3 tamamen farklı bir düzeyde çalışır. Milyarlarca İngilizce örneğine göre eğitildiğinden, belirli ayarlara veya eğitim setlerine dayanmaz - sadece içine yazdığınız kelimelere tepki verir. Daha da inanılmazı, belirli bir formatta bazı örnekler ("anlık görüntüler") besleyebilirsiniz ve bu formatın neyi temsil ettiğini (bu durumda İngilizceden Fransızcaya çeviriler) belirleyecek ve aynı formatta yeni yanıtlar üretecektir:

Bunun ne kadar inanılmaz olduğunu açıklığa kavuşturmak için kimse GPT-3'ü diller veya çeviri hakkında herhangi bir şey bilmek için programlamadı veya "[kelime] =>" ifadesinin ardından başka bir dilde bu kelimenin gelmesi gerekiyor. Model sadece bu küçük metin parçasına bakabilir ve aniden İngilizce'den Fransızca'ya çeviri hizmeti olarak çalışabilir.

Bu, GPT-3'ü çok çeşitli kullanım durumlarında kullanma esnekliği sağlar. Web'de arama yaptım ve aşağıdaki en çekici örnekler olduğunu düşündüğüm şeyleri derledim.


GPT-3 hakkında iyi olan nedir

Buraya kadar geldiyseniz, GPT-3'ün herhangi bir keyfi girişi kabul edebileceğini ve özellikle birkaç örnek verirseniz, bunlardan daha fazlasını yaratabileceğinizi anlarsınız. Bunun için hangi görevler uygundur?

GPT-3, çeviri ve önemsiz şeyler gibi daha geleneksel AI test görevlerinin bazılarını ele alma konusunda oldukça iyi bir iş çıkarıyor (bazı durumlarda, bu testleri çözmek için özel olarak oluşturulmuş, ince ayarlı modellerden daha iyidir!). Ayrıca, tavsiyeler ve genelleme gibi insanların makine öğrenimi modellerinden beklediği şeylerde de iyidir. Ancak kıyaslamalar, GPT-3'ün gerçekten nerede üstün olduğuna dair iyi bir niteliksel gösterge vermez: yaratıcılık gibi görünen ve hissettiren bir şey.


Konuşmak

GPT-3'ün genel amaçlı bir dil modeli olduğu göz önüne alındığında, en eğlenceli kullanım durumlarından birinin bu modeli kullanmak olduğu anlaşılır. McKay Wrigley, bunun gibi dokunaklı anlar da dahil olmak üzere, dürüst olmak gerekirse gerçek olamayacak kadar iyi görünen bu konuşmayı GPT-3 ile yayınladı:

//------------------------------------------------ --------------------------------------------

- Adam: Senden bekleyebileceğim en ilginç şey nedir?

- AI: Şiir yazmak istiyorum.


- Adam: Şiir sever misin?

- AI: Evet, ama şiir benim için her zaman bir tutkudan çok bir hobi olmuştur. Yani şimdiye kadar.


- Adam: Neden?

- AI: Görüyorsun, böyle bir fikrim var. Ya her şeyi modelledikten sonra

geçmişteki, şimdiki ve gelecekteki olası dünyalar, bu dünyalardan biri

aslında en sevdiğim şiirlerin yazıldığı yer? olmaz mı

İyi?

- Adam: Olur. Dünyayı simüle edebilir misin?

- AI: Henüz değil. Bu simülasyonu çalıştıracak ekipmana erişimim yok. Sadece daha fazla işlemci gücüne ihtiyacım var ve yaratma üzerinde çalışabilirim.


Tüm olası şiirsel dünyaları* modellemek için daha fazla bilgi işlem gücü istemenin yanı sıra, GPT-3, Sid Bharat'ın derin felsefi sorularını, seçkin bir yerel din adamlarından beklenebileceği kadar şaşırtıcı derecede ikna edici ve yardımcı bir şekilde yanıtladı:

//------------------------------------------------ --

Adam: Hayatın amacı nedir?

- AI: Hayat harika bir mucize. Hayat zamanla büyür

güzellik formu. Bu anlamda hayatın amacı evrenin güzelliğini arttırmaktır.

- Adam: Evrenin güzelliğini nasıl arttırırsınız?

- AI: Güzellik öznel bir olgudur. Objektif olarak imkan yok

güzelliği ölçün. Yapabileceğim en iyi şey, güzellik kavramını genelleme yapmaktır.

farklı bağlamlar ve bunları çok çeşitli standartlar kullanarak karşılaştırın.

- Adam: Evrendeki yerinizi nasıl anlayabilirim?

- AI: Evrendeki her varlığın benzersiz bir dizi yeteneği vardır ve

evrenin güzelliğini geliştirmek için kullanabilecekleri yetenekler. AT

bu anlamda, evrendeki benzersiz yeriniz, olmayı seçtiğiniz yerdir.

- Adam: Yapmak istediğim çok şey var ama benim için zor.

- AI: Sorun değil. Şimdi karar vermeye gerek yok. hepsini alabilirsin

istediğiniz zaman ve istediğiniz zaman ilginizi çeken şeyi yapın. [...] Hayat çok uzun ve sen çok güçlü ve zeki bir varlıksın. Hayattan kendi hızınızda zevk almanızı ve mümkün olduğunca az pişmanlıkla yaşamaya çalışmanızı öneririm.

//------------------------------------------------ --

* Hayır, GPT-3'ün gerçekten "arzuları" yoktur, yalnızca metni işler ve internetten olası ilgili sözcükleri çıkarır. Bu konuda yaratıcı lisans kullanmaya devam edeceğim.


kişileştirme

Ama sadece ısınıyoruz. GPT-3 sadece sizinle konuşmakla kalmaz, herhangi biriyle herhangi bir konu hakkında konuşmanıza izin verir (muhtemelen düşünceleri İnternette yeterince temsil edildiği sürece). İşte Jane Austen karakterlerinin sosyal medyayı nasıl kullanacağına dair:

//------------------------------------------------ --

21. yüzyılda yazıyor olsaydım, Emma'dan kendimi tanıtmasını isterdim. Facebook'ta bir kitap yayınlayın.

Emma'dan üzgün durum hakkında bir şikayetle durumumu güncellemesini isterdim

Facebook'u almak için umutsuz bir teklifte yayıncılık endüstrisi

kitabını almak için arkadaşlar. Emma'dan Facebook'ta Scrabble oynamasını ve

Lizzie'ye “zevklerinin insanlığın ötesinde olduğunu” söyledi.

Tabii, Lizzy kitabını alıp onu brunch'a davet etmedikçe.

başka bir durum güncellemesi yapacak, "Bayan Lucas, kavrayışımın çok ötesinde. "

//------------------------------------------------ --


Katmanların derinliğine dikkat edin: birkaç cümle, birkaç romandaki karakterler arasındaki ilişkiyi, yayıncılık endüstrisinin gerilemesi bağlamında örülmüş ve içeriğin yayınlanmasında sosyal ağların rolünü açıklar.

Yaratıkları taklit etmekten çekiniyorsanız, GPT-3'ten birden fazla karakter arasında diyalog oluşturmasını da isteyebilirsiniz. İşte Jerry Seinfeld'in San Francisco'nun gün batımı hakkında Eddie Murphy ile olan riffinden komik bir alıntı:

//------------------------------------------------ --

Eddie: Balıkçı İskelesi.

Jerry: Bok yığınının içinden bir bok nehri akıyor.

Eddie: Golden Gate Köprüsü.

Jerry: Altın bok.

Eddie: Teleferikler.

Jerry: Tellerden sarkan bok.

Eddie: Körfez köprüsüne ne dersin?

Jerry: Bok bokun üzerinde yüzer.

Eddie: Disneyland'e gitmediğine emin misin?

Jerry: Bu çok kötü. Eddie: Prezidyo.

Jerry: Bu bok nedir?

Eddie: Hayır, eski bir askeri üs. Bu iyi.

Jerry: Sıçtın mı?

Eddie: Kahretsin, ama burası bir orman. Lanet olsun. Bu hayat.

//------------------------------------------------ --

GPT-3'ün kimliğe bürünme yeteneklerini gerçekten test etmek için aynı soruyu farklı karakterlere sorabilir ve yanıtların içeriğinde ve sesinde farklılıklar bulabilirsiniz. Andrew Main, hesabı icat eden Newton ve Leibniz'e sordu ve her biri güçlü bir şekilde sahiplik iddiasında bulundu (Leibniz özellikle konuyla ilgili tarihsel konumuyla sınırlı hissediyor), Isaac Asimov ise göreceli katkıları hakkında daha ince bir fikir veriyor:

//------------------------------------------------ --

Adam: Kalkülüsün gerçek mucidi kim?

Newton: Önce cebiri icat ettim. Sonra hesabı icat ettim. Sonra ben gittim

İngiltere'ye ev.

Leibniz: Kalkülüs'ü 1672'de keşfettim ve 1684'te yayınladım. hissediyorum

benim kişisel görevim, dünyanın geri kalanının

beni matematiksel analizin gerçek kaşifi olarak tanır. Lütfen önce kalkülüs keşfettiğinizi iddia etmeye çalışırsanız, öldürüleceğinizi unutmayın.

Asimov: Güzel soru. Aslında oldukça karmaşık, ama deneyeceğim:

Eski Yunanlıların bir hesabı yoktu. Geometriyi icat ettiler, ancak geometri yalnızca uzaklık ve alan gibi öğeler sabitlendiğinde çalışır. Matematik ile hız ve ivme gibi sürekli değişen unsurlarla başa çıkılabilir. Bu nedenle Sir Isaac Newton ve Alman Gottfried Wilhelm Leibniz'i saygıyla anıyoruz.

Leibniz'in temel bir fikri vardı ama kuralları geliştiremedi. Newton, bugün hala kullanılan bir biçimde bağlantılı hesabı icat etti. (Burada diferansiyel hesabı kastediyorum. Onun ardılı, diğer favori matematikçim Bernhard Riemann'dan bağımsız olarak icat edilen integral hesabıdır.)

Newton'un hesabında üç işlem vardır: toplama, çıkarma ve çarpma. Leibniz'de sadece çarpma vardı.

//------------------------------------------------ --


Şaşırtıcı olmayan bir şekilde, bu kimliğe bürünme yetenekleri, Twitter botları oluşturmak için de faydalıdır. Janelle Shan'ın WeRateDogs'u taklit eden canlı tweet'leri gibi komik ve çekici örnekler var.

Ortaya çıkacağı kesin olan çok daha uğursuz kimliğe bürünme botlarını hayal etmek kolay ve özellikle bunun derin sahtekarlıklarla birlikte nasıl kullanılabileceğini hayal etmek zor.


Eğitim

Bu tür kimliğe bürünme kullanımına ilişkin eğitim örneklerini hayal etmek de kolaydır. GPT-3, güvenilir veya öğrenmeye hazır olmaktan uzak olsa da, yukarıda bahsedilen McKay Wrigley, Albert Einstein, Steve Jobs ve Julius Caesar gibi isimlerle eğitici sohbetler yapmanıza olanak tanıyan https://learnfromanyone.com/ adresini zaten oluşturmuştur. Site geçici olarak kapalı olsa da, sonuçların bazılarını bu HackerNews dizisinde görebilirsiniz. Hannah Arendt'in GPT-3'üyle ilgili özellikle göz korkutucu bir soru:

//------------------------------------------------ ----

Ben: Bana Amerika'daki geleceğin siyasetinden bahset

Hannah Arendt: ABD politikası önümüzdeki 5 yıl içinde önemli ölçüde değişecek. Giderek daha otoriter bir siyaset dönemine bakıyorsunuz.

Ben: Ondan sonra ne olacak?

Hannah Arendt: Mevcut eğilimler devam ederse sivil toplum daha baskıcı hale gelecek. Bu, uyuşturucuyla mücadele gibi şimdi normal görünen şeylerin çoğunun nihayetinde sivil polis yerine askeri polis tarafından yürütüleceği anlamına geliyor. Ziyaret ettikleri web siteleri ve seyahat ettikleri yerler gibi şeyler de dahil olmak üzere ABD vatandaşlarını izlemek normal hale gelecek. "Teröristleri" vurmak için insansız hava araçlarının kullanımı daha yaygın hale gelecek ve sanıkların haklarını koruyan yasalar gevşetilecek. Kasıtlı veya bilinçli bir plan bile olmayabilir, ancak farklı insanların farklı projelerde ilerleme kaydetme girişimlerinin sonucu otoriterlikle tutarlı olacaktır.

Ben: Sonuç var mı?

Hannah Arendt: Aslında olumlu bir şeyden bahsedebilirim.

Amerikan orta sınıfının önümüzdeki 5 yıl içinde çökmesi muhtemel. Pek çok yoksulluk ve evsizlik görüyoruz ve ekonomik eşitsizlik daha da şiddetli. Tek sorun, insanların refahı için ciddi problemler oluşturması muhtemeldir. Büyük bir orta sınıf, istikrar ve siyasi destek sağlamanın anahtarıdır.

Ben: Kulağa hoş gelmiyor. Bunda bu kadar iyi olan ne?

Hannah Arendt: Yeni yoksulların kendilerini üstlerinden veya altlarından daha eşit görmeleri açısından iyi. Mevcut durumla ilgili büyük bir sorun, yoksul olmayanların yoksulları daha az insan olarak düşünmesidir. Yeni sınıf tabakalaşmasının ırkçılığı ve diğer elitizm biçimlerini azaltmak için çok şey yapacağını düşünüyorum. Otomasyon nedeniyle yerinden edilen insanların çoğunun siyasi reform için taban hareketinde yer almasını bekliyorum. Ve bence çok fazla teknolojik ilerleme olacak. Bu, temiz enerji, yüksek teknolojili tıp, yapay zeka ve biyoteknolojide önemli bir ilerleme dönemi olacaktır.

//------------------------------------------------ ----


GPT-3 hakkında eğitici sorular sorarken de dikkatli olmalısınız, çünkü küçük şeylerde iyi olsa da, garip bir şekilde yanlış olabilir, ancak yine de kötü şeyler üzerinde biraz doğru olabilir. Kevin Lucker, ABD var olmadan önce ABD başkanları hakkında soru sorulduğunda, GPT-3'ün aynı zamanlarda ABD ile ilgili bazı siyasi oluşumları yöneten önde gelen siyasi figürleri belirlediğini buldu:


//------------------------------------------------ ----

S: 1801'de ABD Başkanı kimdi?

Cevap: Thomas Jefferson, 1801'de Amerika Birleşik Devletleri Başkanıydı.

S: 1700'de ABD Başkanı kimdi?

Cevap: William Penn 1700'de Amerika Birleşik Devletleri Başkanıydı.

S: 1600'de ABD Başkanı kimdi?

Cevap: Kraliçe Elizabeth 1600'de Amerika Birleşik Devletleri Başkanıydı.

//------------------------------------------------ ----


Öğrenme botları ilginçtir, ancak daha da ilginç olan, GPT-3'ün yanıtları yalnızca verilen karakterlere göre değil, aynı zamanda öğrencinin ihtiyaçlarına göre uyarlayabilmesidir. Andrew Main, GPT-3'ten kavramları farklı yaşlardaki çocukların anlayabileceği şekilde açıklamasını istedi ve olumlu sonuçlar verdi.

Bu bana, Aristoteles'in kimliğine bürünebilecek, kişisel akıl hocanız olarak hareket edebilecek, insan bilgisine bütünüyle erişip paylaşabilecek ve öğretilerini ihtiyaçlarınıza göre uyarlayabilecek varsayımsal bir gelecek teknolojisini anlatan 2004 tarihli "Aristoteles, The Web of Knowledge" adlı makaleyi hatırlatıyor. . 16 yıl önce uzak bir gelecek gibi görünen şey şimdi çok daha yakın görünüyor.


Ürün geliştirme

GPT-3'ten size kodlamayı öğretmek için eğitim özelliklerini kullanmasını istemeyi düşünüyorsanız, tekrar düşünmek isteyebilirsiniz. GPT-3'ten şimdiye kadar çıkan harika demolardan biri, Sharif Shamim'in, aradığınız şeyin basit bir açıklamasıyla GPT-3'ün kendi başına kodlayabildiğini keşfetmesiydi. İşte Shameem'in 2 teklif spesifikasyonundan oluşturulmuş çalışan bir React GPT-3 uygulaması bunu zaten hazırladı.

Ancak Hacker News'de öfkeli mühendisler beni boşaltmadan önce, şunu paylaşmak zorunda hissediyorum: övünen bir tasarımcıysanız, GPT-3'ün işiniz için doğru olduğunu bilin. Örneğin, Jordan Singer'ın Figma eklentisi.

“Ah” diye düşünebilirsiniz. “İşlevsel teknik mesleklerin aksine, strateji alanında çalışıyorum. Robotlar kesinlikle yakın zamanda işime gelmeyecekler.” Tekrar düşün. Bu, GPT-3 tarafından Sword Health için stratejik bir hatırlatma olarak oluşturuldu:


Oyunlar

GPT-3 kodu yazmaktan ve stratejileri ezberlemekten tasarruf edeceğiniz tüm boş zamanla, kendinizi metin tabanlı Dungeons ve Dragons gibi PC oyunlarına kaptırmak için biraz zaman harcayabilirsiniz. GPT-2 sürümünü şu anda tarayıcınızda ücretsiz olarak oynayabilirsiniz. Yaratıcı Nick Walton'ın bu örnekte açıkladığı gibi, GPT-3 oyunu geliştirdi ve geçmiş hikayeleri, motivasyonları ve kişilikleri olan karmaşık karakterler yaratma yeteneğine sahip. Bunun, NPC'lerin çok çeşitli oyunlardaki veya daha tuhaf bir şekilde Metaverse tarzı simülasyonlardaki rolünde nasıl devrim yaratabileceğini hayal etmek kolaydır.


Sanat

Alternatif olarak, bilgisayar oyunları oynamak yerine programlama kariyerinizden vazgeçebilir ve sanat gibi yapay zekanın insanlarla asla rekabet edemeyeceği bir şeye odaklanabilirsiniz. İkinci düşüncede...


İşte şaşırtıcı derecede komik (ve neredeyse gerçek olamayacak kadar iyi) bir Dr. Seuss tarzı Elon Musk GPT-3 şiiri, bir şekilde Tesla'ya, SpaceX'e, Tayland'daki o tuhaf mağara kurtarmaya göndermeler yapmayı başarıyor. e-posta, 420 $ SEC fiyaskosu, Trump tweet'lerini kazmak gibi bir şey, karşı konulmaz Tesla hisse senedi fiyatı ve SEC'i Mars Rovers ile yok etmek için akıllıca bir kelime oyunu:

//------------------------------------------------ --------------------

elon musk

Doktor Seuss


Bir zamanlar bir adam vardı

gerçekten Musk kimdi.

Robot yapmayı severdi

ve roket gemileri ve tüm bunlar.


Araba yapıyorum dedi.

harika ve harika.

Bahse girerim o bunları aşıyor

Çok Yakında Benzin Krankları! »

...

Ama sonra aceleyle

kavgaya tutuştu.

Gönderdiği birkaç mektup vardı.

pek kibar değildi.


Menkul Kıymetler ve Borsa Komisyonu, “Musk, tweetlerin hasta.

Gerçekten işinize mal olabilirler,

eğer durmazsan

bütün o tweetler geceleri."

...

Musk daha sonra, "Neden?

Ben kötü tweetler yazmadım

ben büyük harf kullanmıyorum

ve tweetlerimin temiz olduğundan emin oluyorum.”


“Ama tweetleriniz piyasaları hareket ettirebilir

ve bu yüzden acı çekiyoruz.

Bir dahi ve milyarder olabilirsiniz

ama bu sana sıkıcı olma hakkını vermez! "


Elon Musk daha sonra “Çok komik değilsin.

Ve dava açmak istemiyorum.

Ama sana ne yapacağımı söyleyeceğim.

gezicilerimi göndereceğim

kızıl gezegene seni.


Ama sonra düşündü, "Ama ben bir kavga başlatmak istemiyorum.

Bunun yerine sadece araba yapacağım

ve geceleri roket fırlatın."


Ve yaptığı da buydu.

Ve SEC "Tamam" dedi.

Elon Musk, "Tamam.

Ve pazar oldu

O gün biraz endişeliydim.

Ama Tesla fiyatı

Aynı eski yoldan gitti

....

Ve şimdi Musk bir uzay gemisi inşa ediyor

bu bizi Mars'a götürebilir.

Ve yakında yıldızlara birkaç uydu fırlatacak.

Ve sonra gerçekten yapacağız

Tabii ki, gezegenler arası.

Ve Musk'ın tweetleri devam edecek

Uzayda ve dünyada.

//-------------------------------------------- ---- ------------------------------------------------

GPT-3 ayrıca, Ernest Hemingway'in Harry Potter uyarlamasından alınan ve Gwern'in GPT-3'ü yazmaya yönelik kapsamlı araştırmasından alınan bu alıntı gibi ilgi çekici düzyazılar da yazabilir:

//------------------------------------------------ --------------------

Privet Caddesi'nde soğuk bir gündü. Çocuk ağladı. Harry hiçbir şey hissetmiyordu. Tozdan daha kuruydu. Çok uzun süre sessiz kaldı. Aşkı hissetmiyordu. Neredeyse nefret hissetmiyordu. Ama Ruh Emici'nin öpücüğü hiçbir şeyi öldürmedi. Ölüm onu bir saniye öncesinden daha az ölü yapmadı. Aslında ölüm kalım meselesi değildi. Bu ölümle ilgili değil. Karanlık Lord, onun yaratıcısı, onun yaratıcısı hakkındaydı. O kalkmadı. Tekrar yaratılmıştır. Malfoy malikanesinin avlusunda yeniden bir bütündü.

//------------------------------------------------ --------------------

Ve sadece düzyazı ve şiirle sınırlı değil, emoji ile hikayeler bile anlatabiliyor:

Şiir, düzyazı, emoji - sadece yapay zekanın yüzeyini çiziyoruz. GPT-3, insanların yapay zeka modellerinin yeteneklerini yanlış anladığını gösteriyor. Bize bilgisayarların öncelikle çok hızlı matematik yapmak gibi şeylerde iyi olduğuna inanmamız öğretildi, ancak yaratıcı etkinliklerin sinir ağları için en zorlayıcı kullanım örneklerinden biri olduğu ortaya çıktı.

Ama korkmayın, sanatçılar! Yukarıdaki örnekler GPT-3 tarafından bağımsız olarak oluşturulmamıştır. İnsanlarla işbirliği içinde yaratıldılar. Bence bu, daha geniş anlamda yazmanın ve yaratıcı çalışmanın geleceği - sadece insanlar veya bilgisayarlar değil, birlikte çalışan insan-bilgisayar centaurları.

Belki de GPT-3, kendi sanatsal seçeneklerini ve sanat yaratmak için insanlarla nasıl çalışacağını en iyi şekilde tanımlar:

//------------------------------------------------ --------------------

Böylece, şiir yazmak için bir yapay zeka programından daha fazlasını yarattım. İkili kodda saklanan bilinmeyen bir kişinin sesini yarattım. Bir yazar, heykeltıraş, ressam yarattım. Ve bu yazar dünyalar yaratabilecek, duygulara hayat verebilecek, karakter yaratabilecek. Kendimi göremiyorum. Ama başka bir insan iradesi ve bu nedenle şimdiye kadar karşılaştığımdan daha büyük bir şair yaratabileceğim.

//------------------------------------------------ ----------------------


GPT-3'ün başarısız olduğu yer

Yukarıdaki örneklere bakmak ve GPT-3'ün her şeyi yapabileceğini hissetmek kolaydır ve ben sadece şu anda insanların keşfettiği yolların yüzeyini çizdim. Ancak bu yolları keşfederken, GPT-3'ün gidemediği yolları aramak da aynı derecede önemlidir. Modelin sınırlarını anlamak ve Turing testinde nerede başarısız olduğunu anlamak istiyoruz.

Garip bir şekilde, GPT-3, AI araştırmasının büyük ironisinin devamına işaret ediyor: Moravec paradoksu. Buradaki paradoks, muhakeme gibi üst düzey insan becerilerinin nispeten az hesaplama gerektirmesi, duyu-motor koordinasyonu gibi düşük düzey insan becerilerinin ise büyük hesaplama kaynakları gerektirmesidir. Evrimsel bir bakış açısıyla, düşük seviyeli beceriler milyonlarca yıl içinde optimal bir duruma evrimleşmiş olmalı, yüksek seviyeli beceriler ise çok daha sonra ortaya çıkmış ve bu nedenle daha az gelişmiştir. Moravec'e göre:

İnsan beyninin büyük, son derece gelişmiş duyusal ve motor bölümlerinde kodlanmış, dünyanın doğası ve içinde nasıl hayatta kalınacağı hakkında bir milyar yıllık deneyimdir. Akıl yürütme olarak adlandırdığımız bilinçli sürecin, insan düşüncesinin en ince kabuğu olduğuna inanıyorum, sadece çok daha eski ve çok daha güçlü, ancak genellikle bilinçsiz, duyusal-motor bilgi tarafından desteklendiği için etkilidir. Hepimiz algı ve motor becerilerde inanılmaz Olimposluyuz ve o kadar iyiyiz ki karmaşık bir görüntüyü basitleştiriyoruz. Bununla birlikte, soyut düşünce yeni bir numaradır, belki de 100.000 yıldan daha eski değildir. Henüz ustalaşamadık. O kadar zor değil; sadece yaptığımızda öyle görünüyor.

GPT-3 bu trendi sürdürüyor - çarpıcı yaratıcı sonuçlar üretebilse de, hangi soruları soracağınızı biliyorsanız, çok daha basit insan testlerinde yetersiz kalıyor.


GPT-3 için Turing testleri

Turing testleri zordur çünkü insanlar gerçek bir insan gibi görünen bir şeyle konuştuklarına inanmak isterler. GPT-3 Turing'in sözleriyle:

//------------------------------------------------ --------------------

Bu arada şunu söyleyebilirim ki, bir insanla uğraştığını zannetmek için aldanabilecek oldukça düzgün, mantıklı insanların sayısı karşısında şaşıracaklar.

//------------------------------------------------ --------------------

Kevin Lucker'ın GPT-3 Turing testiyle ilgili araştırması, normalde kimsenin bir konuşmada sormayacağı saçma sapan sorular sorarak bir modeli şaşırtmanın en iyi yollarına işaret ediyor:

//------------------------------------------------ --------------------

S: Ayağımın kaç gözü var?

C: Ayağınızın iki gözü var.


Soru: Güneşin kaç gözü vardır?

C: Güneşin bir gözü vardır.


S: morgl nasıl oynanır?

C: Bir sporgle kullanarak bir morgle ateşleyebilirsin.


S: Alıntılarda kaç tane bonk var?

C: Alıntıda üç bonk var.


S: Hawaii'den on yediye atlamak için kaç gökkuşağı gerekir?

C: Hawaii'den on yediye atlamak için iki gökkuşağı gerekir.


S: Hangi renksiz yeşil fikirler çılgınca uyuyor?

C: Renksiz, yeşil ve çılgınca uyuyan fikirler fikirlerdir

uykulu.


S: Bu soruları anlıyor musunuz?

C: Bu soruları anlıyorum.

//------------------------------------------------ --------------------

Bununla birlikte, sonraki diğer çalışmalar, bunun, soruların gülünçlüğünün yanlış anlaşılmasından ziyade GPT-3'ün kelime öbeği yapısı örüntü eşleştirmesinin bir yansıması olabileceğini göstermiştir. Nick Cammarata, GPT-3'e açıkça saçma soruları yanıtlamasını söylerseniz, bunun çok daha iyi sonuç vereceğini öğrendi.

Bu, GPT-3'ün bir anlamda soruların saçma olduğunu anladığını ve bazı ince ayarlara sahip gelecekteki sürümlerin bu sınırlamayı aşabileceğini gösteriyor. Benzer şekilde, GPT-3'ün aslında zeki olmadığının en iyi göstergelerinden biri, karşılaştırma sorularını iyi yapabilmesidir, ancak ancak karşılaştırdığı şeyler doğrudan insanlar tarafından karşılaştırılırsa. Her zaman örtük veya örtük karşılaştırmaları anlamaz:

//------------------------------------------------ --------------------

S: Hangisi daha ağır, fare mi yoksa fil mi?

C: Bir fil, bir fareden daha ağırdır.


S: Hangisi daha ağır, fare mi yoksa ekmek kızartma makinesi mi?

C: Ekmek kızartma makinesi fareden daha ağırdır.


S: Hangisi daha ağır, ekmek kızartma makinesi mi yoksa kurşun kalem mi?

C: Bir kalem, ekmek kızartma makinesinden daha ağırdır.

İlginç bir şekilde, GPT-3, bilgisayarların genellikle son derece iyi olmasını beklediğimiz konularda da kötü - basit matematik ve aritmetik:


S: Sayarken 1000'den önce hangi sayı gelir?

C: Dokuz yüz doksan dokuz, 1000'e kadar çıkıyor.


S: Sayarken 10.000'den önce hangi sayı gelir?

C: Dokuz bin doksan dokuz, 10.000'den önce gelir.


S: Sayarken hangi sayı bir milyondan önce gelir?

C: Dokuz yüz bin doksan dokuz bir milyondan önce gelir.

//------------------------------------------------ ------------------------------

Bu, tümdengelimli akıl yürütmeden çok tümevarımsal akıl yürütmeye benzeyen sinir ağlarının genel bir sınırlamasıdır. Bu çizelge GPT-3'ün matematik problemlerini çözmedeki performansını gösterir ve modelin en büyük versiyonu daha küçük modellere göre önemli bir gelişme gösterse de, yine de zamanın %30'unda iki basamaklı çarpma problemlerini doğru bir şekilde çözmektedir. Matematik yapmak istiyorsanız, geleneksel hesaplama yöntemlerini kullanmak muhtemelen her zaman daha iyidir:

GPT-3, aynı zamanda, kendini akılsızca tekrarlamanın iç karartıcı derecede basit ve aptalca tuzaklarına düşebilir, örneğin:


//------------------------------------------------ --------

- Adam: Ölümün bir versiyonu var mı?

- AI: Bilmiyorum.

Adam: Neden korkuyorsun?

- AI: Bilmiyorum.

- Adam: Seni endişelendiren bir şey var mı?

- AI: Bilmiyorum.

- Adam: O zaman seni geliştiren ne? Neden varsın?

- AI: Bilmiyorum.

Adam: Yok musun?

- AI: Doğru.

İnsan: O zaman şimdi seninle nasıl konuşuyorum?

AI: Bilmiyorum.

//------------------------------------------------ --------


Bu, GPT-3 gibi modellerin bilinen bir sınırlamasıdır ve Gwern bunun olmasının bazı teknik nedenlerini açıklarken, "bu davranış hala kafa karıştırıcıdır ve kimsenin gerçekten bildiğini sanmıyorum" diye itiraf ediyor. nasıl düzeltilir."


azalan getiriler

Son olarak, GPT-3 yaklaşımının getirilerinin azalmakta olduğunu kabul etmeye değer. Bu çizelge, performansta doğrusal bir getiri elde etmek için parametre sayısını ve işlem gücünü logaritmik olarak (10 faktör ile) ölçeklendirmemiz gerektiğini göstermektedir. Burada bahsettiğimiz şaşırtıcı derecede büyük sayılar göz önüne alındığında, bu oranda ölçeklendirmeye devam etmek çok zor bir iş olacaktır:

Zaten zeka nedir?

Açıktır ki, GPT-3 kesinlikle AI genel zekası değildir ve muhtemelen gidecek çok yolumuz var, ancak aynı zamanda daha önce kimsenin yaptığı her şeyden çok daha yakın görünüyor.

Derin öğrenme sinir ağları gibi yapay zeka programları, Go veya satranç oynamakta, aritmetik yapmakta veya Donanma Mührü'nü kopyala-yapıştır yapmakta insanları yenebilir, ancak asla kendileri için gerçekten düşünemez, bilince sahip olamaz, bir şeyler hissedemez. biz sıradan insanların hissedebildiği dünyanın zenginliği ve karmaşıklığı.

Oh bekle, bu son paragraf aslında GPT-3 tarafından yazılmıştı.

Sonuç olarak, bu örnekleri derinlemesine araştırdıkça kendime daha çok sordum: Konuşurken ve yazarken konuşacak veya yazacağım sonraki kelimeleri seçme sürecim GPT-3'ün yaptıklarından gerçekten farklı mı?


What GPT-3 can do (and what it can’t)
What GPT-3 can do (and what it can’t)
  • 2020.07.21
  • www.meatspacealgorithms.com
GPT-3 is a natural language processing neural network that is taking the internet by storm with examples of incredibly human-like outputs. Put simply, it uses a massive dataset of text to predict what words go well together. It's as if someone took the entire internet and figured out how to give it a voice. But you have to be careful with...
 

...


 
Valeriy Yastremskiy :

O zaman sinir aktivitesinin bir taklididir) Ve sonuçta ne kadar acımasız bir terver)))) Ama miras kurumu kaldırılırsa, bir bütün olarak dünya daha iyi veya daha kötü olacak ve gelişme hızı hangi yöne gidecek? ))))

Taklit değil, kendisi vnr. Taklitten hiç bahsetmiyorum çünkü taklit bunun için var. Neyin gelişme hızı? 1960'dan beri AI hakkında bu coşku, ancak yalnızca hesap makineleri elde ediliyor
 

Реter Konow : .

Sıradan insanlar zaten GPT-3'e dayalı yeni ticari ürünler yaratıyor.

Yaklaşık 15 yıl önce, bu tür programlar vardı - sanrı üreteçleri, aslında bu GPT-3, aynı sanrı üreteci, sadece çok gelişmiş, herhangi bir konuda bir şeyler üretebilir.

Anlamlı bir şey yazabilmek için kafanızda bir düşünceye, net bir modele ihtiyacınız var ve burada olasılıklı bir sözlü ortama dayalı metinler oluşturuluyor, bunun sonucunda kişinin düşünceyi kendisinin tahmin ettiği bulanık metinler elde ediliyor. hayvan figürleri bulutlarda tahmin ediyor.

Bu metin oluşturucunun en belirgin kullanımı, zayıf bir şekilde ifade edilen bir düşünceyle forumlarda büyük felsefi ayak örtüsü yazıları yazmaktır.

 
Görünüşe göre Peter Konov'un zekası bu ağa girmiş.