Intelligenza artificiale 2020 - ci sono progressi? - pagina 52
Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
Parlando di transistor - anche questi dovranno essere modificati per far funzionare la scheda analogica. Dopo tutto, i transistor memorizzano dei bit - cioè "bit di un numero", mentre voi dovrete memorizzare l'intero numero come una tensione (come una batteria), perché il numero analogico è l'ampiezza della corrente, non l'interruzione.
Elementare: int: 4 byte di 8 bit = 32 bit di informazioni digitali codificate nei loro stati (1 o 0) danno uno spazio di valori di oltre 4 miliardi. Se questo viene convertito in analogico, la precisione dell'ampiezza (tensione) del segnale deve avere 9 zeri dopo la virgola, altrimenti il segnale trasmesso/ricevuto distorce il numero originale.
Come farlo su un cristallo da 22 nm - non riesco a immaginarlo, è così fine lì - non si può tagliare...
Quindi non ci sarà alta precisione, come hanno detto.
Le griglie possono già scrivere programmi
Informazioni generali tradotte su GPT-3: (ci sono difetti di traduzione)
Wikipedia:
Generative Pre-trained Transducer 3 (GPT-3) è un modello linguistico autoregressivo che utilizza l'apprendimento profondo per produrre testo simile a quello umano. È il modello di predizione linguistica di terza generazione della serie GPT-n creata da OpenAI, un laboratorio di ricerca di intelligenza artificiale di San Francisco. [2] La versione completa di GPT-3 ha una capacità di 175 miliardi di parametri di apprendimento automatico, due ordini di grandezza più del suo predecessore GPT-2. [1]: 14 GPT-3, che è stato introdotto nel maggio 2020, ed è in beta testing dal luglio 2020. [3] fa parte di una tendenza nei sistemi di elaborazione del linguaggio naturale (NLP) verso "rappresentazioni linguistiche pre-addestrate". [1] Prima del rilascio di GPT-3, il modello di linguaggio più grande era Turing NLG di Microsoft, introdotto nel febbraio 2020, con una larghezza di banda dieci volte inferiore a GPT-3. [4]
La qualità del testo prodotto da GPT-3 è così alta che è difficile distinguerlo dal testo scritto dall'uomo, il che ha sia vantaggi che rischi. [4] Trentuno ricercatori e ingegneri OpenAI hanno presentato un documento sorgente datato 28 maggio 2020 che presenta il GPT-3. Nel loro documento, hanno avvertito dei potenziali pericoli della GPT-3 e hanno chiesto una ricerca per mitigare i rischi. [1]: 34 David Chalmers, un filosofo australiano, ha descritto GPT-3 come "uno dei più interessanti e importanti sistemi di IA mai creati. "[5] GPT-3 può creare siti web, rispondere alle domande e prescrivere farmaci. [6]
Secondo The Economist, algoritmi migliorati, computer potenti e un aumento dei dati digitalizzati hanno scatenato una rivoluzione nell'apprendimento automatico, con nuove tecniche che hanno portato a "rapidi miglioramenti nei compiti" negli anni 2010, compresa la manipolazione del linguaggio [7]. I modelli software sono addestrati utilizzando migliaia o milioni di esempi in una "struttura ... vagamente basato sull'architettura neurale del cervello". [7] L'architettura più comunemente usata nell'elaborazione del linguaggio naturale (NLP) è la rete neurale. [8] Si basa su un modello di apprendimento profondo che è stato introdotto per la prima volta nel 2017, un modello di apprendimento automatico trasformatore. [8] I modelli GPT-n sono basati su questa architettura di rete neurale di apprendimento profondo. Esiste un certo numero di sistemi NLP in grado di elaborare, analizzare, organizzare, collegare, contrastare, comprendere e generare risposte alle domande [9].
Storia:
L'11 giugno 2018, i ricercatori e gli ingegneri di OpenAI hanno pubblicato il loro documento originale sui modelli generativi - modelli linguistici - sistemi di intelligenza artificiale che possono essere pre-addestrati con un enorme e diverso corpus di testo utilizzando i dataset in un processo che hanno chiamato pre-training generativo. training (GP). [10] Gli autori hanno descritto come le prestazioni di comprensione del linguaggio nell'elaborazione del linguaggio naturale (NLP) sono state migliorate nel pre-addestramento generativo (GPT-n) attraverso un processo di "pre-addestramento generativo di un modello linguistico su un corpus diverso di testo non etichettato, seguito da aggiustamenti discriminativi per ogni compito specifico". Questo ha eliminato la necessità di supervisione umana e l'etichettatura manuale che richiede tempo [10].
Nel febbraio 2020, Microsoft ha presentato il suo Turing Natural Language Generation (T-NLG), che era allora "il più grande modello linguistico mai pubblicato con 17 miliardi di parametri". [11] Si è comportato meglio di qualsiasi altro modello linguistico in una varietà di compiti che includevano il riassunto di testi e la risposta a domande
Capacità:
In un preprint arXiv del 28 maggio 2020, un team di 31 ingegneri e ricercatori OpenAI ha descritto lo sviluppo di un "modello di linguaggio moderno" chiamato GPT-3 [1][4] o Generative Pretrained Transformer 3, un modello di linguaggio di terza generazione. Il team è riuscito ad aumentare la capacità di GPT-3 di oltre due ordini di grandezza rispetto al suo predecessore, GPT-2, rendendo GPT-3 il più grande modello di linguaggio non spartano fino ad oggi. [1]: 14 [2] Il maggior numero di parametri del GPT-3 fornisce un livello di precisione superiore alle versioni precedenti con capacità inferiore. [12] Il GPT-3 ha dieci volte la capacità del Microsoft Turing NLG. [4]
Il sessanta per cento del set di dati ponderato di pre-addestramento per GPT-3 proviene da una versione filtrata di Common Crawl, che consiste di 410 miliardi di token codificati a coppie di byte. [1]: 9 Altre fonti sono 19 miliardi di token da WebText2, che è il 22% della somma ponderata, 12 miliardi di token da Book1, che è l'8%, 55 miliardi di token da Book2, che è l'8%, e 3 miliardi di token da Wikipedia, che è il 3%. [1]: 9 GPT-3 è stato addestrato su centinaia di miliardi di parole ed è in grado di codificare in CSS, JSX, Python, ecc. [3] Poiché i dati di addestramento di GPT-3 erano completi, non ha richiesto un ulteriore addestramento per diversi compiti linguistici. [3]
L'11 giugno 2020, OpenAI ha annunciato che gli utenti potevano richiedere l'accesso alla GPT-3 user-friendly API, una "suite di strumenti di apprendimento automatico" per aiutare OpenAI a "esplorare i punti di forza e le debolezze" di questa nuova tecnologia [13][14]. ] L'invito ha descritto questa API come un'interfaccia universale di input-output di testo che potrebbe eseguire quasi "qualsiasi compito in lingua inglese", invece del solito caso d'uso singolo. [13] Secondo un utente che ha avuto accesso a una prima versione chiusa dell'API OpenAI GPT-3, GPT-3 è "spaventosamente bravo" a scrivere "testo incredibilmente coerente" con pochi semplici suggerimenti [15].
Poiché GPT-3 può "generare articoli di notizie che i valutatori umani hanno difficoltà a distinguere dagli articoli scritti da esseri umani" [4] GPT-3 ha "il potenziale di promuovere sia applicazioni utili che dannose dei modelli linguistici" [1]: 34 Nel loro articolo del 28 maggio 2020, i ricercatori hanno dettagliato i potenziali "effetti dannosi di GPT-3" [4], che includono "disinformazione, spam, phishing, abuso di processi legali e governativi, scrittura fraudolenta di saggi accademici e pretesti di ingegneria sociale. "[1]. Gli autori richiamano l'attenzione su questi pericoli per chiedere una ricerca sulla riduzione del rischio. [1]:
Il nuovo GPT-3 di OpenAI.
Stiamo rilasciando un'API per accedere ai nuovi modelli AI sviluppati da OpenAI. A differenza della maggior parte dei sistemi AI, che sono progettati per un singolo caso d'uso, l'API di oggi fornisce un'interfaccia universale di input-output, permettendo agli utenti di provarla su quasi tutti i compiti in lingua inglese. Ora puoi richiedere l'accesso per integrare l'API nel tuo prodotto, sviluppare un'applicazione completamente nuova o aiutarci a esplorare i punti di forza e di debolezza della tecnologia.
Con qualsiasi richiesta di testo, l'API restituirà il completamento del testo, cercando di corrispondere al modello che avete specificato. Lo si può 'programmare' mostrando solo alcuni esempi di ciò che si vuole che faccia; il suo successo di solito varia a seconda di quanto è complesso il compito. L'API permette anche di sintonizzare le prestazioni su compiti specifici addestrando i set di dati forniti (piccoli o grandi) o imparando dagli utenti o dagli sviluppatori.
Abbiamo progettato l'API per essere facile da usare e flessibile per rendere i team di machine learning più produttivi. Infatti, molti dei nostri team ora usano l'API in modo da potersi concentrare sulla ricerca sull'apprendimento automatico piuttosto che sui problemi dei sistemi distribuiti. Oggi, API sta lanciando modelli con pesi della famiglia GPT-3 con molti miglioramenti in termini di velocità e produttività. Il machine learning si sta evolvendo molto rapidamente e noi aggiorniamo costantemente la nostra tecnologia per tenere aggiornati i nostri utenti.
Il ritmo del progresso in questo settore significa che ci sono spesso nuove applicazioni inaspettate dell'IA, sia positive che negative. Bloccheremo l'accesso all'API per usi malevoli noti come stalking, spamming, radicalizzazione o astroturfing. Ma sappiamo anche che non possiamo prevedere tutti i possibili risultati di questa tecnologia, quindi oggi stiamo lanciando una versione beta privata piuttosto che una pubblica, costruendo strumenti per aiutare gli utenti a controllare meglio il contenuto restituito dalla nostra API, ed esplorando i problemi di sicurezza. Condivideremo ciò che abbiamo imparato in modo che i nostri utenti e la comunità più ampia possano costruire sistemi di intelligenza artificiale più umani.
Oltre ad essere una fonte di reddito che ci aiuta a coprire i costi mentre perseguiamo la nostra missione, l'API ci ha spinto a concentrarci sulla tecnologia universale dell'intelligenza artificiale - facendo progredire la tecnologia, garantendo il suo utilizzo e considerando il suo impatto nel mondo reale. Speriamo che l'API abbassi significativamente la barriera per realizzare prodotti di intelligenza artificiale utili, portando a strumenti e servizi che sono difficili da immaginare oggi.
Sei interessato a saperne di più sulle API? Unisciti ad aziende come Algolia, Quizlet e Reddit, e a ricercatori di organizzazioni come il Middlebury Institute nella nostra beta privata.
Se vuoi provare GPT-3 oggi, dovrai fare domanda alla whitelist di OpenAI. Ma le applicazioni per questo modello sembrano infinite - apparentemente si può usare per interrogare un database SQL in inglese semplice, commentare automaticamente il codice, creare automaticamente il codice, scrivere titoli di articoli fantasiosi, scrivere tweet virali e molto altro.
Ma cosa c'è sotto il cofano di questo incredibile modello? Ecco un (breve) sguardo all'interno
GPT-3 è un modello linguistico basato su reti neurali. Un modello linguistico è un modello che predice la probabilità che una frase esista nel mondo. Per esempio, un modello linguistico potrebbe contrassegnare la frase: "Porto il mio cane a fare una passeggiata" come più probabile che esista (cioè online) rispetto alla frase: "Porto la mia banana a fare una passeggiata". Questo è vero sia per le frasi che per le frasi e, più in generale, per qualsiasi sequenza di caratteri.
Come la maggior parte dei modelli linguistici, GPT-3 è elegantemente addestrato su un insieme non etichettato di dati di testo (in questo caso, i dati di formazione includono, tra gli altri, Common Crawl e Wikipedia). Parole o frasi vengono rimosse a caso dal testo, e il modello deve imparare a riempirle usando solo le parole circostanti come contesto. Questo è un semplice compito di apprendimento che si traduce in un modello potente e versatile.
L'architettura del modello GPT-3 stesso è una rete neurale basata su trasformatori. Questa architettura è diventata popolare circa 2-3 anni fa, ed era la base del popolare modello BERT NLP e del predecessore di GPT-3, GPT-2. In termini di architettura, GPT-3 non è in realtà molto nuovo!
Cosa lo rende così speciale e magico?
È davvero grande. Intendo davvero grande. Con 175 miliardi di parametri, è il più grande modello linguistico mai creato (un ordine di grandezza più grande del suo concorrente più vicino!) Ed è stato addestrato sul più grande dataset di tutti i modelli linguistici. Questa sembra essere la ragione principale per cui GPT-3 è così impressionantemente "intelligente" e dal suono umano.
Ma ecco la parte veramente magica. Grazie alle sue dimensioni, il GPT-3 può fare quello che nessun altro modello può fare (bene): eseguire compiti specifici senza alcuna configurazione speciale. Potete chiedere al GPT-3 di essere un traduttore, programmatore, poeta o autore famoso, e può farlo con il suo utente (voi) fornendo meno di 10 esempi di allenamento. Merda.
Questo è ciò che rende GPT-3 così affascinante per i professionisti dell'apprendimento automatico. Altri modelli linguistici (come il BERT) richiedono una complessa fase di messa a punto, in cui si raccolgono migliaia di esempi di coppie di frasi (diciamo) francese-inglese per insegnargli come fare la traduzione. Per adattare un BERT a un compito specifico (ad esempio traduzione, riassunto, rilevamento dello spam, ecc.), è necessario uscire e trovare un grande dataset di allenamento (dell'ordine di migliaia o decine di migliaia di esempi), che può essere ingombrante o poco maneggevole. a volte impossibile, a seconda del compito. Con GPT-3, non c'è bisogno di fare questo passo di messa a punto. Questa è la sua essenza. Questo è ciò che attrae le persone a GPT-3: compiti linguistici personalizzabili senza dati da imparare.
GPT-3 è in beta privata oggi, ma non vedo l'ora di metterci le mani sopra.
Questo articolo è stato scritto da Dale Markowitz, un ingegnere di intelligenza artificiale applicata a Google, con sede a Austin, Texas, dove lavora sull'applicazione dell'apprendimento automatico a nuovi campi e industrie. Le piace anche risolvere i problemi della sua vita con l'IA e ne parla su YouTube.
Onestamente, sono spazzato via da questo GPT-3. Roba forte.))))
Tuttavia, qualcosa di molto più figo sta arrivando, e presto. Perché? Perché la GPT-3 è inefficiente come l'inferno in termini di efficienza.
Nessuno di noi, stipati in testa miliardi di combinazioni di parole in frasi che scansionano internet, ancora, può scrivere libri, pensare in modo logico e critico, e risolvere problemi incommensurabilmente più complessi e ambigui. Come?
L'apprendimento umano è un livello diverso di assimilazione ed elaborazione delle informazioni. GPT-3 manca gravemente di qualcosa all'interno, come una spina dorsale, un archetipo, un motore interno... e non è chiaro cos'altro...
L'approccio di apprendimento di questa rete è difettoso rispetto all'apprendimento umano e dobbiamo capire qual è.
Onestamente, sono spazzato via da questo GPT-3. Roba forte. ))))
Niente di nuovo negli algoritmi, ma la potenza dà nuove possibilità e livelli di qualità del modello. 175 yds non sono 5000 parole))))
Niente di nuovo negli algoritmi, ma la potenza dà nuove possibilità e livelli di qualità del modello. 175 iarde non sono 5000 parole))))
Questo è il punto, non ho sentito nulla di nuovo sugli algoritmi. Tutti questi metodi di formazione della rete erano già presenti - l'unica differenza è la scala.
Ho cercato di trovare esempi video del suo funzionamento e questo è quello che ha colpito:https://twitter.com/sharifshameem
Questa cosa crea un'interfaccia per descrizione verbale insieme a una funzionalità parziale. All'inizio ho pensato che fosse una sciocchezza, ma quando ho guardato meglio ho capito che mi sbagliavo. Tuttavia, non riuscivo ancora a comprendere appieno i limiti delle possibilità.
La portata del GPT-3 non è chiara.