Inteligencia Artificial 2020: ¿hay avances? - página 52
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Hablando de transistores, también habrá que modificarlos para que la placa analógica funcione. Al fin y al cabo, los transistores almacenan bits, es decir, "bits de un número", mientras que tú tendrás que almacenar el número completo en forma de tensión (como una pila), porque el número analógico es la amplitud de la corriente, no la interrupción.
Elemental: int: 4 bytes de 8 bits = 32 bits de información digital codificados en sus estados (1 ó 0) dan un espacio de valores de más de 4.000 millones. Si se convierte en analógico, la precisión de la amplitud (tensión) de la señal debe tener 9 ceros después del punto decimal, de lo contrario la señal transmitida/recibida distorsionará el número original.
Cómo hacerlo en un cristal de 22nm - no me lo imagino, es tan fino allí - no se puede recortar...
Así que no habrá alta precisión, como dijeron.
Las cuadrículas ya pueden escribir programas
Información general traducida sobre GPT-3: (hay defectos de traducción)
Wikipedia:
Generative Pre-trained Transducer 3 (GPT-3) es un modelo de lenguaje autorregresivo que utiliza el aprendizaje profundo para producir un texto similar al humano. Es el modelo de predicción lingüística de tercera generación de la serie GPT-n creado por OpenAI, un laboratorio de investigación de inteligencia artificial de San Francisco. [2] La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automático, dos órdenes de magnitud más que su predecesor GPT-2. [14 GPT-3, que se introdujo en mayo de 2020, y ha estado en pruebas beta desde julio de 2020. [3] forma parte de una tendencia en los sistemas de procesamiento del lenguaje natural (PLN) hacia las "representaciones lingüísticas preentrenadas". [1] Antes del lanzamiento de GPT-3, el mayor modelo de lenguaje era el Turing NLG de Microsoft, introducido en febrero de 2020, con un ancho de banda diez veces menor que GPT-3. [4]
La calidad del texto producido por el GPT-3 es tan alta que es difícil distinguirlo del texto escrito por humanos, lo que tiene tanto ventajas como riesgos. [4] Treinta y un investigadores e ingenieros de OpenAI presentaron un documento fuente con fecha de 28 de mayo de 2020 en el que se presentaba el GPT-3. En su documento, advirtieron de los peligros potenciales de la GPT-3 y pidieron que se investigara para mitigar los riesgos. [1]: 34 David Chalmers, un filósofo australiano, describió la GPT-3 como "uno de los sistemas de IA más interesantes e importantes jamás creados". "[5] El GPT-3 puede crear páginas web, responder a preguntas y recetar medicamentos. [6]
Según The Economist, la mejora de los algoritmos, los potentes ordenadores y el aumento de los datos digitalizados han provocado una revolución en el aprendizaje automático, con nuevas técnicas que han permitido "mejorar rápidamente las tareas" en la década de 2010, incluida la manipulación del lenguaje [7]. Los modelos de software se entrenan utilizando miles o millones de ejemplos en una "estructura ... basada vagamente en la arquitectura neuronal del cerebro". [7] La arquitectura más utilizada en el procesamiento del lenguaje natural (PLN) es la red neuronal. [8] Se basa en un modelo de aprendizaje profundo que se presentó por primera vez en 2017, un modelo de aprendizaje automático transformador. [8] Los modelos GPT-n se basan en esta arquitectura de red neuronal de aprendizaje profundo. Existen varios sistemas de PNL capaces de procesar, analizar, organizar, relacionar, contrastar, comprender y generar respuestas a preguntas [9].
La historia:
El 11 de junio de 2018, los investigadores e ingenieros de OpenAI publicaron su documento original sobre modelos generativos -modelos de lenguaje- sistemas de inteligencia artificial que pueden ser pre-entrenados con un corpus enorme y diverso de texto utilizando conjuntos de datos en un proceso que llamaron pre-entrenamiento generativo. entrenamiento (GP). [10] Los autores describieron cómo se mejoraba el rendimiento de la comprensión del lenguaje en el procesamiento del lenguaje natural (PLN) en el preentrenamiento generativo (GPT-n) mediante un proceso de "preentrenamiento generativo de un modelo lingüístico en un corpus diverso de texto sin etiquetar, seguido de ajustes discriminativos para cada tarea específica". Esto eliminó la necesidad de supervisión humana y el lento etiquetado manual [10].
En febrero de 2020, Microsoft dio a conocer su Turing Natural Language Generation (T-NLG), que era entonces "el mayor modelo de lenguaje jamás publicado con 17.000 millones de parámetros." [11] Su rendimiento fue mejor que el de cualquier otro modelo lingüístico en una serie de tareas que incluían el resumen de textos y la respuesta a preguntas
Capacidades:
En un preprint de arXiv fechado el 28 de mayo de 2020, un equipo de 31 ingenieros e investigadores de OpenAI describió el desarrollo de un "modelo de lenguaje moderno" llamado GPT-3 [1][4] o Generative Pretrained Transformer 3, un modelo de lenguaje de tercera generación. El equipo consiguió aumentar la capacidad de GPT-3 en más de dos órdenes de magnitud en comparación con su predecesor, GPT-2, lo que convierte a GPT-3 en el mayor modelo de lenguaje no disperso hasta la fecha. [1]: 14 [2] El mayor número de parámetros del GPT-3 proporciona un mayor nivel de precisión que las versiones anteriores con menor capacidad. [12] El GPT-3 tiene diez veces más capacidad que el Turing NLG de Microsoft. [4]
El sesenta por ciento del conjunto de datos de preentrenamiento ponderado para GPT-3 procede de una versión filtrada de Common Crawl, que consta de 410.000 millones de tokens codificados por pares de bytes. [Otras fuentes son 19.000 millones de tokens de WebText2, lo que supone una suma ponderada del 22%, 12.000 millones de tokens de Book1, lo que supone un 8%, 55.000 millones de tokens de Book2, lo que supone un 8%, y 3.000 millones de tokens de Wikipedia, lo que supone un 3%. [1]: 9 GPT-3 ha sido entrenado en cientos de miles de millones de palabras y es capaz de codificar en CSS, JSX, Python, etc. [3] Dado que los datos de entrenamiento de GPT-3 eran exhaustivos, no requería un entrenamiento adicional para diferentes tareas lingüísticas. [3]
El 11 de junio de 2020, OpenAI anunció que los usuarios podían solicitar el acceso a la API de fácil uso GPT-3, un "conjunto de herramientas de aprendizaje automático" para ayudar a OpenAI a "explorar los puntos fuertes y débiles" de esta nueva tecnología [13][14]. La invitación describía esta API como una interfaz universal de entrada-salida de texto que podía realizar casi "cualquier tarea en inglés", en lugar del habitual caso de uso único. [13] Según un usuario que tuvo acceso a una primera versión cerrada de la API de GPT-3 de OpenAI, GPT-3 es "aterradoramente bueno" para escribir "un texto increíblemente coherente" con tan sólo unas simples indicaciones [15].
Dado que GPT-3 puede "generar artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los artículos escritos por humanos" [4], GPT-3 tiene "el potencial de promover aplicaciones tanto útiles como perjudiciales de los modelos lingüísticos" [1]: 34 En su artículo del 28 de mayo de 2020, los investigadores detallaron los posibles "efectos perjudiciales de GPT-3" [4], que incluyen "desinformación, spam, phishing, abuso de procesos legales y gubernamentales, redacción de ensayos académicos fraudulentos y pretextos de ingeniería social". "[1]. Los autores llaman la atención sobre estos peligros para pedir que se investigue sobre la reducción de riesgos. [1]:
El nuevo GPT-3 de OpenAI.
Estamos lanzando una API para acceder a los nuevos modelos de IA desarrollados por OpenAI. A diferencia de la mayoría de los sistemas de IA, que están diseñados para un solo caso de uso, la API actual ofrece una interfaz universal de entrada-salida, lo que permite a los usuarios probarla en casi cualquier tarea en inglés. Ahora puede solicitar acceso para integrar la API en su producto, desarrollar una aplicación completamente nueva o ayudarnos a explorar los puntos fuertes y débiles de la tecnología.
Con cualquier solicitud de texto, la API devolverá la terminación del texto, intentando que coincida con el patrón que hayas especificado. Puedes "programarlo" mostrando sólo algunos ejemplos de lo que quieres que haga; su éxito suele variar en función de la complejidad de la tarea. La API también permite afinar el rendimiento en tareas específicas mediante el entrenamiento de los conjuntos de datos que proporcione (pequeños o grandes) o mediante el aprendizaje de los usuarios o desarrolladores.
Hemos diseñado la API para que sea fácil de usar y flexible para que los equipos de aprendizaje automático sean más productivos. De hecho, muchos de nuestros equipos utilizan ahora la API para poder centrarse en la investigación del aprendizaje automático en lugar de los problemas de los sistemas distribuidos. Hoy, API lanza modelos con pesos de la familia GPT-3 con muchas mejoras de velocidad y rendimiento. El aprendizaje automático está evolucionando muy rápidamente y estamos actualizando constantemente nuestra tecnología para mantener a nuestros usuarios al día.
El ritmo de los avances en este campo hace que a menudo surjan nuevas aplicaciones inesperadas de la IA, tanto positivas como negativas. Detendremos el acceso a la API para usos maliciosos conocidos, como el acoso, el spam, la radicalización o el astroturfing. Pero también sabemos que no podemos prever todos los posibles resultados de esta tecnología, por lo que hoy estamos lanzando una versión beta privada en lugar de una pública, creando herramientas para ayudar a los usuarios a controlar mejor el contenido devuelto por nuestra API y explorando cuestiones de seguridad. Compartiremos lo que hemos aprendido para que nuestros usuarios y la comunidad en general puedan construir sistemas de inteligencia artificial más humanos.
Además de ser una fuente de ingresos que nos ayuda a cubrir los costes mientras perseguimos nuestra misión, la API nos ha empujado a centrarnos en la tecnología universal de la inteligencia artificial: avanzar en la tecnología, asegurar su uso y considerar su impacto en el mundo real. Esperamos que la API reduzca significativamente la barrera para fabricar productos de inteligencia artificial útiles, dando lugar a herramientas y servicios que hoy son difíciles de imaginar.
¿Le interesa saber más sobre las API? Únase a empresas como Algolia, Quizlet y Reddit, y a investigadores de organizaciones como el Middlebury Institute en nuestra beta privada.
Si quieres probar la GPT-3 hoy mismo, tendrás que inscribirte en la lista blanca de OpenAI. Pero las aplicaciones de este modelo parecen interminables: aparentemente se puede utilizar para consultar una base de datos SQL en inglés, comentar código automáticamente, crear código automáticamente, escribir títulos de artículos elegantes, escribir tuits virales y mucho más.
Pero, ¿qué ocurre bajo el capó de este increíble modelo? He aquí un (breve) vistazo al interior
GPT-3 es un modelo lingüístico basado en una red neuronal. Un modelo lingüístico es un modelo que predice la probabilidad de que una frase exista en el mundo. Por ejemplo, un modelo lingüístico podría marcar la frase: "Voy a sacar a mi perro a pasear" como más probable de existir (es decir, en línea) que la frase: "Voy a sacar mi plátano a pasear". Esto es válido tanto para las oraciones como para las frases y, en general, para cualquier secuencia de caracteres.
Como la mayoría de los modelos lingüísticos, GPT-3 se entrena de forma elegante con un conjunto de datos de texto sin etiquetar (en este caso, los datos de entrenamiento incluyen, entre otros, Common Crawl y Wikipedia). Se eliminan palabras o frases del texto de forma aleatoria y el modelo tiene que aprender a rellenarlas utilizando sólo las palabras que las rodean como contexto. Se trata de una tarea de aprendizaje sencilla que da como resultado un modelo potente y versátil.
La arquitectura del modelo GPT-3 es una red neuronal basada en transformadores. Esta arquitectura se hizo popular hace unos 2-3 años, y fue la base del popular modelo BERT NLP y del predecesor de GPT-3, GPT-2. En términos de arquitectura, la GPT-3 no es muy nueva.
¿Qué lo hace tan especial y mágico?
Es realmente grande. Quiero decir realmente grande. Con 175.000 millones de parámetros, es el mayor modelo lingüístico jamás creado (¡un orden de magnitud mayor que su competidor más cercano!) Y ha sido entrenado en el mayor conjunto de datos de todos los modelos lingüísticos. Esta parece ser la razón principal por la que GPT-3 es tan impresionantemente "inteligente" y de sonido humano.
Pero aquí está la parte realmente mágica. Gracias a su gran tamaño, la GPT-3 puede hacer lo que ningún otro modelo puede (bien) hacer: realizar tareas específicas sin ninguna configuración especial. Puedes pedirle al GPT-3 que sea un traductor, un programador, un poeta o un autor famoso, y puede hacerlo con su usuario (tú) proporcionando menos de 10 ejemplos de entrenamiento. Mierda.
Eso es lo que hace que la GPT-3 sea tan fascinante para los profesionales del aprendizaje automático. Otros modelos lingüísticos (como el BERT) requieren un complejo paso de ajuste, en el que se recopilan miles de ejemplos de pares de frases (digamos) francés-inglés para enseñarle a hacer la traducción. Para adaptar un BERT a una tarea específica (por ejemplo, traducción, resumen, detección de spam, etc.), hay que salir a buscar un gran conjunto de datos de entrenamiento (del orden de miles o decenas de miles de ejemplos), lo que puede ser engorroso o poco manejable. a veces imposible, dependiendo de la tarea. Con GPT-3, no es necesario realizar este paso de ajuste. Esa es su esencia. Eso es lo que atrae a la gente de GPT-3: tareas lingüísticas personalizables sin datos que aprender.
GPT-3 está en beta privada hoy, pero no puedo esperar a tenerlo en mis manos.
Este artículo ha sido escrito por Dale Markowitz, ingeniera de inteligencia artificial aplicada en Google, con sede en Austin (Texas), donde trabaja en la aplicación del aprendizaje automático a nuevos campos e industrias. También le gusta resolver los problemas de su vida con la IA y habla de ello en YouTube.
Sinceramente, estoy impresionado por este GPT-3. Un material genial.))))
Sin embargo, se avecina algo mucho mejor, y pronto. ¿Por qué? Porque la GPT-3 es ineficiente como el infierno en términos de eficiencia.
Ninguno de nosotros, metido en la cabeza con miles de millones de combinaciones de palabras en frases escaneadas en Internet, puede escribir libros, pensar de forma lógica y crítica y resolver problemas inconmensurablemente más complejos y ambiguos. ¿Cómo?
El aprendizaje humano es un nivel diferente de asimilación y procesamiento de la información. A la GPT-3 le falta algo en su interior, como una columna vertebral, un arquetipo, un motor interno... y no está claro qué más...
El enfoque de aprendizaje de esta red es defectuoso en comparación con el aprendizaje humano y tenemos que averiguar cuál es.
Sinceramente, estoy impresionado por este GPT-3. Un material genial. ))))
Nada nuevo en los algoritmos, pero la potencia da nuevas posibilidades y niveles de calidad de los modelos. 175 yardas no son 5000 palabras))))
Nada nuevo en los algoritmos, pero la potencia da nuevas posibilidades y niveles de calidad de los modelos. 175 yardas no son 5000 palabras))))
Esa es la cuestión, no he oído nada nuevo sobre los algoritmos. Todos estos métodos de entrenamiento de redes ya existían, la única diferencia es la escala.
Intenté encontrar ejemplos en vídeo de su funcionamiento y esto es lo que me impresionó:https://twitter.com/sharifshameem
Esta cosa crea una interfaz mediante una descripción verbal junto con una funcionalidad parcial. Al principio pensé que era una tontería, pero cuando me fijé mejor me di cuenta de que estaba equivocado. Sin embargo, todavía no podía entender del todo los límites de las posibilidades.
El alcance del GPT-3 no está claro.