Реter Konow : 트랜지스터에 대해 말하자면 아날로그 보드가 작동하려면 트랜지스터도 수정해야 합니다. 결국 트랜지스터는 비트, 즉 "숫자의 입자"를 저장하지만 아날로그 숫자는 전류의 진폭이 아니라 전압의 형태(예: 배터리)로 ALL 숫자를 저장해야 합니다. 중단.
즉, 각 트랜지스터는 배터리가 되어야 합니다. 트랜지스터의 수는 동일한(또는 그 이상) 정보의 양을 저장하기 위해 8배 이상 감소합니다. 그러나 트랜지스터 사이의 도체는 다양한 요인에 대한 저항의 민감도로 인해 데이터 전송의 오류를 줄이기 위해 미크론으로 조정되어야 합니다.
기본: int: 8비트의 4바이트 = 상태(1 또는 0)로 인코딩된 디지털 정보 32비트는 40억 이상의 가치 공간을 제공합니다. 이것을 아날로그 형식으로 변환하면 신호의 진폭(전압) 정확도는 소수점 뒤에 9개의 0이 있어야 합니다. 그렇지 않으면 전송/수신 신호가 원래 숫자를 왜곡합니다.
그러나 결국 이 신호를 전송할 때 여러 요인에 따라 도체의 저항에 방해가 되며 필연적으로 신호를 망칠 수 있고 숫자의 변환이 하지 않았다는 보장을 얻는 것은 불가능합니다. 일어나다.
Реter Konow : 기본: int: 8비트의 4바이트 = 상태(1 또는 0)로 인코딩된 디지털 정보 32비트는 40억 이상의 가치 공간을 제공합니다. 이것을 아날로그 형식으로 변환하면 신호의 진폭(전압) 정확도는 소수점 뒤에 9개의 0이 있어야 합니다. 그렇지 않으면 전송/수신 신호가 원래 숫자를 왜곡합니다.
그러나 결국 이 신호를 전송할 때 여러 요인에 따라 도체의 저항에 방해가 되며 필연적으로 신호를 망칠 수 있고 숫자의 변환이 하지 않았다는 보장을 얻는 것은 불가능합니다. 일어나다.
따라서 아날로그 컴퓨터는 없을 것입니다. 어쩌면 그냥 칩일 수도 있습니다.
이미 썼듯이 + - 20%의 오차가 허용된다면 무언가를 가릴 수 있습니다. 1-5%에 도달하면 가격이 매우 높을 것입니다. 표준 스탬프와 동일한 저항에는 10-20% 오류가 있습니다. 생산 후 정확도가 1%인 정밀 저항기 - 각각에서 정확한 + - 1% 저항 값에 도달할 때까지 도체의 두께를 자릅니다. 재료의 작은 결함에는 생산 과정에서 결정 격자가 소결되기 때문에 오차가 있습니다. 22nm 크리스탈에서 그것을 하는 방법 - 상상할 수 없습니다. 어쨌든 모든 것이 괜찮습니다. 자르는 것은 불가능합니다 ... 따라서 그들이 쓴 것처럼 높은 정확도는 없을 것입니다.
Generative Pretrained Transducer 3(GPT-3)은 딥 러닝을 사용하여 인간과 유사한 텍스트를 생성하는 자동 회귀 언어 모델입니다. 샌프란시스코의 인공지능 연구소인 OpenAI에서 만든 GPT-n 시리즈의 3세대 언어 예측 모델입니다. [2] GPT-3의 정식 버전은 이전 GPT-2보다 2배 많은 1,750억 개의 기계 학습 매개변수를 수용할 수 있습니다. [1]:14 2020년 5월에 도입되어 2020년 7월부터 베타 테스트 중인 GPT-3. [3] "사전 훈련된 언어 표현"의 자연어 처리(NLP) 시스템 추세의 일부입니다. [1] GPT-3 출시 이전에 가장 큰 언어 모델은 2020년 2월에 도입된 Microsoft의 Turing NLG로 GPT-3보다 10배 적은 대역폭을 사용했습니다. [4]
GPT-3 생성 텍스트의 품질이 너무 높아서 사람이 작성한 텍스트와 구별하기 어려운 이점과 위험이 있습니다. [4] 31명의 OpenAI 연구원 및 엔지니어가 GPT-3을 소개하는 2020년 5월 28일 소스 페이퍼를 제출했습니다. 그들의 기사에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 줄이기 위한 연구를 촉구했습니다. [1]:34 호주 철학자 David Chalmers는 GPT-3을 “지금까지 만들어진 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나입니다. "[5] GPT-3는 웹사이트를 만들고, 질문에 답하고, 약을 처방할 수 있습니다. [6]
이코노미스트(Economist)에 따르면 향상된 알고리즘, 강력한 컴퓨터, 디지털화된 데이터의 증가는 기계 학습의 혁명을 촉발했으며 새로운 방법은 언어 조작을 포함하여 2010년대에 "작업의 빠른 개선"으로 이어졌습니다[7]. 소프트웨어 모델은 "뇌의 신경 구조를 기반으로 하는 느슨한 프레임워크"에서 수천 또는 수백만 개의 예제를 사용하여 훈련됩니다. [7] 자연어 처리(NLP)에서 가장 일반적으로 사용되는 아키텍처는 신경망이다. [8] 2017년 처음 도입된 딥러닝 모델인 트랜스포머 머신러닝 모델을 기반으로 한다. [8] GPT-n 모델은 이러한 딥 러닝 신경망 아키텍처를 기반으로 합니다. 처리, 분석, 구성, 연결, 대조, 이해 및 질문에 대한 답변을 생성할 수 있는 NLP 시스템이 많이 있습니다[9].
이야기:
2018년 6월 11일 OpenAI 연구원과 엔지니어는 생성적 사전 훈련이라고 하는 프로세스에서 데이터 세트를 사용하여 거대하고 다양한 텍스트 코퍼스로 사전 훈련될 수 있는 생성 모델 - 언어 모델 - 인공 지능 시스템 -에 대한 원본 논문을 발표했습니다. . 훈련(GP). [10] 저자는 "unlabeled의 다양한 코퍼스에 대한 언어 모델의 생성적 사전 훈련" 과정을 통해 변환기-n 생성적 사전 훈련(GPT-n)에서 자연어 처리(NLP) 언어 이해 점수가 어떻게 향상되었는지 설명했습니다. 각 특정 작업에 대한 차별적 조정이 뒤따릅니다. 이것은 사람의 감독과 시간 소모적인 수동 라벨링의 필요성을 없앴습니다[10].
2020년 2월, 마이크로소프트는 튜링 자연어 생성(T-NLG)을 도입했는데, 이는 당시 "170억 개의 매개변수로 발표된 가장 큰 언어 모델"이었습니다. [11] 텍스트 요약 및 질문 답변을 포함한 다양한 작업에서 다른 어떤 언어 모델보다 우수한 성능을 보였습니다.
기회:
2020년 5월 28일 31명의 OpenAI 엔지니어 및 연구원 그룹이 작성한 arXiv 사전 인쇄는 3세대 언어인 GPT-3[1][4] 또는 Generative Pretrained Transformer 3이라는 "최첨단 언어 모델"의 개발에 대해 설명합니다. 모델. 팀은 GPT-3의 용량을 이전 버전인 GPT-2보다 2배 이상 증가시켜 GPT-3을 현재까지 가장 큰 비희소 언어 모델로 만들었습니다. [1]: 14 [2] 더 많은 GPT-3 매개변수는 더 낮은 용량의 이전 버전보다 더 높은 수준의 정확도를 제공합니다. [12] GPT-3은 Microsoft Turing NLG보다 10배 더 성능이 뛰어납니다. [4]
GPT-3에 대한 가중 사전 훈련 데이터 세트의 60%는 4,100억 바이트 쌍으로 코딩된 토큰의 필터링된 Common Crawl 버전에서 가져옵니다. [1]: 9 기타 출처 - WebText2의 토큰 190억 개(가중치 22%, Book1의 토큰 120억 개(8%), Book2의 토큰 550억 개(8%), Wikipedia의 토큰 30억 개). 3%입니다. [1]: 9 GPT-3은 수천억 단어로 훈련되었으며 CSS, JSX, Python 등으로 인코딩할 수 있습니다. [3] GPT-3 훈련 데이터는 포괄적이었기 때문에 더 이상 필요하지 않았습니다. 다양한 언어 작업을 수행하기 위한 훈련. [삼]
2020년 6월 11일 OpenAI는 OpenAI가 이 새로운 기술의 "강점과 약점을 학습"하는 데 도움이 되는 "머신 러닝 툴킷"인 사용자 친화적인 GPT-3 API에 대한 액세스를 요청할 수 있다고 발표했습니다[13][14]. ] 초대장에는 API가 일반적인 단일 사용 사례 대신 거의 "모든 영어 작업"을 수행할 수 있는 일반적인 "텍스트 입출력" 인터페이스가 있다고 설명했습니다. [13] OpenAI GPT-3 API의 비공개 초기 릴리스에 액세스할 수 있었던 한 사용자에 따르면 GPT-3은 몇 가지 간단한 프롬프트로 "놀랍도록 일관된 텍스트"를 작성하는 데 "굉장히 능숙"합니다[15].
GPT-3은 "인간 평가자가 인간이 작성한 기사와 구별하기 어려운 뉴스 기사를 생성"할 수 있기 때문에[4], GPT-3은 "언어 모델의 유익한 적용과 유해한 적용을 모두 촉진할 가능성"[1]: 34 2020년 5월 28일자 기사에서 연구원들은 "잘못된 정보, 스팸, 피싱, 법적 및 정부 절차의 남용, 사기성 학술 에세이 작성, 사회 공학적 구실." "[하나]. 저자는 위험을 줄이기 위한 연구를 요청하기 위해 이러한 위험에 주의를 기울입니다. [하나]:
OpenAI의 새로운 GPT-3
OpenAI에서 개발한 새로운 AI 모델에 액세스할 수 있는 API를 출시합니다. 단일 사용 사례를 위해 설계된 대부분의 인공 지능 시스템과 달리 오늘날 API는 사용자가 거의 모든 영어 작업에서 사용할 수 있는 범용 텍스트 입출력 인터페이스를 제공합니다. 이제 API를 제품에 통합하기 위한 액세스 권한을 요청하거나, 완전히 새로운 애플리케이션을 개발하거나, 이 기술의 강점과 약점을 탐색하는 데 도움을 받을 수 있습니다.
모든 텍스트 요청에 대해 API는 지정한 패턴과 일치하도록 시도하는 텍스트 완성을 반환합니다. 원하는 작업의 몇 가지 예만 보여줌으로써 "프로그래밍"할 수 있습니다. 그의 성공은 일반적으로 작업이 얼마나 어려운지에 따라 다릅니다. 또한 API를 사용하면 제공하는 데이터 세트(작거나 큰)에 대해 교육하거나 사용자 또는 개발자의 결과를 검토하여 특정 작업의 성능을 미세 조정할 수 있습니다.
우리는 기계 학습 팀의 생산성을 높이기 위해 사용하기 쉽고 유연해야 하는 API를 설계했습니다. 실제로 우리 팀 중 많은 수가 분산 시스템 문제보다 기계 학습 연구에 집중할 수 있도록 API를 사용하고 있습니다. 오늘 API는 속도와 처리량이 많이 개선된 GPT-3 제품군의 가중치 모델을 출시합니다. 기계 학습은 매우 빠른 속도로 발전하고 있으며 사용자를 최신 상태로 유지하기 위해 기술을 지속적으로 업데이트하고 있습니다.
이 분야의 발전 속도는 긍정적이든 부정적이든 예상치 못한 새로운 AI 적용이 종종 있음을 의미합니다. 괴롭힘, 스팸, 급진화 또는 아스트로 터핑과 같은 알려진 악의적인 사용 사례에 대한 API 액세스를 중지합니다. 그러나 우리는 또한 이 기술의 모든 가능한 의미를 예측할 수 없다는 것을 알고 있습니다. 그래서 오늘 공개 베타가 아닌 비공개 베타를 출시하고 사용자가 API에서 반환된 콘텐츠를 더 잘 제어할 수 있도록 도와주는 도구를 구축하고 조사하고 있습니다. 보안 문제들. 언어 기술의 측면(예: 분석, 완화 및 유해한 편견 제거). 우리는 사용자와 더 넓은 커뮤니티가 더 많은 인간 AI 시스템을 구축할 수 있도록 우리가 배운 것을 공유할 것입니다.
API는 우리가 미션 비용을 충족하는 데 도움이 되는 수익원이 되는 것 외에도 범용 AI 기술에 초점을 맞추도록 했습니다. API가 유용한 AI 제품을 생산하는 장벽을 크게 낮추어 오늘날 상상하기 힘든 도구와 서비스로 이어지기를 바랍니다.
API 학습에 관심이 있으십니까? Algolia, Quizlet 및 Reddit과 같은 회사와 Middlebury Institute와 같은 조직의 연구원과 비공개 베타에 참여하세요.
오늘 GPT-3를 시험해보고 싶다면 OpenAI 화이트리스트에 신청해야 합니다. 그러나 이 모델의 응용 프로그램은 끝이 없어 보입니다. 일반 영어로 SQL 데이터베이스를 쿼리하고, 코드를 자동으로 주석 처리하고, 코드를 자동 생성하고, 최신 유행 기사 제목을 작성하고, 인기 트윗을 작성하는 등의 작업에 사용할 수 있다고 가정합니다.
그러나 이 놀라운 모델의 후드 아래에서는 어떤 일이 벌어질까요? (간단한) 내부 모습입니다.
GPT-3는 신경망 기반 언어 모델입니다. 언어 모델은 문장이 세상에 존재할 가능성을 예측하는 모델입니다. 예를 들어, 언어 모델은 "나는 산책을 위해 내 개를 데리고 갑니다"라는 구를 "나는 산책을 위해 바나나를 가져갑니다"라는 구보다 (즉, 인터넷에) 존재할 가능성이 더 높은 구를 지정할 수 있습니다. 이는 문장뿐만 아니라 구, 보다 일반적으로 모든 문자 시퀀스에 해당됩니다.
대부분의 언어 모델과 마찬가지로 GPT-3은 레이블이 지정되지 않은 텍스트 데이터 세트에서 우아하게 훈련합니다(이 경우 훈련 데이터에는 특히 Common Crawl 및 Wikipedia가 포함됨). 단어나 구는 텍스트에서 무작위로 제거되며 모델은 주변 단어만 컨텍스트로 사용하여 채우는 방법을 학습해야 합니다. 이것은 강력하고 다양한 모델을 생성하는 간단한 학습 작업입니다.
GPT-3 모델의 바로 그 아키텍처는 변압기를 기반으로 하는 신경망입니다. 이 아키텍처는 약 2~3년 전에 대중화되었으며 대중적인 BERT NLP 모델이자 GPT-3의 전신인 GPT-2의 기반이 되었습니다. 구조적으로 말해서 GPT-3은 실제로 그리 새로운 것이 아닙니다!
무엇이 그것을 그토록 특별하고 신비롭게 만드는가?
정말 큽니다. 정말 크다는 뜻입니다. 1,750억 개의 매개변수가 있는 이 모델은 가장 큰 언어 모델이며(가장 가까운 경쟁자보다 10배 더 큼!) 모든 언어 모델의 가장 큰 데이터 세트에서 훈련되었습니다. 분명히 이것이 GPT-3가 인상적으로 똑똑하고 인간적인 소리를 내는 주된 이유입니다.
하지만 여기에 정말 마법 같은 부분이 있습니다. 순수한 크기 덕분에 GPT-3은 다른 모델이 특별한 구성 없이 특정 작업을 (잘) 수행할 수 없는 작업을 수행할 수 있습니다. GPT-3에게 번역가, 프로그래머, 시인 또는 유명 작가가 되라고 요청할 수 있으며 10개 미만의 자습서를 제공하는 사용자(귀하)의 도움으로 그렇게 할 수 있습니다. 젠장.
이것이 GPT-3를 기계 학습 실무자에게 매우 흥미롭게 만드는 이유입니다. 다른 언어 모델(예: BERT)은 프랑스어-영어 문장 쌍의 수천 가지 예를 수집하여 번역 방법을 가르치는 복잡한 미세 조정 단계가 필요합니다. BERT를 특정 작업(예: 번역, 일반화, 스팸 감지 등)에 맞게 조정하려면 나가서 대규모 훈련 데이터 세트(예: 수천 또는 수만 개 정도)를 찾아야 합니다. 다루기 힘든 또는 다루기 힘든. 때로는 작업에 따라 불가능합니다. GPT-3을 사용하면 이 미세 조정 단계를 수행할 필요가 없습니다. 이것이 그의 본질이다. 이것이 사람들을 GPT-3에 끌어들이는 이유입니다. 교육 데이터 없이 사용자 정의 가능한 언어 문제입니다.
GPT-3는 오늘 비공개 베타 버전이지만 빨리 사용해보고 싶습니다.
이 기사는 텍사스 오스틴에 위치한 Google의 응용 AI 엔지니어인 Dale Markowitz가 작성했으며 이곳에서 기계 학습을 새로운 영역과 산업에 적용하는 작업을 하고 있습니다. 그녀는 또한 인공 지능으로 인생의 문제를 해결하는 것을 즐기고 YouTube에서 이에 대해 이야기합니다.
GPT 3 can write poetry, translate text, chat convincingly, and answer abstract questions. It's being used to code, design and much more. I'll give you a demo...
트랜지스터에 대해 말하자면 아날로그 보드가 작동하려면 트랜지스터도 수정해야 합니다. 결국 트랜지스터는 비트, 즉 "숫자의 입자"를 저장하지만 아날로그 숫자는 전류의 진폭이 아니라 전압의 형태(예: 배터리)로 ALL 숫자를 저장해야 합니다. 중단.
기본: int: 8비트의 4바이트 = 상태(1 또는 0)로 인코딩된 디지털 정보 32비트는 40억 이상의 가치 공간을 제공합니다. 이것을 아날로그 형식으로 변환하면 신호의 진폭(전압) 정확도는 소수점 뒤에 9개의 0이 있어야 합니다. 그렇지 않으면 전송/수신 신호가 원래 숫자를 왜곡합니다.
22nm 크리스탈에서 그것을 하는 방법 - 상상할 수 없습니다. 어쨌든 모든 것이 괜찮습니다. 자르는 것은 불가능합니다 ...
따라서 그들이 쓴 것처럼 높은 정확도는 없을 것입니다.
그리드는 이미 프로그램을 작성할 수 있습니다.
GPT-3에 대한 번역 일반 정보: (번역 결함 있음)
위키피디아:
Generative Pretrained Transducer 3(GPT-3)은 딥 러닝을 사용하여 인간과 유사한 텍스트를 생성하는 자동 회귀 언어 모델입니다. 샌프란시스코의 인공지능 연구소인 OpenAI에서 만든 GPT-n 시리즈의 3세대 언어 예측 모델입니다. [2] GPT-3의 정식 버전은 이전 GPT-2보다 2배 많은 1,750억 개의 기계 학습 매개변수를 수용할 수 있습니다. [1]:14 2020년 5월에 도입되어 2020년 7월부터 베타 테스트 중인 GPT-3. [3] "사전 훈련된 언어 표현"의 자연어 처리(NLP) 시스템 추세의 일부입니다. [1] GPT-3 출시 이전에 가장 큰 언어 모델은 2020년 2월에 도입된 Microsoft의 Turing NLG로 GPT-3보다 10배 적은 대역폭을 사용했습니다. [4]
GPT-3 생성 텍스트의 품질이 너무 높아서 사람이 작성한 텍스트와 구별하기 어려운 이점과 위험이 있습니다. [4] 31명의 OpenAI 연구원 및 엔지니어가 GPT-3을 소개하는 2020년 5월 28일 소스 페이퍼를 제출했습니다. 그들의 기사에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 줄이기 위한 연구를 촉구했습니다. [1]:34 호주 철학자 David Chalmers는 GPT-3을 “지금까지 만들어진 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나입니다. "[5] GPT-3는 웹사이트를 만들고, 질문에 답하고, 약을 처방할 수 있습니다. [6]
이코노미스트(Economist)에 따르면 향상된 알고리즘, 강력한 컴퓨터, 디지털화된 데이터의 증가는 기계 학습의 혁명을 촉발했으며 새로운 방법은 언어 조작을 포함하여 2010년대에 "작업의 빠른 개선"으로 이어졌습니다[7]. 소프트웨어 모델은 "뇌의 신경 구조를 기반으로 하는 느슨한 프레임워크"에서 수천 또는 수백만 개의 예제를 사용하여 훈련됩니다. [7] 자연어 처리(NLP)에서 가장 일반적으로 사용되는 아키텍처는 신경망이다. [8] 2017년 처음 도입된 딥러닝 모델인 트랜스포머 머신러닝 모델을 기반으로 한다. [8] GPT-n 모델은 이러한 딥 러닝 신경망 아키텍처를 기반으로 합니다. 처리, 분석, 구성, 연결, 대조, 이해 및 질문에 대한 답변을 생성할 수 있는 NLP 시스템이 많이 있습니다[9].
이야기:
2018년 6월 11일 OpenAI 연구원과 엔지니어는 생성적 사전 훈련이라고 하는 프로세스에서 데이터 세트를 사용하여 거대하고 다양한 텍스트 코퍼스로 사전 훈련될 수 있는 생성 모델 - 언어 모델 - 인공 지능 시스템 -에 대한 원본 논문을 발표했습니다. . 훈련(GP). [10] 저자는 "unlabeled의 다양한 코퍼스에 대한 언어 모델의 생성적 사전 훈련" 과정을 통해 변환기-n 생성적 사전 훈련(GPT-n)에서 자연어 처리(NLP) 언어 이해 점수가 어떻게 향상되었는지 설명했습니다. 각 특정 작업에 대한 차별적 조정이 뒤따릅니다. 이것은 사람의 감독과 시간 소모적인 수동 라벨링의 필요성을 없앴습니다[10].
2020년 2월, 마이크로소프트는 튜링 자연어 생성(T-NLG)을 도입했는데, 이는 당시 "170억 개의 매개변수로 발표된 가장 큰 언어 모델"이었습니다. [11] 텍스트 요약 및 질문 답변을 포함한 다양한 작업에서 다른 어떤 언어 모델보다 우수한 성능을 보였습니다.
기회:
2020년 5월 28일 31명의 OpenAI 엔지니어 및 연구원 그룹이 작성한 arXiv 사전 인쇄는 3세대 언어인 GPT-3[1][4] 또는 Generative Pretrained Transformer 3이라는 "최첨단 언어 모델"의 개발에 대해 설명합니다. 모델. 팀은 GPT-3의 용량을 이전 버전인 GPT-2보다 2배 이상 증가시켜 GPT-3을 현재까지 가장 큰 비희소 언어 모델로 만들었습니다. [1]: 14 [2] 더 많은 GPT-3 매개변수는 더 낮은 용량의 이전 버전보다 더 높은 수준의 정확도를 제공합니다. [12] GPT-3은 Microsoft Turing NLG보다 10배 더 성능이 뛰어납니다. [4]
GPT-3에 대한 가중 사전 훈련 데이터 세트의 60%는 4,100억 바이트 쌍으로 코딩된 토큰의 필터링된 Common Crawl 버전에서 가져옵니다. [1]: 9 기타 출처 - WebText2의 토큰 190억 개(가중치 22%, Book1의 토큰 120억 개(8%), Book2의 토큰 550억 개(8%), Wikipedia의 토큰 30억 개). 3%입니다. [1]: 9 GPT-3은 수천억 단어로 훈련되었으며 CSS, JSX, Python 등으로 인코딩할 수 있습니다. [3] GPT-3 훈련 데이터는 포괄적이었기 때문에 더 이상 필요하지 않았습니다. 다양한 언어 작업을 수행하기 위한 훈련. [삼]
2020년 6월 11일 OpenAI는 OpenAI가 이 새로운 기술의 "강점과 약점을 학습"하는 데 도움이 되는 "머신 러닝 툴킷"인 사용자 친화적인 GPT-3 API에 대한 액세스를 요청할 수 있다고 발표했습니다[13][14]. ] 초대장에는 API가 일반적인 단일 사용 사례 대신 거의 "모든 영어 작업"을 수행할 수 있는 일반적인 "텍스트 입출력" 인터페이스가 있다고 설명했습니다. [13] OpenAI GPT-3 API의 비공개 초기 릴리스에 액세스할 수 있었던 한 사용자에 따르면 GPT-3은 몇 가지 간단한 프롬프트로 "놀랍도록 일관된 텍스트"를 작성하는 데 "굉장히 능숙"합니다[15].
GPT-3은 "인간 평가자가 인간이 작성한 기사와 구별하기 어려운 뉴스 기사를 생성"할 수 있기 때문에[4], GPT-3은 "언어 모델의 유익한 적용과 유해한 적용을 모두 촉진할 가능성"[1]: 34 2020년 5월 28일자 기사에서 연구원들은 "잘못된 정보, 스팸, 피싱, 법적 및 정부 절차의 남용, 사기성 학술 에세이 작성, 사회 공학적 구실." "[하나]. 저자는 위험을 줄이기 위한 연구를 요청하기 위해 이러한 위험에 주의를 기울입니다. [하나]:
OpenAI의 새로운 GPT-3
OpenAI에서 개발한 새로운 AI 모델에 액세스할 수 있는 API를 출시합니다. 단일 사용 사례를 위해 설계된 대부분의 인공 지능 시스템과 달리 오늘날 API는 사용자가 거의 모든 영어 작업에서 사용할 수 있는 범용 텍스트 입출력 인터페이스를 제공합니다. 이제 API를 제품에 통합하기 위한 액세스 권한을 요청하거나, 완전히 새로운 애플리케이션을 개발하거나, 이 기술의 강점과 약점을 탐색하는 데 도움을 받을 수 있습니다.
모든 텍스트 요청에 대해 API는 지정한 패턴과 일치하도록 시도하는 텍스트 완성을 반환합니다. 원하는 작업의 몇 가지 예만 보여줌으로써 "프로그래밍"할 수 있습니다. 그의 성공은 일반적으로 작업이 얼마나 어려운지에 따라 다릅니다. 또한 API를 사용하면 제공하는 데이터 세트(작거나 큰)에 대해 교육하거나 사용자 또는 개발자의 결과를 검토하여 특정 작업의 성능을 미세 조정할 수 있습니다.
우리는 기계 학습 팀의 생산성을 높이기 위해 사용하기 쉽고 유연해야 하는 API를 설계했습니다. 실제로 우리 팀 중 많은 수가 분산 시스템 문제보다 기계 학습 연구에 집중할 수 있도록 API를 사용하고 있습니다. 오늘 API는 속도와 처리량이 많이 개선된 GPT-3 제품군의 가중치 모델을 출시합니다. 기계 학습은 매우 빠른 속도로 발전하고 있으며 사용자를 최신 상태로 유지하기 위해 기술을 지속적으로 업데이트하고 있습니다.
이 분야의 발전 속도는 긍정적이든 부정적이든 예상치 못한 새로운 AI 적용이 종종 있음을 의미합니다. 괴롭힘, 스팸, 급진화 또는 아스트로 터핑과 같은 알려진 악의적인 사용 사례에 대한 API 액세스를 중지합니다. 그러나 우리는 또한 이 기술의 모든 가능한 의미를 예측할 수 없다는 것을 알고 있습니다. 그래서 오늘 공개 베타가 아닌 비공개 베타를 출시하고 사용자가 API에서 반환된 콘텐츠를 더 잘 제어할 수 있도록 도와주는 도구를 구축하고 조사하고 있습니다. 보안 문제들. 언어 기술의 측면(예: 분석, 완화 및 유해한 편견 제거). 우리는 사용자와 더 넓은 커뮤니티가 더 많은 인간 AI 시스템을 구축할 수 있도록 우리가 배운 것을 공유할 것입니다.
API는 우리가 미션 비용을 충족하는 데 도움이 되는 수익원이 되는 것 외에도 범용 AI 기술에 초점을 맞추도록 했습니다. API가 유용한 AI 제품을 생산하는 장벽을 크게 낮추어 오늘날 상상하기 힘든 도구와 서비스로 이어지기를 바랍니다.
API 학습에 관심이 있으십니까? Algolia, Quizlet 및 Reddit과 같은 회사와 Middlebury Institute와 같은 조직의 연구원과 비공개 베타에 참여하세요.
오늘 GPT-3를 시험해보고 싶다면 OpenAI 화이트리스트에 신청해야 합니다. 그러나 이 모델의 응용 프로그램은 끝이 없어 보입니다. 일반 영어로 SQL 데이터베이스를 쿼리하고, 코드를 자동으로 주석 처리하고, 코드를 자동 생성하고, 최신 유행 기사 제목을 작성하고, 인기 트윗을 작성하는 등의 작업에 사용할 수 있다고 가정합니다.
그러나 이 놀라운 모델의 후드 아래에서는 어떤 일이 벌어질까요? (간단한) 내부 모습입니다.
GPT-3는 신경망 기반 언어 모델입니다. 언어 모델은 문장이 세상에 존재할 가능성을 예측하는 모델입니다. 예를 들어, 언어 모델은 "나는 산책을 위해 내 개를 데리고 갑니다"라는 구를 "나는 산책을 위해 바나나를 가져갑니다"라는 구보다 (즉, 인터넷에) 존재할 가능성이 더 높은 구를 지정할 수 있습니다. 이는 문장뿐만 아니라 구, 보다 일반적으로 모든 문자 시퀀스에 해당됩니다.
대부분의 언어 모델과 마찬가지로 GPT-3은 레이블이 지정되지 않은 텍스트 데이터 세트에서 우아하게 훈련합니다(이 경우 훈련 데이터에는 특히 Common Crawl 및 Wikipedia가 포함됨). 단어나 구는 텍스트에서 무작위로 제거되며 모델은 주변 단어만 컨텍스트로 사용하여 채우는 방법을 학습해야 합니다. 이것은 강력하고 다양한 모델을 생성하는 간단한 학습 작업입니다.
GPT-3 모델의 바로 그 아키텍처는 변압기를 기반으로 하는 신경망입니다. 이 아키텍처는 약 2~3년 전에 대중화되었으며 대중적인 BERT NLP 모델이자 GPT-3의 전신인 GPT-2의 기반이 되었습니다. 구조적으로 말해서 GPT-3은 실제로 그리 새로운 것이 아닙니다!
무엇이 그것을 그토록 특별하고 신비롭게 만드는가?
정말 큽니다. 정말 크다는 뜻입니다. 1,750억 개의 매개변수가 있는 이 모델은 가장 큰 언어 모델이며(가장 가까운 경쟁자보다 10배 더 큼!) 모든 언어 모델의 가장 큰 데이터 세트에서 훈련되었습니다. 분명히 이것이 GPT-3가 인상적으로 똑똑하고 인간적인 소리를 내는 주된 이유입니다.
하지만 여기에 정말 마법 같은 부분이 있습니다. 순수한 크기 덕분에 GPT-3은 다른 모델이 특별한 구성 없이 특정 작업을 (잘) 수행할 수 없는 작업을 수행할 수 있습니다. GPT-3에게 번역가, 프로그래머, 시인 또는 유명 작가가 되라고 요청할 수 있으며 10개 미만의 자습서를 제공하는 사용자(귀하)의 도움으로 그렇게 할 수 있습니다. 젠장.
이것이 GPT-3를 기계 학습 실무자에게 매우 흥미롭게 만드는 이유입니다. 다른 언어 모델(예: BERT)은 프랑스어-영어 문장 쌍의 수천 가지 예를 수집하여 번역 방법을 가르치는 복잡한 미세 조정 단계가 필요합니다. BERT를 특정 작업(예: 번역, 일반화, 스팸 감지 등)에 맞게 조정하려면 나가서 대규모 훈련 데이터 세트(예: 수천 또는 수만 개 정도)를 찾아야 합니다. 다루기 힘든 또는 다루기 힘든. 때로는 작업에 따라 불가능합니다. GPT-3을 사용하면 이 미세 조정 단계를 수행할 필요가 없습니다. 이것이 그의 본질이다. 이것이 사람들을 GPT-3에 끌어들이는 이유입니다. 교육 데이터 없이 사용자 정의 가능한 언어 문제입니다.
GPT-3는 오늘 비공개 베타 버전이지만 빨리 사용해보고 싶습니다.
이 기사는 텍사스 오스틴에 위치한 Google의 응용 AI 엔지니어인 Dale Markowitz가 작성했으며 이곳에서 기계 학습을 새로운 영역과 산업에 적용하는 작업을 하고 있습니다. 그녀는 또한 인공 지능으로 인생의 문제를 해결하는 것을 즐기고 YouTube에서 이에 대해 이야기합니다.
솔직히, 이 GPT-3의 오브겔. 멋진 일.))))
그러나 훨씬 더 멋진 것이 곧 있을 것입니다. 왜요? GPT-3는 효율성 면에서 지독하게 비효율적이기 때문입니다.
우리 중 누구도 인터넷을 검색하여 문장의 수십억 단어 조합을 머릿속에 채우지 않았지만 동시에 책을 쓰고 논리적이고 비판적으로 생각하며 헤아릴 수 없이 더 복잡하고 모호한 작업을 해결할 수 있습니다. 어떻게?
인간의 학습은 정보의 동화 및 처리의 다른 수준입니다. GPT-3은 마치 능선, 아키텍처, 내부 엔진처럼 내부에 무언가가 부족하고 ... 그리고 다른 것은 여전히 불분명합니다 ...
이 네트워크를 훈련하는 접근 방식은 인간 훈련에 비해 결함이 있으며 정확히 무엇을 파악해야 합니다.
솔직히, 이 GPT-3의 오브겔. 멋진 일.))))
알고리즘에 새로운 것은 없지만 힘은 새로운 가능성과 모델의 품질 수준을 제공합니다. 175야드는 5000단어가 아닙니다))))
알고리즘에 새로운 것은 없지만 힘은 새로운 가능성과 모델의 품질 수준을 제공합니다. 175야드는 5000단어가 아닙니다))))
문제의 사실은 알고리즘에 대해 새로운 소식을 듣지 못했다는 것입니다. 이러한 모든 훈련 네트워크 방법은 이미 사용되었습니다. 차이점은 규모뿐입니다.
나는 작업의 비디오 예를 찾으려고 노력했고 이것이 나에게 깊은 인상을주었습니다. https://twitter.com/sharifshameem
이것은 부분적인 기능과 함께 구두 설명에서 인터페이스를 생성합니다. 처음에는 말도 안 된다고 생각했지만 자세히 보니 내가 틀렸다는 것을 깨달았습니다. 그러나 그는 가능성의 한계를 완전히 이해할 수 없었습니다.
GPT-3가 할 수 있는 일의 한계는 불분명합니다.