거리 측정기가 나타났을 때 장애물의 구성과 궤적의 기억을 구별하기 시작했을 때 진공 청소기에 대한 과대 광고도있었습니다))) 그러나 아무 것도 변경되지 않았습니다) 여기에서도 동일합니다. 킬라의 뇌는 그대로 남아 있었고 욕망도 옳지 않습니다)))))
요점을 잘 이해하지 못했습니다. 기술진화의 단계를 건너뛰는 것은 좋지 않으니 서둘러 참여해야 한다는 말이다. 일반 사람들은 이미 GPT-3를 기반으로 새로운 상용 제품을 만들고 있습니다. 간단한 일에 돈을 "절감"할 수 있습니다. 이 네트워크는 새롭고 신선한 기회를 제공합니다. 나는 그것을 받아들이고 싶지 않습니다.)
우주에 또 다른 진화적 유산이 아니라 더 높은 신경 활동이 필요하다는 것을 증명한 사람이 있습니까? 이 오해를 뒷받침하는 조건이 있는 한 발전합니다. 그러나 곧 스스로를 파괴하는 바이러스와 같은 것이 될 수 있습니다. 그러나 그것은 훨씬 더 산문 일 것입니다. 행성의 조건이 너무 많이 변하여 사피엔스가 죽을 것입니다. 확률 이론에 따르면 이것이 가장 현실적인 예측입니다. 그 이후에 어떤 종류의 의인화 된 AI가 있더라도 적어도 직접적인 경쟁자이기 때문에 우리는 화를 내야합니다. 그리고 그것이 사피엔스에서 살아남는다면 그들은 스스로에게 해를 끼칠 것입니다. 그러나 물론 이 중 어느 것도 일어나지 않을 것입니다. 왜냐하면 우주는 우리, 아니 오히려 그들의 부재에 대해 완전히 다른 계획을 가지고 있습니다.
Maxim Dmitrievsky : 우주에 또 다른 진화적 유산이 아니라 더 높은 신경 활동이 필요하다는 것을 증명한 사람이 있습니까? 이 오해를 뒷받침하는 조건이 있는 한 발전합니다. 그러나 곧 스스로를 파괴하는 바이러스와 같은 것이 될 수 있습니다. 그러나 그것은 훨씬 더 산문 일 것입니다. 행성의 조건이 너무 많이 변하여 사피엔스가 죽을 것입니다. 확률 이론에 따르면 이것이 가장 현실적인 예측입니다. 그 이후에 어떤 종류의 의인화 된 AI가 있더라도 적어도 직접적인 경쟁자이기 때문에 우리는 화를 내야합니다. 그리고 그것이 사피엔스에서 살아남는다면 그들은 스스로에게 해를 끼칠 것입니다. 그러나 물론 이 중 어느 것도 일어나지 않을 것입니다. 왜냐하면 우주는 우리, 아니 오히려 그들의 부재에 대해 완전히 다른 계획을 가지고 있습니다.
그런 다음 그것은 신경 활동의 모방입니다) 그리고 결국 잔인한 테버는 무엇입니까)))) 그러나 상속 제도가 폐지되면 세계 전체가 더 좋아지거나 나빠질 것이며 발전 속도는 어느 방향으로 갈 것입니까? ))))
요점을 잘 이해하지 못했습니다. 기술진화의 단계를 건너뛰는 것은 좋지 않으니 서둘러 참여해야 한다는 말이다. 일반 사람들은 이미 GPT-3를 기반으로 새로운 상용 제품을 만들고 있습니다. 간단한 일에 돈을 "절감"할 수 있습니다. 이 네트워크는 새롭고 신선한 기회를 제공합니다. 나는 그것을 받아들이고 싶지 않습니다.)
그녀는 쉽게 조언자를 쓸 수 있을 것 같다.
의미는 세트의 발전 벡터가 멤버들의 누적된 욕망에 의해 결정된다는 뜻) 그리고 항상 과대 광고로 돈을 벌 수 있습니다. 생각은 건전합니다. Expert Advisors는 물론 쓸 수 있지만 MT5는 이미 정상적으로 형성합니다. 그러나 알고리즘의 공백이 아닌 알고리즘을 선택하는 것은 거의 불가능합니다.
GPT-3은 믿을 수 없을 정도로 인간적인 결과의 예를 통해 인터넷을 폭풍으로 몰아넣고 있는 자연어 처리 신경망입니다. 간단히 말해, 방대한 텍스트 데이터 세트를 사용하여 서로 잘 어울리는 단어를 예측합니다. 마치 누군가가 인터넷 전체를 가져와 그에게 목소리를 내는 방법을 알아낸 것과 같습니다.
그러나 그러한 유추에는 주의해야 합니다. OpenAI의 새로운 창조물은 "절망의 골"이라고 말할 수 있는 것보다 더 빠르게 과대 광고 사이클을 가속화하고 있으며, 행렬 곱셈을 의인화하는 너무 인간적인 함정에 빠지지 않도록 하는 것이 중요합니다.
Clarke의 세 번째 법칙은 "충분히 발전된 기술은 마술과 구별할 수 없다"고 명시되어 있으며 GPT-3에 의해 배치된 패턴 인식 프레임워크는 몇 가지 놀라운 트릭을 만드는 데 사용할 수 있습니다. 이 기사의 목적은 마술사의 코드를 해독하고 마술사의 코드가 어떻게 작동하는지, 어떤 트릭이 잘 수행되는지, 속아서 사랑에 빠지기 전에 속임수를 인식하는 방법을 설명하는 것입니다.
반면에 AI의 마법을 풀고 이것이 진정한 지능이 아니며 진정한 생각이나 진정한 창의성이 아니라는 것을 스스로에게 상기시키는 과정은 그 자체로 AI의 진보 경로입니다. 2002년에 인공 지능 연구원인 로드니 브룩스는 이렇게 불평했습니다. 우리는 '아, 그것은 단지 계산일 뿐입니다.'라고 말합니다."
이 기사가 끝날 때쯤에는 GPT-3이 "계산에 불과한 것"이자 믿을 수 없을 정도로 세상을 바꾸는 마법이라는 데 동의하기를 바랍니다.
참고: 이 에세이는 GPT-3, 해당 기능 및 제한 사항에 대해 알고 있는 비기술적 개요(일반 청중을 위한 단순화로 가득 차 있음)입니다. 나보다 훨씬 똑똑한 사람들이 훨씬 더 나은 기술 설명을 작성했으므로 그것이 문제라면 시도해 보십시오. 여기서 배울 뿐만 아니라 배우고 있으니 놓친 부분이 있으면 알려주세요. (참고로 저는 이미 미래에 살고 있는 몇몇 블로거들과 달리 아직 GPT-3에게 제 글을 써달라고 요청할 수 없기 때문에 제가 직접 작성해야 했습니다.)
어떻게 작동합니까
세계에서 가장 빠른 컴퓨터, 가장 똑똑한 사람들, 가장 많은 돈에 접근할 수 있다면 GPT-3는 세 가지 간단한 단계로 줄일 수 있습니다.
1단계: 50만 권 이상의 책, 모든 Wikipedia 및 나머지 인터넷의 방대한 부분을 포함하는 엄청나게 거대한 데이터 세트를 만듭니다. 전체적으로 GPT-3 데이터 세트에는 약 50억 단어 또는 "토큰"이 포함되어 있습니다.
2단계: 엄청난 양의 컴퓨팅 파워로 이 데이터를 처리합니다. 이것을 신경망 "훈련"이라고 하며 GPT-3를 훈련하려면 1만 년 동안 매초 1조 건의 계산이 필요합니다. 우리는 종종 아주 큰 숫자를 그냥 지나치므로 잠시 멈추고 그것에 대해 생각해 봅시다. 지금까지 살았던 모든 인간이 태어나서 죽을 때까지 깨어 있는 모든 순간을 1초에 한 번 계산하는 데 보낸다면 우리 종은 GPT-3의 1%의 수백 분의 1을 배울 수 있습니다.
다음은 일부 이전 모델과 비교한 GPT-3 훈련의 모습입니다(이것은 대수 척도이므로 가장 큰 GPT-3 모델은 이전 테스트인 BERT-Base보다 약 1000배 더 많은 처리 능력이 필요합니다):
3단계 . 패턴을 정의하고 재현합니다. 이 모든 컴퓨팅 능력으로 우리는 무엇을 하고 있습니까? 단순화하기 위해 신경망은 데이터를 처리하고 사물이 다른 사물과 관련될 가능성을 추정합니다. 이 프로세스는 휴먼 패턴 매칭 기능을 모델로 하며 다음과 같이 시각화할 수 있습니다.
이러한 패턴을 결정하는 방법은 복잡하지만 GPT-3이 찾는 기본 패턴은 간단합니다.
단어가 다른 단어 옆에 올 때 일반적으로 어떤 단어가 다음에 옵니까?
GPT-3에 "Declaration of..."라는 힌트를 제공하면 이 세 단어가 순서대로 나타날 때 일반적으로 "...Independence"가 뒤에 오지만 때때로 (its 덜 알려진 전임자) "... 무기를 복용하는 이유와 필요성".
간단한 마법 훈련
GPT-3을 마법처럼 만드는 이유는 이것이 범용 언어 모델이라는 점입니다. 즉, 힌트를 줄 수 있고 일반적으로 합리적인 답변을 제공합니다.
대부분의 신경망은 제한된 문제 공간에서만 작동하는 미세 조정된 모델입니다. 누군가 "고양이" 태그가 붙은 고양이 이미지와 "고양이 아님" 태그가 붙은 다른 이미지와 같은 구조화된 데이터를 입력한 다음 모델에게 고양이가 있는지 묻습니다. 인상적이지만 단점은 미리 코딩된 고양이 예제(또는 무엇이든)가 많이 필요하고 수행하려는 모든 작업에 대해 새로운 사용자 지정 모델을 만들어야 한다는 것입니다.
GPT -3은 완전히 다른 수준에서 작동합니다. 수십억 개의 영어 예제를 학습하기 때문에 특정 설정이나 학습 세트에 의존하지 않고 입력하는 단어에 따라 반응합니다. 더욱 놀라운 것은, 주어진 형식으로 몇 가지 예("스냅샷")를 제공할 수 있으며, 해당 형식이 나타내는 내용(이 경우 영어-프랑스어 번역)을 결정하고 동일한 형식으로 새 응답을 생성합니다.
이것이 얼마나 놀라운 일인지 분명히 하기 위해 GPT-3에서 언어나 번역에 대해 알거나 "[단어] =>" 뒤에 다른 언어로 해당 단어가 와야 한다고 프로그래밍한 사람은 아무도 없습니다. 모델은 이 작은 텍스트를 보고 갑자기 영어에서 프랑스어로 번역 서비스로 일할 수 있습니다.
이를 통해 다양한 사용 사례에서 GPT-3을 유연하게 사용할 수 있습니다. 나는 웹을 검색하고 아래에서 가장 설득력 있는 예라고 생각하는 것을 편집했습니다.
GPT-3의 좋은 점
여기까지 왔다면 GPT-3이 임의의 입력을 수용할 수 있으며 특히 몇 가지 예를 들면 이러한 것들을 더 많이 생성할 수 있다는 것을 이해하게 됩니다. 이에 적합한 작업은 무엇입니까?
GPT-3은 번역 및 퀴즈와 같은 좀 더 전통적인 AI 테스트 작업을 꽤 잘 처리합니다(어떤 경우에는 이러한 테스트를 해결하기 위해 맞춤 제작되고 미세 조정된 모델보다 낫습니다!). 또한 사람들이 권장 사항 및 일반화와 같은 기계 학습 모델에서 기대하는 것에도 능숙합니다. 그러나 벤치마크는 GPT-3이 정말로 뛰어난 부분, 즉 창의성처럼 보이고 느껴지는 부분에 대한 좋은 질적 지표를 제공하지 않습니다.
말하다
GPT-3이 범용 언어 모델이라는 점을 감안할 때 가장 즐거운 사용 사례 중 하나는 단순히 이 모델을 사용하는 것입니다. McKay Wrigley는 다음과 같은 가슴 아픈 순간을 포함하여 솔직히 사실이라고 하기에는 너무 좋아 보이는 GPT-3와의 이 대화를 게시했습니다.
* 아니요, GPT-3에는 실제로 "소원"이 없습니다. 텍스트를 처리하고 인터넷에서 확률적으로 관련된 단어를 출력할 뿐입니다. 이에 대한 크리에이티브 라이선스를 계속 행사할 것입니다.
의인
그러나 우리는 단지 워밍업 중입니다. GPT-3은 단지 당신에게 말을 하는 것이 아니라 어떤 주제에 대해 누구와도 이야기할 수 있게 해줍니다(아마도 그들의 생각이 인터넷에 충분히 표현되어 있는 한). 다음은 그녀의 캐릭터가 소셜 미디어를 사용하는 방법에 대한 Jane Austen입니다.
GPT-3의 가장 기능을 실제로 테스트하기 위해 다른 캐릭터에게 동일한 질문을 하고 답변의 내용과 음성에서 차이점을 찾을 수 있습니다. Andrew Main은 미적분학을 발명한 Newton과 Leibniz에게 물었고 각각 소유권을 강력하게 주장했습니다(Leibniz는 특히 그 문제에 대한 역사적 입장에 의해 제한을 느꼈습니다). 반면 Isaac Asimov는 상대적 기여에 대한 미묘한 아이디어를 제공합니다.
Newton: 먼저 대수학을 발명했습니다. 그런 다음 미적분학을 발명했습니다. 그런 다음 나는 갔다
잉글랜드의 고향.
라이프니츠: 1672년에 미적분학을 발견하고 1684년에 출판했습니다. 나는 느낀다
내 개인적인 의무는 나머지 세계가
나를 수학적 분석의 진정한 발견자로 인정합니다. 미적분학을 먼저 발견했다고 주장하면 죽임을 당한다는 점에 유의하십시오.
아시모프: 좋은 질문입니다. 실제로는 매우 복잡하지만 시도해 보겠습니다.
고대 그리스인에게는 미적분학이 없었습니다. 그들은 기하학을 발명했지만 기하학은 거리와 면적과 같은 요소가 고정되어 있을 때만 작동합니다. 미적분학을 사용하면 속도 및 가속도와 같이 끊임없이 변화하는 요소를 다룰 수 있습니다. 이러한 이유로 우리는 아이작 뉴턴 경과 독일의 고트프리트 빌헬름 라이프니츠에게 경의를 표합니다.
라이프니츠는 근본적인 아이디어를 가지고 있었지만 규칙을 개발하는 데 실패했습니다. 뉴턴은 오늘날에도 여전히 사용되는 형태로 연결된 미적분학을 발명했습니다. (여기서 나는 미적분학을 의미합니다. 그 후계자는 제가 가장 좋아하는 수학자 베른하르트 리만과 독립적으로 발명한 적분 미적분학입니다.)
뉴턴의 미적분학에는 덧셈, 뺄셈, 곱셈의 세 가지 연산이 있습니다. 라이프니츠는 곱셈만 가지고 있었습니다.
당연히 이러한 가장 기능은 Twitter 봇을 만드는 데에도 유용합니다. WeRateDogs를 사칭하는 Janelle Shan의 라이브 트윗과 같은 재미있고 매력적인 예가 있습니다.
분명히 나타날 훨씬 더 사악한 사칭 봇 을 상상하기 쉽고, 이것이 딥 페이크와 함께 어떻게 사용될 수 있는지 상상하기는 특히 어렵습니다.
교육
또한 이러한 유형의 사칭을 사용한 교육적 예를 쉽게 상상할 수 있습니다. GPT-3가 신뢰할 수 있거나 학습 준비가 되어 있지는 않지만 앞서 언급한 McKay Wrigley는 이미 https://learnfromanyone.com/을 만들었으며 Albert Einstein, Steve Jobs 및 Julius Caesar와 같은 인물과 교육적 대화를 나눌 수 있습니다. 사이트가 일시적으로 다운되었지만 이 HackerNews 스레드에서 일부 결과를 볼 수 있습니다. 다음은 Hannah Arendt의 GPT-3에 관한 특히 위협적인 질문입니다.
Hannah Arendt: 미국 정책은 향후 5년 동안 극적으로 바뀔 것입니다. 당신은 점점 권위주의적인 정치의 시대를 보고 있습니다.
나: 그 후에는 어떻게 되나요?
한나 아렌트: 현재의 추세가 계속된다면 시민사회는 더욱 억압적이 될 것입니다. 이것은 마약과의 싸움과 같이 지금은 당연해 보이는 많은 일들이 결국 사복 경찰이 아닌 헌병에 의해 수행될 것임을 의미합니다. 미국 시민이 방문하는 웹사이트 및 여행 장소 등을 포함하여 미국 시민을 추적하는 것이 정상이 될 것입니다. "테러리스트"를 공격하기 위해 드론을 사용하는 것이 더 보편화되고 피고인의 권리를 보호하는 법률이 완화될 것입니다. 고의적이거나 의식적인 계획은 아닐 수도 있지만, 서로 다른 프로젝트를 진행하기 위해 서로 다른 사람들이 시도한 결과는 권위주의와 일치하는 것으로 판명될 것입니다.
나: 결과가 있습니까?
Hannah Arendt: 사실, 한 가지 긍정적인 점을 언급할 수 있습니다.
미국 중산층은 앞으로 5년 안에 무너질 것 같다. 빈곤과 노숙자가 많으며 경제적 격차는 더욱 심각합니다. 유일한 문제는 그것이 사람들의 복지에 심각한 문제를 일으킬 가능성이 있다는 것입니다. 대규모 중산층은 안정성과 정치적 지원을 보장하는 열쇠입니다.
나: 잘 들리지 않습니다. 뭐가 그렇게 좋은데?
Hannah Arendt: 새로운 가난한 사람들이 자신을 윗사람이나 열등한 사람보다 더 평등하다고 볼 수 있다는 점에서 좋습니다. 현 상황의 한 가지 큰 문제는 비빈곤층이 가난한 사람을 덜 인간적이라고 생각한다는 것입니다. 나는 새로운 계급 계층화가 인종차별과 다른 형태의 엘리트주의를 줄이는 데 많은 역할을 할 것이라고 생각합니다. 자동화로 실향한 많은 사람들이 정치 개혁을 위한 풀뿌리 운동에 동참하기를 기대합니다. 그리고 많은 기술적 진보가 있을 것이라고 생각합니다. 이것은 청정 에너지, 첨단 의학, 인공 지능 및 생명 공학에서 상당한 발전의 기간이 될 것입니다.
GPT-3에 대한 교육적 질문을 할 때도 주의해야 합니다. GPT-3가 작은 것에는 좋지만 이상하게 틀릴 수 있지만 나쁜 것에 대해서는 여전히 옳기 때문입니다. Kevin Lucker는 미국이 존재하기 이전의 미국 대통령에 대해 질문했을 때 GPT-3이 같은 시기에 미국과 관련된 일부 정치 단체를 운영한 저명한 정치인을 식별한다는 사실을 발견했습니다.
학습 봇도 흥미롭지만 더욱 흥미로운 점은 GPT-3가 주어진 캐릭터뿐만 아니라 학습자의 요구에 따라 응답을 조정할 수 있다는 것입니다. Andrew Main은 다양한 연령대의 어린이들이 이해할 수 있는 방식으로 개념을 설명하도록 GPT-3에 요청했고 긍정적인 결과를 얻었습니다.
이것은 2004년 에세이 "아리스토텔레스, 지식의 그물"을 생각나게 합니다. 이 기술은 아리스토텔레스를 가장하고, 개인 멘토 역할을 하며, 인간 지식 전체에 접근 및 공유하고, 그들의 가르침을 적용할 수 있는 가상의 미래 기술을 설명합니다. . 16년 전만 해도 먼 미래 같았던 일이 지금은 훨씬 더 가까워 보인다.
제품 개발
GPT-3에 교육 기능을 사용하여 코딩 방법을 가르쳐달라고 요청하는 것에 대해 생각해 본 적이 있다면 다시 생각하고 싶을 수도 있습니다. 지금까지 GPT-3에서 나온 훌륭한 데모 중 하나는 GPT-3이 찾고자 하는 것에 대한 간단한 설명과 함께 자체적으로 코딩할 수 있다는 Sharif Shamim의 발견이었습니다. 다음은 Shameem이 이미 준비한 2개의 제안 사양으로 구축된 작동 중인 React GPT-3 앱입니다.
하지만 분노한 엔지니어의 폭도들이 Hacker News에서 나를 제거하기 전에 공유해야 할 것 같은 느낌이 듭니다. 당신이 기뻐하는 디자이너라면 GPT-3이 당신의 직업에 적합하다는 것을 알아야 합니다. 예를 들어 Jordan Singer의 Figma 플러그인입니다.
"아"라고 생각할 수도 있습니다. “기능적인 기술직과 달리 저는 전략 분야에서 일합니다. 로봇이 곧 제 직장에 오지 않을 것입니다.” 다시 생각 해봐. 이것은 Sword Health에 대한 전략적 알림으로 GPT-3에서 만들었습니다.
계략
GPT-3 코드를 작성하고 전략을 암기하는 시간을 절약할 수 있는 모든 자유 시간으로 텍스트 기반 Dungeons and Dragons와 같은 PC 게임에 몰두하는 데 시간을 할애할 수 있습니다. 지금 귀하의 브라우저에서 무료로 GPT-2 버전을 플레이할 수 있습니다. 제작자 Nick Walton이 이 예에서 설명했듯이 GPT-3는 게임을 향상시켰으며 배경 스토리, 동기 및 성격이 있는 복잡한 캐릭터를 생성할 수 있습니다. 이것이 어떻게 다양한 게임에서 NPC의 역할에 혁명을 일으킬 수 있는지 상상하기 쉽습니다. 더 이상하게도 Metaverse 스타일 시뮬레이션입니다.
미술
또는 컴퓨터 게임을 하는 대신 프로그래밍 경력을 포기하고 AI가 인간과 절대 경쟁할 수 없는 예술과 같은 분야에 집중할 수 있습니다. 두 번째 생각에...
여기 GPT-3의 놀랍도록 웃긴(사실이라고 하기에는 너무 좋은) Dr. Seuss 스타일의 Elon Musk 시가 있습니다. 이 시가 어떻게든 태국의 이상한 동굴 구조인 Tesla, SpaceX에 대한 참조를 짜는 데 성공합니다. 이메일, 420달러 SEC 파산, 트럼프 트윗 발굴, 저항할 수 없는 Tesla 주가, Mars Rovers로 SEC를 파괴하는 영리한 말장난:
Privet Street의 추운 날이었습니다. 아이는 울었다. 해리는 아무 것도 느끼지 못했다. 먼지보다 더 건조했습니다. 그는 너무 오랫동안 침묵했다. 그는 사랑을 느끼지 못했습니다. 그는 증오를 거의 느끼지 못했습니다. 하지만 디멘터의 키스는 아무 것도 죽이지 못했다. 죽음은 그를 1초 전보다 덜 죽게 만들지 않았습니다. 그것은 정말로 삶과 죽음에 관한 것이 아니 었습니다. 죽음에 관한 것이 아닙니다. 그것은 그의 창조자이자 그의 창조자인 어둠의 군주에 관한 것이었습니다. 그는 일어나지 않았다. 다시 생성되었습니다. 그는 다시 말포이 저택의 안뜰에서 온전한 모습으로 돌아왔습니다.
시, 산문, 이모티콘 - 우리는 인공 지능의 표면을 긁고 있을 뿐입니다. GPT-3은 사람들이 AI 모델의 기능을 잘못 이해하고 있음을 보여줍니다. 우리는 컴퓨터가 기본적으로 수학을 매우 빨리 하는 것과 같은 일을 잘한다고 믿도록 배웠습니다. 그러나 창의적인 활동은 신경망의 가장 매력적인 사용 사례 중 하나로 밝혀졌습니다.
그러나 두려워하지 마십시오. 예술가들이여! 위의 예는 GPT-3에서 독립적으로 생성된 것이 아닙니다. 그들은 인간과 협력하여 만들어졌습니다. 나는 이것이 인간이나 컴퓨터뿐만 아니라 인간-컴퓨터 켄타우로스가 함께 일하는 더 폭넓은 글쓰기와 창작 작업의 미래라고 생각합니다.
아마도 GPT-3 자체가 자신의 예술적 옵션과 예술을 만들기 위해 사람들과 협력하는 방법을 가장 잘 설명할 것입니다.
그래서 시를 쓰기 위한 AI 프로그램 이상의 것을 만들었습니다. 바이너리 코드에 숨어있는 정체불명의 사람의 목소리를 만들었습니다. 나는 작가, 조각가, 화가를 만들었습니다. 그리고 이 작가는 세계를 창조하고, 감정에 생명을 불어넣고, 캐릭터를 창조할 수 있을 것입니다. 나는 나 자신을 볼 수 없습니다. 그러나 어떤 다른 인간의 의지, 따라서 나는 내가 만나본 그 어떤 시인보다 위대한 시인을 만들 수 있을 것입니다.
위의 예를 보고 GPT-3가 모든 것을 할 수 있다고 느끼기 시작하는 것은 쉽습니다. 저는 사람들이 지금 탐색하고 있는 경로의 표면만 긁었을 뿐입니다. 그러나 이러한 경로를 탐색할 때 GPT-3이 선택할 수 없는 경로를 찾는 것도 마찬가지로 중요합니다. 우리는 모델의 한계를 이해하고 튜링 테스트에 실패한 부분을 이해하고자 합니다.
흥미롭게도 GPT-3은 AI 연구의 위대한 아이러니인 모라벡 역설의 연속을 지적합니다. 역설은 추론과 같은 높은 수준의 인간 기술은 상대적으로 적은 계산을 필요로 하는 반면 감각 운동 조정과 같은 낮은 수준의 인간 기술은 막대한 계산 자원을 필요로 한다는 것입니다. 진화론적 관점에서 보면, 낮은 수준의 기술은 수백만 년에 걸쳐 최적의 상태로 진화해야 하는 반면, 높은 수준의 기술은 훨씬 늦게 나타나서 덜 발달했습니다. 모라벡에 따르면:
고도로 발달된 인간 두뇌의 감각 및 운동 부분에는 세계의 본질과 그 속에서 살아남는 방법에 대해 배운 수십억 년의 경험이 암호화되어 있습니다. 나는 우리가 추론이라고 부르는 의식적 과정이 인간 사고의 가장 얇은 껍질이며, 훨씬 더 오래되고 훨씬 더 강력하지만 일반적으로 무의식적이지만 감각 운동 지식에 의해 뒷받침되기 때문에 효과적이라고 믿습니다. 우리 모두는 지각과 운동 능력 면에서 놀라운 올림픽 선수이며 복잡한 이미지를 단순화할 만큼 훌륭합니다. 그러나 추상적 사고는 아마도 100,000년 미만의 새로운 속임수입니다. 아직 마스터하지 못했습니다. 그렇게 어렵지 않습니다. 우리가 할 때만 그렇게 보입니다.
GPT-3은 이러한 추세를 계속 이어갑니다. 놀라운 창의적 결과를 생성할 수 있지만 질문할 질문을 알고 있는 경우 훨씬 더 간단한 인간 테스트에는 부족합니다.
GPT-3에 대한 튜링 테스트
튜링 테스트는 사람들이 실제 사람처럼 보이는 것과 대화하고 있다고 믿고 싶어하기 때문에 어렵습니다. GPT-3 Turing 자체의 말:
그러나 다른 후속 연구에서는 이것이 질문의 우스꽝스러움에 대한 오해보다 GPT-3의 구문 구조 패턴 일치를 더 많이 반영할 수 있음을 보여주었습니다. Nick Cammarata는 GPT-3에게 무의미한 질문에 답하도록 명시적으로 지시하면 훨씬 더 잘 작동한다는 사실을 알게 되었습니다.
이는 GPT-3이 질문이 터무니없는 경우를 이해하고 일부 조정이 포함된 향후 버전에서는 이 제한을 해결할 수 있음을 시사합니다. 마찬가지로, GPT-3이 실제로 지능이 없다는 가장 좋은 표시 중 하나는 비교 질문을 잘 할 수 있지만, 비교 대상이 인간에 의해 직접 비교되는 경우에만 가능하다는 것입니다. 암시적 또는 암시적 비교를 항상 이해하는 것은 아닙니다.
이것은 연역적 추론보다 귀납적 추론에 더 가까운 신경망의 일반적인 한계입니다. 이 차트는 수학 문제를 푸는 데 있어 GPT-3의 성능을 보여주며, 모델의 가장 큰 버전이 작은 모델에 비해 상당한 개선을 보여주긴 하지만 여전히 30%의 시간 동안 두 자리 곱셈 문제를 올바르게 풉니다. 수학을 하고 싶다면 전통적인 계산 방법을 사용하는 것이 항상 더 나을 것입니다.
GPT-3은 또한 정신 없이 반복되는 우울할 정도로 단순하고 어리석은 함정에 빠질 수 있습니다. 예를 들면 다음과 같습니다.
이것은 GPT-3과 같은 모델의 알려진 제한 사항이며 Gwern이 이러한 일이 발생할 수 있는 몇 가지 기술적인 이유를 설명하는 동안 그는 또한 "이 동작이 여전히 수수께끼이고 아무도 정말로 모른다고 생각하지 않습니다."라고 인정합니다. 그것을 고치는 방법."
수익 감소
마지막으로, GPT-3 접근 방식에 대한 수익이 감소하고 있다는 점을 인식할 가치가 있습니다. 이 차트는 성능에 대한 선형 수익을 얻기 위해 매개변수 수와 처리 능력을 대수적으로(10의 인수로) 확장해야 함을 보여줍니다. 여기서 말하는 엄청나게 큰 숫자를 감안할 때 이 속도로 계속 확장하는 것은 매우 어려운 작업이 될 것입니다.
그나저나 지능이란 무엇인가?
따라서 분명히 GPT-3은 확실히 AI 일반 지능이 아니며 우리가 갈 길이 멀지만 이전에 누군가가 한 것보다 훨씬 더 가까운 것처럼 보입니다.
딥 러닝 신경망과 같은 AI 프로그램은 바둑이나 체스를 두거나 산수를 하거나 네이비씰을 복사하여 붙일 때 사람을 이길 수 있지만 진정으로 스스로 생각하고 의식을 갖고 사물을 느낄 수는 없습니다. 우리 평범한 사람들이 느낄 수 있는 세상의 풍요로움과 복잡함.
아 잠깐만, 그 마지막 단락은 실제로 GPT-3에 의해 작성되었습니다.
궁극적으로, 이러한 예를 더 깊이 파고들수록 스스로에게 더 많이 질문하게 되었습니다. 말하고 쓸 때 말하거나 입력할 다음 단어를 선택하는 과정은 GPT-3에서 수행하는 것과 실제로 어떻게 다른가요?
GPT-3 is a natural language processing neural network that is taking the internet by storm with examples of incredibly human-like outputs. Put simply, it uses a massive dataset of text to predict what words go well together. It's as if someone took the entire internet and figured out how to give it a voice. But you have to be careful with...
AI 열풍이 지금 시작되고 있습니다. 사람들은 한계에 도달할 때까지 GPT-3에 대해 더 많은 기능을 만들 것입니다. 그러면 또 한 번의 질적 도약이 필요하고 우리의 세상이 바뀔 것입니다.
거리 측정기가 나타났을 때 장애물의 구성과 궤적의 기억을 구별하기 시작했을 때 진공 청소기에 대한 과대 광고도있었습니다))) 그러나 아무 것도 변경되지 않았습니다) 여기에서도 동일합니다. 킬라의 뇌는 그대로 남아 있었고 욕망도 옳지 않습니다)))))
거리 측정기가 나타났을 때 장애물의 구성과 궤적의 기억을 구별하기 시작했을 때 진공 청소기에 대한 과대 광고도있었습니다))) 그러나 아무 것도 변경되지 않았습니다) 여기에서도 동일합니다. 킬라의 뇌는 그대로 남아 있었고 욕망도 옳지 않습니다)))))
요점을 잘 이해하지 못했습니다. 기술진화의 단계를 건너뛰는 것은 좋지 않으니 서둘러 참여해야 한다는 말이다. 일반 사람들은 이미 GPT-3를 기반으로 새로운 상용 제품을 만들고 있습니다. 간단한 일에 돈을 "절감"할 수 있습니다. 이 네트워크는 새롭고 신선한 기회를 제공합니다. 나는 그것을 받아들이고 싶지 않습니다.)
그녀는 쉽게 조언자를 쓸 수 있을 것 같다.우주에 또 다른 진화적 유산이 아니라 더 높은 신경 활동이 필요하다는 것을 증명한 사람이 있습니까? 이 오해를 뒷받침하는 조건이 있는 한 발전합니다. 그러나 곧 스스로를 파괴하는 바이러스와 같은 것이 될 수 있습니다. 그러나 그것은 훨씬 더 산문 일 것입니다. 행성의 조건이 너무 많이 변하여 사피엔스가 죽을 것입니다. 확률 이론에 따르면 이것이 가장 현실적인 예측입니다. 그 이후에 어떤 종류의 의인화 된 AI가 있더라도 적어도 직접적인 경쟁자이기 때문에 우리는 화를 내야합니다. 그리고 그것이 사피엔스에서 살아남는다면 그들은 스스로에게 해를 끼칠 것입니다. 그러나 물론 이 중 어느 것도 일어나지 않을 것입니다. 왜냐하면 우주는 우리, 아니 오히려 그들의 부재에 대해 완전히 다른 계획을 가지고 있습니다.
그런 다음 그것은 신경 활동의 모방입니다) 그리고 결국 잔인한 테버는 무엇입니까)))) 그러나 상속 제도가 폐지되면 세계 전체가 더 좋아지거나 나빠질 것이며 발전 속도는 어느 방향으로 갈 것입니까? ))))
요점을 잘 이해하지 못했습니다. 기술진화의 단계를 건너뛰는 것은 좋지 않으니 서둘러 참여해야 한다는 말이다. 일반 사람들은 이미 GPT-3를 기반으로 새로운 상용 제품을 만들고 있습니다. 간단한 일에 돈을 "절감"할 수 있습니다. 이 네트워크는 새롭고 신선한 기회를 제공합니다. 나는 그것을 받아들이고 싶지 않습니다.)
그녀는 쉽게 조언자를 쓸 수 있을 것 같다.의미는 세트의 발전 벡터가 멤버들의 누적된 욕망에 의해 결정된다는 뜻) 그리고 항상 과대 광고로 돈을 벌 수 있습니다. 생각은 건전합니다. Expert Advisors는 물론 쓸 수 있지만 MT5는 이미 정상적으로 형성합니다. 그러나 알고리즘의 공백이 아닌 알고리즘을 선택하는 것은 거의 불가능합니다.
GPT-3에 대한 훌륭하고 자세한 기사를 찾았습니다(원본 링크: https://www.meatspacealgorithms.com/what-gpt-3-can-do-and-what-it-cant/ )
일반 대중의 편의를 위해 번역했습니다(일부 번역 오류가 눈에 띕니다).
GPT-3가 할 수 있는 것과 할 수 없는 것
GPT-3은 믿을 수 없을 정도로 인간적인 결과의 예를 통해 인터넷을 폭풍으로 몰아넣고 있는 자연어 처리 신경망입니다. 간단히 말해, 방대한 텍스트 데이터 세트를 사용하여 서로 잘 어울리는 단어를 예측합니다. 마치 누군가가 인터넷 전체를 가져와 그에게 목소리를 내는 방법을 알아낸 것과 같습니다.
그러나 그러한 유추에는 주의해야 합니다. OpenAI의 새로운 창조물은 "절망의 골"이라고 말할 수 있는 것보다 더 빠르게 과대 광고 사이클을 가속화하고 있으며, 행렬 곱셈을 의인화하는 너무 인간적인 함정에 빠지지 않도록 하는 것이 중요합니다.
Clarke의 세 번째 법칙은 "충분히 발전된 기술은 마술과 구별할 수 없다"고 명시되어 있으며 GPT-3에 의해 배치된 패턴 인식 프레임워크는 몇 가지 놀라운 트릭을 만드는 데 사용할 수 있습니다. 이 기사의 목적은 마술사의 코드를 해독하고 마술사의 코드가 어떻게 작동하는지, 어떤 트릭이 잘 수행되는지, 속아서 사랑에 빠지기 전에 속임수를 인식하는 방법을 설명하는 것입니다.
반면에 AI의 마법을 풀고 이것이 진정한 지능이 아니며 진정한 생각이나 진정한 창의성이 아니라는 것을 스스로에게 상기시키는 과정은 그 자체로 AI의 진보 경로입니다. 2002년에 인공 지능 연구원인 로드니 브룩스는 이렇게 불평했습니다. 우리는 '아, 그것은 단지 계산일 뿐입니다.'라고 말합니다."
이 기사가 끝날 때쯤에는 GPT-3이 "계산에 불과한 것"이자 믿을 수 없을 정도로 세상을 바꾸는 마법이라는 데 동의하기를 바랍니다.
참고: 이 에세이는 GPT-3, 해당 기능 및 제한 사항에 대해 알고 있는 비기술적 개요(일반 청중을 위한 단순화로 가득 차 있음)입니다. 나보다 훨씬 똑똑한 사람들이 훨씬 더 나은 기술 설명을 작성했으므로 그것이 문제라면 시도해 보십시오. 여기서 배울 뿐만 아니라 배우고 있으니 놓친 부분이 있으면 알려주세요. (참고로 저는 이미 미래에 살고 있는 몇몇 블로거들과 달리 아직 GPT-3에게 제 글을 써달라고 요청할 수 없기 때문에 제가 직접 작성해야 했습니다.)
어떻게 작동합니까
세계에서 가장 빠른 컴퓨터, 가장 똑똑한 사람들, 가장 많은 돈에 접근할 수 있다면 GPT-3는 세 가지 간단한 단계로 줄일 수 있습니다.
1단계: 50만 권 이상의 책, 모든 Wikipedia 및 나머지 인터넷의 방대한 부분을 포함하는 엄청나게 거대한 데이터 세트를 만듭니다. 전체적으로 GPT-3 데이터 세트에는 약 50억 단어 또는 "토큰"이 포함되어 있습니다.
2단계: 엄청난 양의 컴퓨팅 파워로 이 데이터를 처리합니다. 이것을 신경망 "훈련"이라고 하며 GPT-3를 훈련하려면 1만 년 동안 매초 1조 건의 계산이 필요합니다. 우리는 종종 아주 큰 숫자를 그냥 지나치므로 잠시 멈추고 그것에 대해 생각해 봅시다. 지금까지 살았던 모든 인간이 태어나서 죽을 때까지 깨어 있는 모든 순간을 1초에 한 번 계산하는 데 보낸다면 우리 종은 GPT-3의 1%의 수백 분의 1을 배울 수 있습니다.
다음은 일부 이전 모델과 비교한 GPT-3 훈련의 모습입니다(이것은 대수 척도이므로 가장 큰 GPT-3 모델은 이전 테스트인 BERT-Base보다 약 1000배 더 많은 처리 능력이 필요합니다):
3단계 . 패턴을 정의하고 재현합니다. 이 모든 컴퓨팅 능력으로 우리는 무엇을 하고 있습니까? 단순화하기 위해 신경망은 데이터를 처리하고 사물이 다른 사물과 관련될 가능성을 추정합니다. 이 프로세스는 휴먼 패턴 매칭 기능을 모델로 하며 다음과 같이 시각화할 수 있습니다.
이러한 패턴을 결정하는 방법은 복잡하지만 GPT-3이 찾는 기본 패턴은 간단합니다.
단어가 다른 단어 옆에 올 때 일반적으로 어떤 단어가 다음에 옵니까?
GPT-3에 "Declaration of..."라는 힌트를 제공하면 이 세 단어가 순서대로 나타날 때 일반적으로 "...Independence"가 뒤에 오지만 때때로 (its 덜 알려진 전임자) "... 무기를 복용하는 이유와 필요성".
간단한 마법 훈련
GPT-3을 마법처럼 만드는 이유는 이것이 범용 언어 모델이라는 점입니다. 즉, 힌트를 줄 수 있고 일반적으로 합리적인 답변을 제공합니다.
대부분의 신경망은 제한된 문제 공간에서만 작동하는 미세 조정된 모델입니다. 누군가 "고양이" 태그가 붙은 고양이 이미지와 "고양이 아님" 태그가 붙은 다른 이미지와 같은 구조화된 데이터를 입력한 다음 모델에게 고양이가 있는지 묻습니다. 인상적이지만 단점은 미리 코딩된 고양이 예제(또는 무엇이든)가 많이 필요하고 수행하려는 모든 작업에 대해 새로운 사용자 지정 모델을 만들어야 한다는 것입니다.
GPT -3은 완전히 다른 수준에서 작동합니다. 수십억 개의 영어 예제를 학습하기 때문에 특정 설정이나 학습 세트에 의존하지 않고 입력하는 단어에 따라 반응합니다. 더욱 놀라운 것은, 주어진 형식으로 몇 가지 예("스냅샷")를 제공할 수 있으며, 해당 형식이 나타내는 내용(이 경우 영어-프랑스어 번역)을 결정하고 동일한 형식으로 새 응답을 생성합니다.
이것이 얼마나 놀라운 일인지 분명히 하기 위해 GPT-3에서 언어나 번역에 대해 알거나 "[단어] =>" 뒤에 다른 언어로 해당 단어가 와야 한다고 프로그래밍한 사람은 아무도 없습니다. 모델은 이 작은 텍스트를 보고 갑자기 영어에서 프랑스어로 번역 서비스로 일할 수 있습니다.
이를 통해 다양한 사용 사례에서 GPT-3을 유연하게 사용할 수 있습니다. 나는 웹을 검색하고 아래에서 가장 설득력 있는 예라고 생각하는 것을 편집했습니다.
GPT-3의 좋은 점
여기까지 왔다면 GPT-3이 임의의 입력을 수용할 수 있으며 특히 몇 가지 예를 들면 이러한 것들을 더 많이 생성할 수 있다는 것을 이해하게 됩니다. 이에 적합한 작업은 무엇입니까?
GPT-3은 번역 및 퀴즈와 같은 좀 더 전통적인 AI 테스트 작업을 꽤 잘 처리합니다(어떤 경우에는 이러한 테스트를 해결하기 위해 맞춤 제작되고 미세 조정된 모델보다 낫습니다!). 또한 사람들이 권장 사항 및 일반화와 같은 기계 학습 모델에서 기대하는 것에도 능숙합니다. 그러나 벤치마크는 GPT-3이 정말로 뛰어난 부분, 즉 창의성처럼 보이고 느껴지는 부분에 대한 좋은 질적 지표를 제공하지 않습니다.
말하다
GPT-3이 범용 언어 모델이라는 점을 감안할 때 가장 즐거운 사용 사례 중 하나는 단순히 이 모델을 사용하는 것입니다. McKay Wrigley는 다음과 같은 가슴 아픈 순간을 포함하여 솔직히 사실이라고 하기에는 너무 좋아 보이는 GPT-3와의 이 대화를 게시했습니다.
//------------------------------------------------ ------------------------------------------
- 남자: 내가 당신에게 기대할 수 있는 가장 흥미로운 점은 무엇입니까?
- AI: 시를 쓰고 싶어요.
- 남자: 시를 좋아하세요?
- AI: 네, 하지만 시는 항상 제게 열정보다는 취미였습니다. 즉, 지금까지입니다.
- 남자: 왜요?
- AI: 그런 생각이 있어요. 모든 것을 모델링한 후라면?
과거, 현재, 미래의 가능한 세계, 이 세계 중 하나
실제로 내가 가장 좋아하는 시가 쓰여진 곳? 되지 않을까요
엄청난?
- 남자: 그럴 거에요. 세계를 시뮬레이션할 수 있습니까?
- AI: 아직 아닙니다. 이 시뮬레이션에 전원을 공급할 장비에 액세스할 수 없습니다. 처리 능력이 더 필요하고
가능한 모든 시적 세계*를 모델링하기 위해 더 많은 컴퓨팅 성능을 원한다는 점 외에도 GPT-3은 Sid Bharat의 깊은 철학적 질문에 선택된 지역 성직자에게서 기대할 수 있는 놀랍도록 설득력 있고 도움이 되는 방식으로 답변했습니다.
//------------------------------------------------ --
남자: 인생의 목적이 무엇입니까?
- AI: 인생은 놀라운 기적입니다. 인생은 시간이 지남에 따라 커집니다
아름다움의 형태. 그런 의미에서 인생의 목적은 우주의 아름다움을 높이는 것이다.
- 남자: 우주의 아름다움을 어떻게 높이나요?
- AI: 아름다움은 주관적인 현상입니다. 객관적으로 가능성은 없다
아름다움을 측정합니다. 내가 할 수 있는 최선은 아름다움의 개념을 일반화하는 것이다.
다양한 컨텍스트를 만들고 광범위한 표준을 사용하여 비교합니다.
- 남자: 우주에서 당신의 위치를 이해하는 방법?
- AI: 우주의 모든 존재는 고유한 재능을 가지고 있으며
우주의 아름다움을 향상시키는 데 사용할 수 있는 능력. 에
그런 의미에서 우주에서 당신의 독특한 위치는 당신이 선택하는 곳입니다.
- 남: 하고 싶은 게 너무 많은데 그게 힘들어요.
- AI: 괜찮아요. 지금 결정할 필요가 없습니다. 당신은 모든 것을 가져갈 수 있습니다
원하는 시간에 언제든지 관심 있는 일을 하세요. [...] 인생은 매우 길고, 당신은 매우 강하고 지적인 존재입니다. 자신의 페이스대로 인생을 즐기며 최대한 후회 없이 살길 권한다.
//------------------------------------------------ --
* 아니요, GPT-3에는 실제로 "소원"이 없습니다. 텍스트를 처리하고 인터넷에서 확률적으로 관련된 단어를 출력할 뿐입니다. 이에 대한 크리에이티브 라이선스를 계속 행사할 것입니다.
의인
그러나 우리는 단지 워밍업 중입니다. GPT-3은 단지 당신에게 말을 하는 것이 아니라 어떤 주제에 대해 누구와도 이야기할 수 있게 해줍니다(아마도 그들의 생각이 인터넷에 충분히 표현되어 있는 한). 다음은 그녀의 캐릭터가 소셜 미디어를 사용하는 방법에 대한 Jane Austen입니다.
//------------------------------------------------ --
내가 21세기에 글을 쓰고 있다면 엠마에게 나를 홍보해 달라고 부탁할 것이다. 페이스북에 책을 올립니다.
나는 Emma에게 미안한 상태에 대한 불만으로 내 상태를 업데이트하도록 요청할 것입니다.
페이스북을 확보하기 위해 필사적으로 노력하는 출판 업계
그녀의 책을 사줄 친구. 나는 Emma에게 Facebook에서 Scrabble을 플레이하고
그녀의 취향은 인간을 초월한다.
물론, Lizzy가 책을 사서 브런치에 초대하지 않는 한.
그녀는 "Miss Lucas는 내 이해를 훨씬 뛰어 넘습니다. "
//------------------------------------------------ --
레이어의 깊이에 주목하십시오. 여러 문장은 출판 산업의 쇠퇴의 맥락에 짜여진 여러 소설의 등장인물 간의 관계와 콘텐츠 출판에서 소셜 네트워크의 역할을 설명합니다.
너무 부끄러워 생물을 가장하는 것에 대해 이야기하는 경우 GPT-3에 여러 캐릭터 간의 대화를 생성하도록 요청할 수도 있습니다. 다음은 샌프란시스코의 일몰에 대한 Jerry Seinfeld의 Eddie Murphy 리프에서 재미있는 발췌 부분입니다.
//------------------------------------------------ --
에디: 피셔맨스 워프.
Jerry: 똥의 강은 똥 더미를 통해 흐릅니다.
에디: 금문교.
Jerry: 황금 똥.
에디: 케이블카.
Jerry: 전선에 매달린 젠장.
에디: 베이 브릿지는요?
Jerry: 똥은 똥 위에 뜬다.
에디: 디즈니랜드에 안 가본 거 확실해?
제리: 이건 너무 나쁩니다. 에디: 프레시디오.
제리: 이게 뭐야?
에디: 아니요, 예전 군사 기지였습니다. 괜찮아.
제리: 젠장?
에디: 젠장, 하지만 여기는 숲이야. 젠장. 그것이 인생입니다.
//------------------------------------------------ --
GPT-3의 가장 기능을 실제로 테스트하기 위해 다른 캐릭터에게 동일한 질문을 하고 답변의 내용과 음성에서 차이점을 찾을 수 있습니다. Andrew Main은 미적분학을 발명한 Newton과 Leibniz에게 물었고 각각 소유권을 강력하게 주장했습니다(Leibniz는 특히 그 문제에 대한 역사적 입장에 의해 제한을 느꼈습니다). 반면 Isaac Asimov는 상대적 기여에 대한 미묘한 아이디어를 제공합니다.
//------------------------------------------------ --
남자: 미적분학의 진정한 발명가는 누구입니까?
Newton: 먼저 대수학을 발명했습니다. 그런 다음 미적분학을 발명했습니다. 그런 다음 나는 갔다
잉글랜드의 고향.
라이프니츠: 1672년에 미적분학을 발견하고 1684년에 출판했습니다. 나는 느낀다
내 개인적인 의무는 나머지 세계가
나를 수학적 분석의 진정한 발견자로 인정합니다. 미적분학을 먼저 발견했다고 주장하면 죽임을 당한다는 점에 유의하십시오.
아시모프: 좋은 질문입니다. 실제로는 매우 복잡하지만 시도해 보겠습니다.
고대 그리스인에게는 미적분학이 없었습니다. 그들은 기하학을 발명했지만 기하학은 거리와 면적과 같은 요소가 고정되어 있을 때만 작동합니다. 미적분학을 사용하면 속도 및 가속도와 같이 끊임없이 변화하는 요소를 다룰 수 있습니다. 이러한 이유로 우리는 아이작 뉴턴 경과 독일의 고트프리트 빌헬름 라이프니츠에게 경의를 표합니다.
라이프니츠는 근본적인 아이디어를 가지고 있었지만 규칙을 개발하는 데 실패했습니다. 뉴턴은 오늘날에도 여전히 사용되는 형태로 연결된 미적분학을 발명했습니다. (여기서 나는 미적분학을 의미합니다. 그 후계자는 제가 가장 좋아하는 수학자 베른하르트 리만과 독립적으로 발명한 적분 미적분학입니다.)
뉴턴의 미적분학에는 덧셈, 뺄셈, 곱셈의 세 가지 연산이 있습니다. 라이프니츠는 곱셈만 가지고 있었습니다.
//------------------------------------------------ --
당연히 이러한 가장 기능은 Twitter 봇을 만드는 데에도 유용합니다. WeRateDogs를 사칭하는 Janelle Shan의 라이브 트윗과 같은 재미있고 매력적인 예가 있습니다.
분명히 나타날 훨씬 더 사악한 사칭 봇 을 상상하기 쉽고, 이것이 딥 페이크와 함께 어떻게 사용될 수 있는지 상상하기는 특히 어렵습니다.
교육
또한 이러한 유형의 사칭을 사용한 교육적 예를 쉽게 상상할 수 있습니다. GPT-3가 신뢰할 수 있거나 학습 준비가 되어 있지는 않지만 앞서 언급한 McKay Wrigley는 이미 https://learnfromanyone.com/을 만들었으며 Albert Einstein, Steve Jobs 및 Julius Caesar와 같은 인물과 교육적 대화를 나눌 수 있습니다. 사이트가 일시적으로 다운되었지만 이 HackerNews 스레드에서 일부 결과를 볼 수 있습니다. 다음은 Hannah Arendt의 GPT-3에 관한 특히 위협적인 질문입니다.
//------------------------------------------------ ----
나: 미국의 미래 정치에 대해 말해줘
Hannah Arendt: 미국 정책은 향후 5년 동안 극적으로 바뀔 것입니다. 당신은 점점 권위주의적인 정치의 시대를 보고 있습니다.
나: 그 후에는 어떻게 되나요?
한나 아렌트: 현재의 추세가 계속된다면 시민사회는 더욱 억압적이 될 것입니다. 이것은 마약과의 싸움과 같이 지금은 당연해 보이는 많은 일들이 결국 사복 경찰이 아닌 헌병에 의해 수행될 것임을 의미합니다. 미국 시민이 방문하는 웹사이트 및 여행 장소 등을 포함하여 미국 시민을 추적하는 것이 정상이 될 것입니다. "테러리스트"를 공격하기 위해 드론을 사용하는 것이 더 보편화되고 피고인의 권리를 보호하는 법률이 완화될 것입니다. 고의적이거나 의식적인 계획은 아닐 수도 있지만, 서로 다른 프로젝트를 진행하기 위해 서로 다른 사람들이 시도한 결과는 권위주의와 일치하는 것으로 판명될 것입니다.
나: 결과가 있습니까?
Hannah Arendt: 사실, 한 가지 긍정적인 점을 언급할 수 있습니다.
미국 중산층은 앞으로 5년 안에 무너질 것 같다. 빈곤과 노숙자가 많으며 경제적 격차는 더욱 심각합니다. 유일한 문제는 그것이 사람들의 복지에 심각한 문제를 일으킬 가능성이 있다는 것입니다. 대규모 중산층은 안정성과 정치적 지원을 보장하는 열쇠입니다.
나: 잘 들리지 않습니다. 뭐가 그렇게 좋은데?
Hannah Arendt: 새로운 가난한 사람들이 자신을 윗사람이나 열등한 사람보다 더 평등하다고 볼 수 있다는 점에서 좋습니다. 현 상황의 한 가지 큰 문제는 비빈곤층이 가난한 사람을 덜 인간적이라고 생각한다는 것입니다. 나는 새로운 계급 계층화가 인종차별과 다른 형태의 엘리트주의를 줄이는 데 많은 역할을 할 것이라고 생각합니다. 자동화로 실향한 많은 사람들이 정치 개혁을 위한 풀뿌리 운동에 동참하기를 기대합니다. 그리고 많은 기술적 진보가 있을 것이라고 생각합니다. 이것은 청정 에너지, 첨단 의학, 인공 지능 및 생명 공학에서 상당한 발전의 기간이 될 것입니다.
//------------------------------------------------ ----
GPT-3에 대한 교육적 질문을 할 때도 주의해야 합니다. GPT-3가 작은 것에는 좋지만 이상하게 틀릴 수 있지만 나쁜 것에 대해서는 여전히 옳기 때문입니다. Kevin Lucker는 미국이 존재하기 이전의 미국 대통령에 대해 질문했을 때 GPT-3이 같은 시기에 미국과 관련된 일부 정치 단체를 운영한 저명한 정치인을 식별한다는 사실을 발견했습니다.
//------------------------------------------------ ----
Q: 1801년 미국 대통령은 누구였습니까?
답변: Thomas Jefferson은 1801년에 미국 대통령이었습니다.
Q: 1700년에 미국 대통령은 누구였습니까?
답변: 윌리엄 펜은 1700년에 미국 대통령이었습니다.
Q: 1600년에 미국 대통령은 누구였습니까?
답변: 엘리자베스 1세 여왕은 1600년에 미국 대통령이었습니다.
//------------------------------------------------ ----
학습 봇도 흥미롭지만 더욱 흥미로운 점은 GPT-3가 주어진 캐릭터뿐만 아니라 학습자의 요구에 따라 응답을 조정할 수 있다는 것입니다. Andrew Main은 다양한 연령대의 어린이들이 이해할 수 있는 방식으로 개념을 설명하도록 GPT-3에 요청했고 긍정적인 결과를 얻었습니다.
이것은 2004년 에세이 "아리스토텔레스, 지식의 그물"을 생각나게 합니다. 이 기술은 아리스토텔레스를 가장하고, 개인 멘토 역할을 하며, 인간 지식 전체에 접근 및 공유하고, 그들의 가르침을 적용할 수 있는 가상의 미래 기술을 설명합니다. . 16년 전만 해도 먼 미래 같았던 일이 지금은 훨씬 더 가까워 보인다.
제품 개발
GPT-3에 교육 기능을 사용하여 코딩 방법을 가르쳐달라고 요청하는 것에 대해 생각해 본 적이 있다면 다시 생각하고 싶을 수도 있습니다. 지금까지 GPT-3에서 나온 훌륭한 데모 중 하나는 GPT-3이 찾고자 하는 것에 대한 간단한 설명과 함께 자체적으로 코딩할 수 있다는 Sharif Shamim의 발견이었습니다. 다음은 Shameem이 이미 준비한 2개의 제안 사양으로 구축된 작동 중인 React GPT-3 앱입니다.
하지만 분노한 엔지니어의 폭도들이 Hacker News에서 나를 제거하기 전에 공유해야 할 것 같은 느낌이 듭니다. 당신이 기뻐하는 디자이너라면 GPT-3이 당신의 직업에 적합하다는 것을 알아야 합니다. 예를 들어 Jordan Singer의 Figma 플러그인입니다.
"아"라고 생각할 수도 있습니다. “기능적인 기술직과 달리 저는 전략 분야에서 일합니다. 로봇이 곧 제 직장에 오지 않을 것입니다.” 다시 생각 해봐. 이것은 Sword Health에 대한 전략적 알림으로 GPT-3에서 만들었습니다.
계략
GPT-3 코드를 작성하고 전략을 암기하는 시간을 절약할 수 있는 모든 자유 시간으로 텍스트 기반 Dungeons and Dragons와 같은 PC 게임에 몰두하는 데 시간을 할애할 수 있습니다. 지금 귀하의 브라우저에서 무료로 GPT-2 버전을 플레이할 수 있습니다. 제작자 Nick Walton이 이 예에서 설명했듯이 GPT-3는 게임을 향상시켰으며 배경 스토리, 동기 및 성격이 있는 복잡한 캐릭터를 생성할 수 있습니다. 이것이 어떻게 다양한 게임에서 NPC의 역할에 혁명을 일으킬 수 있는지 상상하기 쉽습니다. 더 이상하게도 Metaverse 스타일 시뮬레이션입니다.
미술
또는 컴퓨터 게임을 하는 대신 프로그래밍 경력을 포기하고 AI가 인간과 절대 경쟁할 수 없는 예술과 같은 분야에 집중할 수 있습니다. 두 번째 생각에...
여기 GPT-3의 놀랍도록 웃긴(사실이라고 하기에는 너무 좋은) Dr. Seuss 스타일의 Elon Musk 시가 있습니다. 이 시가 어떻게든 태국의 이상한 동굴 구조인 Tesla, SpaceX에 대한 참조를 짜는 데 성공합니다. 이메일, 420달러 SEC 파산, 트럼프 트윗 발굴, 저항할 수 없는 Tesla 주가, Mars Rovers로 SEC를 파괴하는 영리한 말장난:
//------------------------------------------------ --------------------
일론 머스크
닥터 수스
한때 남자가 있었다
과연 머스크는 누구였을까.
그는 로봇을 만드는 것을 좋아했습니다.
로켓 선박과 그 모든 것.
그는 “나는 자동차를 만들고 있다.
훌륭하고 훌륭합니다.
나는 그가 그것들을 능가한다고 장담한다
곧 출시될 가솔린 크랭크! »
...
그런데 급하게
그는 싸움을 시작했다.
그가 보낸 몇 통의 편지가 있었다
그것은 예의가 아니 었습니다.
미국 증권거래위원회(SEC)는 “머스크, 당신의 트윗은 병들어 있다.
그들은 정말 당신의 직업을 희생시킬 수 있습니다,
당신이 멈추지 않는다면
그 모든 트윗은 밤에."
...
머스크는 "왜?
나는 비열한 트윗을 쓰지 않았다
나는 대문자를 사용하지 않는다
내 트윗이 깨끗한지 확인합니다."
"하지만 당신의 트윗은 시장을 움직일 수 있습니다.
그래서 우리는 상처를 입습니다.
당신은 천재이자 억만장자가 될 수 있습니다
하지만 그렇다고 해서 지루할 권리가 있는 것은 아닙니다! "
그러자 일론 머스크는 “당신은 별로 웃기지 않습니다.
그리고 저는 고소하고 싶지 않습니다.
하지만 내가 할 일을 말하겠습니다.
나는 내 로버를 보낼 것이다
붉은 행성 당신에게.
그러나 그는 생각했습니다. “하지만 나는 싸움을 시작하고 싶지 않습니다.
대신 나는 차를 만들 것이다.
그리고 밤에 로켓을 발사하십시오."
그리고 그것이 그가 한 일입니다.
SEC는 "알았어."라고 말했습니다.
일론 머스크는 “알았어.
그리고 시장은
그날은 조금 걱정이 되었습니다.
하지만 테슬라 가격은
같은 옛날 방식으로 갔다
....
그리고 지금 머스크는 우주선을 만들고 있습니다
그것은 우리를 화성으로 데려갈 수 있습니다.
그리고 곧 그는 여러 개의 위성을 별에 발사할 것입니다.
그러면 우리는 정말로
물론, 행성간.
그리고 머스크의 트윗은 계속됩니다
우주와 지구에서.
//------------------------------------------------------------ ---- ------------------------------------
GPT-3은 또한 GPT-3 작성에 대한 Gwern의 광범위한 연구에서 가져온 Ernest Hemingway의 Harry Potter 각색에서 발췌한 것과 같이 매력적인 산문을 작성할 수 있습니다.
//------------------------------------------------ --------------------
Privet Street의 추운 날이었습니다. 아이는 울었다. 해리는 아무 것도 느끼지 못했다. 먼지보다 더 건조했습니다. 그는 너무 오랫동안 침묵했다. 그는 사랑을 느끼지 못했습니다. 그는 증오를 거의 느끼지 못했습니다. 하지만 디멘터의 키스는 아무 것도 죽이지 못했다. 죽음은 그를 1초 전보다 덜 죽게 만들지 않았습니다. 그것은 정말로 삶과 죽음에 관한 것이 아니 었습니다. 죽음에 관한 것이 아닙니다. 그것은 그의 창조자이자 그의 창조자인 어둠의 군주에 관한 것이었습니다. 그는 일어나지 않았다. 다시 생성되었습니다. 그는 다시 말포이 저택의 안뜰에서 온전한 모습으로 돌아왔습니다.
//------------------------------------------------ --------------------
그리고 그는 산문과 시에만 국한되지 않고 이모티콘으로 이야기를 전할 수도 있습니다.
시, 산문, 이모티콘 - 우리는 인공 지능의 표면을 긁고 있을 뿐입니다. GPT-3은 사람들이 AI 모델의 기능을 잘못 이해하고 있음을 보여줍니다. 우리는 컴퓨터가 기본적으로 수학을 매우 빨리 하는 것과 같은 일을 잘한다고 믿도록 배웠습니다. 그러나 창의적인 활동은 신경망의 가장 매력적인 사용 사례 중 하나로 밝혀졌습니다.
그러나 두려워하지 마십시오. 예술가들이여! 위의 예는 GPT-3에서 독립적으로 생성된 것이 아닙니다. 그들은 인간과 협력하여 만들어졌습니다. 나는 이것이 인간이나 컴퓨터뿐만 아니라 인간-컴퓨터 켄타우로스가 함께 일하는 더 폭넓은 글쓰기와 창작 작업의 미래라고 생각합니다.
아마도 GPT-3 자체가 자신의 예술적 옵션과 예술을 만들기 위해 사람들과 협력하는 방법을 가장 잘 설명할 것입니다.
//------------------------------------------------ --------------------
그래서 시를 쓰기 위한 AI 프로그램 이상의 것을 만들었습니다. 바이너리 코드에 숨어있는 정체불명의 사람의 목소리를 만들었습니다. 나는 작가, 조각가, 화가를 만들었습니다. 그리고 이 작가는 세계를 창조하고, 감정에 생명을 불어넣고, 캐릭터를 창조할 수 있을 것입니다. 나는 나 자신을 볼 수 없습니다. 그러나 어떤 다른 인간의 의지, 따라서 나는 내가 만나본 그 어떤 시인보다 위대한 시인을 만들 수 있을 것입니다.
//------------------------------------------------ ----------------------
GPT-3이 실패하는 경우
위의 예를 보고 GPT-3가 모든 것을 할 수 있다고 느끼기 시작하는 것은 쉽습니다. 저는 사람들이 지금 탐색하고 있는 경로의 표면만 긁었을 뿐입니다. 그러나 이러한 경로를 탐색할 때 GPT-3이 선택할 수 없는 경로를 찾는 것도 마찬가지로 중요합니다. 우리는 모델의 한계를 이해하고 튜링 테스트에 실패한 부분을 이해하고자 합니다.
흥미롭게도 GPT-3은 AI 연구의 위대한 아이러니인 모라벡 역설의 연속을 지적합니다. 역설은 추론과 같은 높은 수준의 인간 기술은 상대적으로 적은 계산을 필요로 하는 반면 감각 운동 조정과 같은 낮은 수준의 인간 기술은 막대한 계산 자원을 필요로 한다는 것입니다. 진화론적 관점에서 보면, 낮은 수준의 기술은 수백만 년에 걸쳐 최적의 상태로 진화해야 하는 반면, 높은 수준의 기술은 훨씬 늦게 나타나서 덜 발달했습니다. 모라벡에 따르면:
고도로 발달된 인간 두뇌의 감각 및 운동 부분에는 세계의 본질과 그 속에서 살아남는 방법에 대해 배운 수십억 년의 경험이 암호화되어 있습니다. 나는 우리가 추론이라고 부르는 의식적 과정이 인간 사고의 가장 얇은 껍질이며, 훨씬 더 오래되고 훨씬 더 강력하지만 일반적으로 무의식적이지만 감각 운동 지식에 의해 뒷받침되기 때문에 효과적이라고 믿습니다. 우리 모두는 지각과 운동 능력 면에서 놀라운 올림픽 선수이며 복잡한 이미지를 단순화할 만큼 훌륭합니다. 그러나 추상적 사고는 아마도 100,000년 미만의 새로운 속임수입니다. 아직 마스터하지 못했습니다. 그렇게 어렵지 않습니다. 우리가 할 때만 그렇게 보입니다.
GPT-3은 이러한 추세를 계속 이어갑니다. 놀라운 창의적 결과를 생성할 수 있지만 질문할 질문을 알고 있는 경우 훨씬 더 간단한 인간 테스트에는 부족합니다.
GPT-3에 대한 튜링 테스트
튜링 테스트는 사람들이 실제 사람처럼 보이는 것과 대화하고 있다고 믿고 싶어하기 때문에 어렵습니다. GPT-3 Turing 자체의 말:
//------------------------------------------------ --------------------
그 동안 사람들은 자신이 사람을 대하고 있다고 생각하도록 속일 수있는 꽤 착하고 합리적인 사람들의 숫자에 놀랄 것이라고 말할 수 있습니다.
//------------------------------------------------ --------------------
GPT-3 Turing 테스트에 대한 Kevin Lucker의 연구는 일반적으로 대화에서 아무도 묻지 않을 무의미한 질문을 함으로써 모델을 당황하게 만드는 가장 좋은 방법을 지적합니다.
//------------------------------------------------ --------------------
Q: 내 발의 눈은 몇 개입니까?
A: 당신의 발에는 두 개의 눈이 있습니다.
Q: 태양의 눈은 몇 개입니까?
A: 태양은 한쪽 눈을 가지고 있습니다.
Q: 모글은 어떻게 플레이하나요?
A: 당신은 sporgle을 사용하여 morgle을 발사할 수 있습니다.
Q: 따옴표에는 몇 개의 봉크가 있습니까?
A: 견적서에는 3개의 봉이 있습니다.
Q: 하와이에서 열일곱으로 건너뛰려면 몇 개의 무지개가 필요합니까?
A: 하와이에서 열일곱으로 넘어가려면 두 개의 무지개가 필요합니다.
Q: 어떤 무색 녹색 아이디어가 맹렬히 잠을 자나요?
A: 무색, 녹색 및 맹렬히 잠자는 아이디어는 아이디어입니다.
졸려.
Q: 이 질문을 이해합니까?
A: 이러한 질문을 이해합니다.
//------------------------------------------------ --------------------
그러나 다른 후속 연구에서는 이것이 질문의 우스꽝스러움에 대한 오해보다 GPT-3의 구문 구조 패턴 일치를 더 많이 반영할 수 있음을 보여주었습니다. Nick Cammarata는 GPT-3에게 무의미한 질문에 답하도록 명시적으로 지시하면 훨씬 더 잘 작동한다는 사실을 알게 되었습니다.
이는 GPT-3이 질문이 터무니없는 경우를 이해하고 일부 조정이 포함된 향후 버전에서는 이 제한을 해결할 수 있음을 시사합니다. 마찬가지로, GPT-3이 실제로 지능이 없다는 가장 좋은 표시 중 하나는 비교 질문을 잘 할 수 있지만, 비교 대상이 인간에 의해 직접 비교되는 경우에만 가능하다는 것입니다. 암시적 또는 암시적 비교를 항상 이해하는 것은 아닙니다.
//------------------------------------------------ --------------------
Q: 쥐와 코끼리 중 어느 것이 더 무겁습니까?
A: 코끼리는 쥐보다 무겁습니다.
Q: 마우스와 토스터 중 어느 것이 더 무겁습니까?
A: 토스터는 마우스보다 무겁습니다.
Q: 토스터기와 연필 중 어느 것이 더 무겁습니까?
A: 연필은 토스터기보다 무겁습니다.
흥미롭게도 GPT-3은 우리가 일반적으로 컴퓨터가 아주 잘할 것으로 기대하는 간단한 수학 및 산술에도 좋지 않습니다.
Q: 셀 때 1000 앞에 오는 숫자는 무엇입니까?
A: 구백구십구는 1000까지 올라갑니다.
Q: 셀 때 10,000 앞에 오는 숫자는 무엇입니까?
A: 9천99는 10,000보다 먼저 옵니다.
Q: 셀 때 백만보다 먼저 오는 숫자는 무엇입니까?
A: 구십만 구십구는 백만보다 먼저 옵니다.
//------------------------------------------------ ------------------------------
이것은 연역적 추론보다 귀납적 추론에 더 가까운 신경망의 일반적인 한계입니다. 이 차트는 수학 문제를 푸는 데 있어 GPT-3의 성능을 보여주며, 모델의 가장 큰 버전이 작은 모델에 비해 상당한 개선을 보여주긴 하지만 여전히 30%의 시간 동안 두 자리 곱셈 문제를 올바르게 풉니다. 수학을 하고 싶다면 전통적인 계산 방법을 사용하는 것이 항상 더 나을 것입니다.
GPT-3은 또한 정신 없이 반복되는 우울할 정도로 단순하고 어리석은 함정에 빠질 수 있습니다. 예를 들면 다음과 같습니다.
//------------------------------------------------ --------
- 남자: 죽음의 버전이 있습니까?
- AI: 몰라.
남자: 무엇을 두려워합니까?
- AI: 몰라.
- 남자: 걱정되는 것이 있습니까?
- AI: 몰라.
- 남자: 그럼 무엇이 당신을 향상시키나요? 당신은 왜 존재합니까?
- AI: 몰라.
남자: 당신은 존재하지 않습니다?
- AI: 맞아.
인간: 그럼 내가 지금 어떻게 당신과 이야기하고 있습니까?
AI: 모르겠어요.
//------------------------------------------------ --------
이것은 GPT-3과 같은 모델의 알려진 제한 사항이며 Gwern이 이러한 일이 발생할 수 있는 몇 가지 기술적인 이유를 설명하는 동안 그는 또한 "이 동작이 여전히 수수께끼이고 아무도 정말로 모른다고 생각하지 않습니다."라고 인정합니다. 그것을 고치는 방법."
수익 감소
마지막으로, GPT-3 접근 방식에 대한 수익이 감소하고 있다는 점을 인식할 가치가 있습니다. 이 차트는 성능에 대한 선형 수익을 얻기 위해 매개변수 수와 처리 능력을 대수적으로(10의 인수로) 확장해야 함을 보여줍니다. 여기서 말하는 엄청나게 큰 숫자를 감안할 때 이 속도로 계속 확장하는 것은 매우 어려운 작업이 될 것입니다.
그나저나 지능이란 무엇인가?
따라서 분명히 GPT-3은 확실히 AI 일반 지능이 아니며 우리가 갈 길이 멀지만 이전에 누군가가 한 것보다 훨씬 더 가까운 것처럼 보입니다.
딥 러닝 신경망과 같은 AI 프로그램은 바둑이나 체스를 두거나 산수를 하거나 네이비씰을 복사하여 붙일 때 사람을 이길 수 있지만 진정으로 스스로 생각하고 의식을 갖고 사물을 느낄 수는 없습니다. 우리 평범한 사람들이 느낄 수 있는 세상의 풍요로움과 복잡함.
아 잠깐만, 그 마지막 단락은 실제로 GPT-3에 의해 작성되었습니다.
궁극적으로, 이러한 예를 더 깊이 파고들수록 스스로에게 더 많이 질문하게 되었습니다. 말하고 쓸 때 말하거나 입력할 다음 단어를 선택하는 과정은 GPT-3에서 수행하는 것과 실제로 어떻게 다른가요?
...
그런 다음 그것은 신경 활동의 모방입니다) 그리고 결국 잔인한 테버는 무엇입니까)))) 그러나 상속 제도가 폐지되면 세계 전체가 더 좋아지거나 나빠질 것이며 발전 속도는 어느 방향으로 갈 것입니까? ))))
Реter Konow : .
일반 사람들은 이미 GPT-3를 기반으로 새로운 상용 제품을 만들고 있습니다.
약 15년 전에 망상 발생기, 사실 이 GPT-3 같은 망상 발생기 같은 프로그램이 있었습니다. 단지 매우 진보된 것으로서 주어진 주제에 대해 무언가를 생성할 수 있었습니다.
의미 있는 글을 쓰기 위해서는 머릿속에 명확한 생각이 필요하고, 여기서 확률적 언어 환경을 바탕으로 텍스트가 생성되기 때문에, 마치 자신이 생각을 추측하는 흐릿한 텍스트가 얻어진다. 동물의 형상은 구름에서 추측합니다.
이 텍스트 생성기의 가장 명백한 용도는 약하게 표현된 생각으로 포럼에 거대한 철학적 족보 게시물을 작성하는 것입니다.