로그인/ 가입하기

2012년 인류의 운명을 바꾼 180일

2024/10/08 21:47

따르다

2012년 12월 초 어느 날, 미국 스키 리조트 타호 호수의 한 카지노 호텔에서 비밀 경매가 열리고 있었습니다.

캘리포니아주와 네바다주의 경계에 위치한 타호 호수는 사파이어 블루의 수면과 최고급 산책로를 갖춘 북미 최대의 고산 호수로, 대부 2가 촬영되고 마크 트웨인이 머물렀던 곳이며 샌프란시스코 베이 지역에서 200마일이 조금 넘는 거리에 있어 흔히 "실리콘밸리의 뒷마당"으로 불리는 이곳에는 주커버그와 래리 엘리슨을 비롯한 거물급 인사들도 산을 둘러싸고 저택을 짓고 있습니다.

이 비밀 입찰의 대상은 토론토 대학교 교수인 제프리 힌튼과 그의 제자 2명이 설립한 직원 3명의 설립 한 달 된 회사 DNNresearch였습니다. 그의 제자 두 명이 설립한 회사였습니다.

이 회사는 가시적인 제품이나 자산을 보유하고 있지는 않지만, 구글, 마이크로소프트, 딥마인드, 바이두 등 4곳의 구매자가 있다는 점에서 인수 후보의 정체를 짐작할 수 있습니다.

비밀 입찰을 진행 중입니다. 2012년 레이크 타호 하라스 호텔

허리 디스크 통증으로 창백하고 마른 힌튼은 호텔 703호실 바닥에 앉아 1200만 달러부터 시작하는 입찰 규칙을 정했습니다. 입찰 단위는 최소 1백만 달러 이상.

몇 시간 후 입찰자들은 가격을 4,400만 달러까지 올렸고, 약간 어지럽고 "마치 영화 속에 있는 듯한 느낌"을 받은 힌튼은 과감하게 입찰을 중단하고 최종 입찰자에게 회사를 매각하기로 결정했습니다.

흥미롭게도 4,400만 달러 입찰의 출처 중 하나는 6개월 전 Google에서 나왔습니다.

. 왼쪽;">2012년 6월, Google의 연구 부서인 Google Brain은 고양이 뉴런 프로젝트(또는 "Google 고양이")의 연구 결과를 공개했습니다. 유튜브 동영상에서 고양이를 식별하는 알고리즘을 개발하는 이 프로젝트는 스탠포드에서 구글로 옮긴 앤드류 응이 구글의 전설인 제프 딘을 영입하고 구글 창업자 래리 페이지에게 막대한 예산을 요청하면서 시작되었습니다.

Google 고양이 프로젝트는 신경망을 구축하고, YouTube에서 대량의 동영상을 다운로드하여 태그를 붙이지 않은 채 방치한 다음 모델이 스스로 고양이의 특징을 관찰하고 학습하도록 한 다음, Google 데이터 센터에 있는 16,000개의 CPU를 사용하여 훈련시켰습니다(내부적으로는 지나치게 복잡하고 비용이 많이 든다는 이유로 GPU 사용을 거부했습니다). (GPU는 너무 복잡하고 비용이 많이 든다는 이유로 내부적으로 사용을 거부했습니다.) 마침내 74.8%의 인식 정확도를 달성했습니다. 이 수치는 업계에 큰 충격을 주었습니다.

엔다 우는 프로젝트가 끝날 무렵 구글 캣 프로젝트에서 은퇴하여 자신의 인터넷 교육 프로젝트를 진행했고, 퇴사하기 전에 회사에 힌튼에게 자신의 일을 이어받도록 추천했습니다. 제안을 받았을 때 힌튼은 대학을 떠나지 않고 "여름 동안만" 구글에 가겠다고 말했습니다. 구글 채용 규정의 특수성 때문에 당시 64세였던 힌튼은 구글 역사상 최고령 여름 인턴이 되었습니다.

Hinton은 80년대부터 AI 분야를 선도해 왔으며, 교수로서 딥러닝 분야의 대가입니다(에른스트 우 포함). 그래서 그는 구글 캣 프로젝트의 기술적 세부 사항을 알게 되자마자 "잘못된 신경망을 실행하고 잘못된 컴퓨팅 파워를 사용했다"는 성공 뒤에 숨겨진 결함을 발견했습니다.

같은 작업을 하더라도 힌튼은 자신이 더 잘할 수 있다고 생각했습니다. 그래서 그는 짧은 '인턴십'을 마치고 바로 실무에 뛰어들었습니다.

힌튼은 수학에 재능이 있는 소련 태생의 유대인 일리야 수츠케버와 엔지니어링 구현을 전공한 알렉스 크리제프스키를 제자로 영입했습니다. 이 세 사람은 긴밀히 협력하여 새로운 신경망을 만들었고, 이 신경망은 곧바로 이미지넷 이미지 인식 대회(ILSVRC)에 출품되어 84%의 놀라운 인식 정확도로 우승을 차지했습니다.

2012년 10월, Hinton 팀은 피렌체에서 열린 컴퓨터 비전 컨퍼런스에서 우승 알고리즘인 AlexNet을 발표했습니다. 16,000개의 CPU를 사용한 Google Cat에 비해 AlexNet은 4개의 NVIDIA GPU만 사용했고, 학계와 업계는 완전히 놀랐으며 AlexNet 의 논문은 컴퓨터 과학 역사상 가장 영향력 있는 논문 중 하나가 되어 현재 12만 번 이상 인용되고 있는 반면, 구글 캣은 금세 잊혀졌습니다.

디엔엔리서치의 트리오< /p>

이미지넷 첫 대회에서 우승한 유 카이는 논문을 읽고 나서 "감전된 것 같다"고 할 정도로 흥분했습니다. 유 카이는 장시 출신의 딥러닝 전문가로, 얼마 전 NEC에서 바이두로 옮긴 후 곧바로 신톤에게 이메일을 보내 협력 의사를 밝혔고, 신톤은 흔쾌히 동의한 후 자신과 두 학생을 회사로 꾸려 경매에 입찰하도록 구매자를 초대하는 장면이 처음에 있었습니다.

경매에 망치가 떨어진 후, 더 큰 경쟁이 펼쳐졌습니다: 구글이 승리의 물결을 타고 2014년에는 "세계의 영웅이 가방 안에 있다"고 외친 딥마인드, 그리고 2016년에는 딥마인드가 등장했습니다. 알파고 출시, 전 세계를 놀라게 한 구글에 패한 바이두는 10년간 수천억 달러를 투자해 인공지능에 베팅하기로 결심하고, 유카이는 나중에 바이두를 돕기 위해 몇 년 후 떠난 우엔다를 초대해 호라이즌을 설립합니다.

표면적으로는 더디게 움직였지만 궁극적으로 가장 큰 상을 받은 것은 힌튼의 두 제자 중 한 명인 일리야 수츠케버가 설립자로 있는 OpenAI였습니다. 힌튼은 2023년까지 구글에서 근무하며 그 기간 동안 ACM 튜링상을 수상했습니다. 물론 구글의 상금 4,400만 달러(힌튼의 지분은 40%)에 비하면 튜링상의 100만 달러 상금은 푼돈처럼 보입니다.

6월의 구글 캣, 10월의 알렉스넷 논문, 12월의 레이크 타호 입찰에 이르기까지 거의 6개월 동안 딥러닝의 붐, GPU와 엔비디아의 부상, 앨저넌의 부상, 앨저넌의 부상 등 AI 물결의 거의 모든 전조가 깔렸던 시기였습니다. 엔비디아의 부상, 알파고의 지배, 트랜스포머의 탄생, ChatGPT의 등장 ...... 실리콘 기반 붐의 거대한 움직임의 첫 음이 연주되었습니다.

2012년 6월부터 12월까지 180일 동안 탄소 기반 인류의 운명은 영원히 바뀌었지만, 이를 알아차린 사람은 거의 없었습니다.

Liquid Cat

그 극소수 중에는 스탠포드 교수 페이 페이 리(Fei-Fei Li)도 있었습니다.

2012년 이미지넷 대회 참가 결과가 나왔을 때 출산 직후였던 페이 페이 리는 출산 휴가 중이었지만, 신튼 팀의 오류율을 보고 역사가 다시 쓰이고 있음을 깨달았습니다. 이미지넷 챌린지의 창시자인 그녀는 그날의 마지막 비행기를 사서 피렌체로 향했고, Hinton 팀에게 직접 상을 수여했습니다[2].

베이징에서 태어나 청두에서 자란 페이페이 리는 16세 때 부모님과 함께 미국으로 이민을 떠나 세탁소에서 일을 도우며 프린스턴을 졸업하고 2009년 스탠포드에 컴퓨터 비전 및 기계 학습 조교수로 합류했습니다. 스스로 사진과 이미지의 의미를 이해하는 것을 목표로 하는 분야입니다.

예를 들어 카메라가 고양이 사진을 찍을 때 카메라는 센서를 통해 빛을 픽셀로 변환할 뿐, 사진 속 대상이 고양이인지 개인지 알지 못합니다. 카메라를 사람의 눈과 비교하면 컴퓨터 비전이 해결하는 문제는 카메라에 사람의 뇌를 넣는 것입니다.

이를 수행하는 전통적인 방법은 예를 들어 고양이의 특성을 단순한 기하학적 모양으로 추상화하여 실제 사물을 수학적 모델로 추상화하는 것으로 기계 인식의 어려움을 크게 줄일 수 있습니다.

이미지 출처: Feifei Li의 TED 강연

그러나 고양이가 다음과 같이 보일 가능성이 높기 때문에 이러한 사고방식은 매우 제한적입니다.

컴퓨터로 '액체 고양이'를 인식하게 하려는 노력은 1980년대부터 Jeff Hinton, Yann LeCun과 같은 딥러닝 선구자들에 의해 계속되어 왔습니다. 그러나 알고리즘에는 항상 병목 현상이 존재하는데, 좋은 알고리즘은 이를 구동하기에 충분한 전력이 부족하고 전력 요구량이 적은 알고리즘은 인식 정확도를 충족하기 어려워 산업화할 수 없습니다.

'액체 고양이' 문제를 해결하지 못하면 딥러닝의 섹시함은 이론적 수준에 머물 수 밖에 없고, 자율주행, 의료 영상, 정확한 광고 푸시 등의 산업화 시나리오는 허공의 성에 불과할 뿐입니다.

단순히 말해, 딥러닝의 발전에는 세 마차를 끌 수 있는 알고리즘, 계산, 데이터가 필요합니다. 계산력이 필요하고, 동시에 알고리즘을 향상하려면 대규모의 고품질 데이터가 필요하며, 이 세 가지는 서로를 보완하며 어느 하나 없이는 다른 하나를 가질 수 없습니다.

2000년 이후 칩 처리 능력의 급속한 발전과 함께 산술 병목 현상이 점차 해소되었음에도 불구하고 주류 학계에서는 딥러닝 경로에 대한 관심이 여전히 거의 없었습니다. 페이페이 리는 병목 현상이 알고리즘 자체의 정확성이 아니라 고품질의 대규모 데이터 세트가 부족하기 때문일 수 있다는 사실을 깨달았습니다.

페이페이 리는 세 살짜리 아이가 세상에 대해 배우는 방식에서 영감을 받았습니다. 예를 들어 고양이를 예로 들면, 아이는 어른의 지도 아래 몇 번이고 고양이를 만나면서 점차 고양이의 의미를 파악해 갑니다. 아이의 눈을 셔터를 한 번 누르는 것과 같은 카메라라고 생각하면 세 살짜리 아이는 수억 장의 사진을 찍은 셈이 됩니다.

이 접근 방식을 컴퓨터에 적용하여 컴퓨터에 고양이와 다른 동물의 사진을 보여주고 각 사진의 뒷면에 정답이 적혀 있다고 가정해 보겠습니다. 컴퓨터는 그림을 볼 때마다 뒷면의 정답을 확인합니다. 그러면 충분한 시간이 주어지면 컴퓨터가 어린아이처럼 고양이의 의미를 파악할 수 있습니다.

해결해야 할 유일한 문제는 어디서 이렇게 많은 그림에 답이 적혀 있는 그림을 찾을 수 있을까요?

2016년 중국으로 온 페이페이 리는 는 2016년에 중국을 방문해 구글 AI 중국 센터 설립을 발표했는데

이것이 ImageNet이 탄생하게 된 계기였습니다. 당시 가장 큰 데이터세트인 PASCAL조차도 4개 카테고리에 총 1,578개의 이미지만 있었으며, 페이페이 리의 목표는 수백 개의 카테고리에 총 수천만 개의 이미지가 포함된 데이터세트를 만드는 것이었습니다. 지금은 그렇게 어렵지 않게 들리지만, 2006년 당시 세계에서 가장 인기 있는 휴대폰은 Nokia 5300이었습니다.

페이페이 리의 팀은 Amazon의 크라우드소싱 플랫폼에 의존하여 수작업 주석 달기의 엄청난 작업량을 해결했고 2009년 320만 이미지가 포함된 ImageNet 데이터 세트가 탄생했습니다. 이미지 데이터셋을 기반으로 알고리즘을 학습시켜 컴퓨터의 인식 능력을 향상시킬 수 있습니다. 하지만 수억 장의 3세 아동 사진에 비하면 320만 장은 여전히 너무 적습니다.

데이터셋을 계속 확장하기 위해 페이페이 리는 참가자가 직접 알고리즘을 가져와 데이터셋의 사진을 인식하고 가장 높은 정확도를 보이는 사람이 우승하는 사진 인식 대회를 개최하는 업계의 인기 있는 관행을 따르기로 결정했습니다. 하지만 당시에는 딥러닝이 주류가 아니었고, ImageNet은 유럽에서 유명한 행사인 PASCAL에 '제휴'하여 겨우 참가자 수를 채울 수 있었습니다.

2012년까지 ImageNet의 이미지 수는 1,000개 카테고리에서 총 1,500만 개로 늘어났고, 페이페이 리는 이러한 데이터 부족을 보완하는 데 6년이 걸렸습니다. 하지만 ILSVRC의 최고 결과 역시 오류율이 25%에 달했고, 알고리즘과 연산 능력 면에서 여전히 확신을 주지 못했습니다.

그 때 힌튼 씨는 AlexNet과 두 대의 GTX580 그래픽 카드를 들고 등장했습니다.

컨볼루션

힌튼 팀이 우승한 알고리즘인 AlexNet은 컨볼루션 신경망 또는 CNN이라는 방법을 사용합니다. 신경망(CNN). "신경망"은 인간의 뇌가 작동하는 방식에서 이름과 구조를 따온 기계 학습의 한 분야인 인공 지능 분야에서 매우 빈번하게 사용되는 용어입니다.

인간이 사물을 인식하는 과정은 동공이 픽셀을 받아들이고 피질이 가장자리와 방향을 통해 처음에 처리한 다음 뇌가 지속적인 추상화를 통해 사물을 판단하는 방식입니다. 그 결과 인간의 뇌는 몇 가지 특징만으로 사물을 구별할 수 있습니다.

예를 들어, 얼굴 전체를 보여주지 않아도 대부분의 사람들은 아래 이미지 속 인물이 누구인지 알아볼 수 있습니다.

신경망은 실제로 인간 두뇌의 인식 메커니즘을 시뮬레이션하며, 이론적으로 지능형 컴퓨터는 인간 두뇌가 할 수 있는 것을 달성할 수 있습니다. SVM, 의사 결정 트리, 랜덤 포레스트 및 기타 방법과 비교할 때 인간 두뇌의 시뮬레이션만이 "액체 고양이"와 "반 트럼프"와 같은 비정형 데이터를 처리할 수 있습니다.

그러나 문제는 인간의 뇌에는 약 1000억 개의 뉴런이 있고 뉴런 사이에는 수조 개의 노드(즉, 시냅스)가 있어 엄청나게 복잡한 네트워크를 형성하고 있다는 점입니다. 이에 비해 16,000개의 CPU를 탑재한 Google Cat은 내부에 10억 개의 노드가 있으며, 이미 당시 가장 복잡한 컴퓨터 시스템이었습니다.

이런 이유로 'AI의 아버지'라 불리는 마빈 민스키조차도 이 방법을 좋은 길이라고 생각하지 않았고, 2007년 새 책 The Emotion Machine을 출간했을 때 민스키는 여전히 다음과 같이 말했습니다. 민스키는 2007년 저서 <감정 기계>에서 여전히 신경망에 대한 비관론을 표명했습니다. 인공 신경망에 대한 주류 머신러닝 커뮤니티의 오랜 부정적 태도를 바꾸기 위해 힌튼은 인공 신경망의 이름을 딥러닝으로 바꿨습니다.

2006년 Hinton은 딥러닝의 주요 혁신으로 여겨지는 심층 신념 신경망(DBNN)의 개념을 소개하고 다층 심층 신경망의 훈련 방법을 제시하는 논문을 Science에 발표했습니다. 딥러닝의 획기적인 발전으로 평가받습니다. 하지만 힌튼의 방법은 많은 컴퓨팅 파워와 데이터를 필요로 하기 때문에 실제로 구현하기는 어렵습니다.

딥러닝은 알고리즘에 지속적으로 데이터를 공급해야 하는데, 당시의 데이터 세트는 너무 작아서 ImageNet이 등장하기 전까지는 불가능했습니다.

이미지넷의 처음 두 버전에서는 다른 경로를 통해 머신 러닝을 시도했지만 결과는 상당히 평범했습니다. 그리고 2012년 Sinton의 팀이 사용한 컨볼루션 신경망인 AlexNet은 또 다른 딥러닝 선구자인 얀 르쿤의 1998년 LeNet을 개선하여 트럼프의 금발 머리와 같은 이미지의 주요 특징을 추출할 수 있는 알고리즘을 개발했습니다.

동시에 컨볼루션 커널이 입력 이미지 위로 미끄러지듯 이동하므로 감지 대상의 위치에 관계없이 동일한 특징이 감지되므로 계산량이 크게 줄어듭니다.

AlexNet은 기존의 계층별 비지도 방식을 버리고 입력 값에 대한 지도 학습을 수행하여 정확도를 크게 향상시키는 고전적인 컨볼루션 신경망 구조를 기반으로 합니다.

예를 들어, 아래 오른쪽 하단 이미지에서 AlexNet은 실제로 정답(마다가스카르 고양이)을 인식하지 못하지만 마다가스카르 고양이처럼 나무에 오르는 작은 포유류를 나열하고 있어 알고리즘이 개체 자체만 인식하는 것이 아니라 다른 개체들을 기반으로 추측합니다[5 ].

이미지 크레딧: AlexNet 논문

업계에서는 6천만 개의 파라미터와 65만 개의 뉴런을 갖춘 AlexNet이 ImageNet 데이터 세트를 완전히 훈련하려면 최소 26조 2천억 개의 부동 소수점 연산이 필요하다는 사실에 놀라움을 금치 못하고 있습니다. 하지만 힌튼 팀은 일주일 동안 단 두 대의 NVIDIA GTX 580 그래픽 카드를 사용해 훈련을 진행했습니다.

GPU

팀 힌튼의 우승 후 가장 당황한 것은 분명히 구글이었습니다.

구글도 내부적으로 이미지넷 데이터셋을 테스트한 것으로 알려졌지만, 인식 정확도는 힌튼 팀에 비해 훨씬 뒤처졌습니다. 구글이 업계에서 따라올 수 없는 하드웨어 자원과 검색 및 유튜브의 방대한 데이터를 보유하고 있고, 구글 브레인이 리더의 특별한 애정을 받고 있다는 점을 고려하면 충분히 납득할 수 없는 결과임이 분명합니다.

이런 엄청난 대조가 없었다면 딥러닝이 업계를 뒤흔들고 인기를 얻지 못했을 것입니다. 업계는 힌튼 팀이 단 4개의 GPU를 사용해 이처럼 좋은 결과를 얻었으며, 연산 능력이 더 이상 병목 현상이 되지 않는다는 사실에 감탄하고 있습니다.

알고리즘은 신경망의 각 계층의 기능과 매개변수를 계층화하여 출력을 얻도록 훈련되며, GPU는 매우 강력한 병렬 컴퓨팅 기능을 가지고 있습니다. 이는 2009년 Enda Wu의 논문에서 입증되었지만, 그와 Jeff Dean이 Google Cat을 운영할 당시에는 여전히 CPU를 사용했고, Jeff Dean은 나중에 2백만 달러의 장비를 주문했지만 여전히 GPU는 포함되지 않았습니다[6].

싱턴은 딥 러닝을 위한 GPU의 가치를 일찍이 깨달은 몇 안 되는 사람 중 한 명이었지만, AlexNet이 차트에 오르기 전에는 기술 기업들은 일반적으로 GPU로 무엇을 할 수 있을지 전혀 몰랐었습니다.

2009년 힌튼은 Microsoft에 음성 인식 프로젝트의 단기 기술 고문으로 초빙되었고, 프로젝트 리더인 덩 리에게 최고급 NVIDIA GPU와 함께 서버를 구입해야 한다고 제안했습니다. 이 아이디어는 덩 리의 지지를 받았지만 덩 리의 상사였던 알렉스 아세로는 "GPU는 게임용이지 AI 연구용이 아니다"라며[6] 순전히 경솔한 생각이라고 생각했습니다.

뎅 리

흥미롭게도 알렉스 아세로는 나중에 애플로 옮겨 애플의 음성 인식 소프트웨어인 Siri를 담당했습니다.

그리고 마이크로소프트의 GPU에 대한 헌신적이지 않은 접근 방식은 힌튼을 약간 흥분하게 만들었고, 나중에 이메일을 통해 덩 리에게 한 세트의 기기를 사겠다고 제안했습니다. 그리고 그는 직접 세 세트를 사겠다고 말하며 [6] "결국 우리는 현금이 부족한 소프트웨어 판매자가 아니라 캐나다의 부유한 대학입니다."라고 음모론적인 방식으로 말했습니다.

그러나 2012년 이미지넷 챌린지 이후 모든 AI 학자들과 기술 기업들은 GPU에 180도 전향했고, 2014년에는 모든 참가팀의 GPU가 사용되었던 해에 구글의 GoogLeNet이 엔비디아 GPU만을 사용해 93%의 인식 정확도로 우승을 차지했습니다. 올해는 모든 참가팀이 사용한 GPU의 수가 110개로 급증했습니다.

이번 챌린지가 '빅뱅의 순간'으로 여겨지는 이유는 알고리즘, 연산, 데이터 등 딥러닝의 3박자가 모두 갖춰져 산업화는 시간 문제일 뿐이라는 점 때문이죠. 산업화는 시간 문제일 뿐입니다.

알고리즘 수준, 힌튼 팀 은 컴퓨터 과학 분야에서 가장 많이 인용된 논문 중 하나가 된 AlexNet에 논문을 발표했습니다. 수백 가지의 기술 라인이 존재하던 것이 딥 러닝이라는 하나의 기술 라인이 지배하게 되었고, 거의 모든 컴퓨터 비전 연구가 신경망 으로 전환되었습니다. strong>.

산술 수준에서, GPU는 병렬 컴퓨팅에 탁월한성능을 발휘합니다. 역량과 딥 러닝 적응력을 업계에서 빠르게 인정받고 있으며, 6년 전부터 CUDA를 내놓기 시작한 엔비디아가 가장 큰 승자가 되었습니다.

데이터 수준에서는 이미지넷이 이미지 처리 알고리즘의 시금석이 되었습니다. <양질의 데이터셋을 바탕으로 알고리즘의 인식 정확도는 날이 갈수록 높아지고 있으며, 2017년 마지막 챌린지에서 우승한 알고리즘은 97.3%의 인식 정확도를 달성하며 인간을 뛰어넘는 성과를 거두었습니다.

2012년 10월 말, 힌튼 학생 알렉스 크리제프스키가 이탈리아 피렌체에서 열린 컴퓨터 비전 컨퍼런스에서 자신의 논문을 발표했습니다. 그 후 전 세계 기술 기업들은 두 가지 일을 무상으로 하기 시작했습니다. 하나는 엔비디아의 모든 그래픽 카드를 사들이는 것이었고, 다른 하나는 대학에 있는 모든 AI연구원을 빼가는 것이었습니다.

타호 호수의 4400만 달러가 세계 딥 러닝의 신들에게 가격을 다시 매겼습니다.

캡처 더 플래그

공개된 정보에 따르면 당시 바이두에 재직 중이던 카이 유가 실제로 가장 먼저 힌튼을 발굴한 것으로 밝혀졌습니다.

당시 유 카이는 Baidu의 멀티미디어 부서 책임자로, Baidu의 딥러닝 연구소(IDL)의 전신인 Baidu의 멀티미디어 부서장이었습니다. 유카이로부터 이메일을 받은 힌튼은 곧바로 함께 일하기로 동의한다고 답장을 보냈고, 우연히도 바이두가 자금을 지원해 주었으면 하는 바람을 제기했습니다. 유카이는 구체적인 액수를 물었고, 힌튼은 P8 두 대를 고용하기에는 턱없이 적은 금액인 100만 달러면 충분하다고 답했습니다.

유카이는 로빈 리에게 지시를 요청했고, 리는 흔쾌히 동의했습니다. 유카이가 괜찮다고 대답하자 업계의 갈증을 느꼈는지 힌튼은 유카이에게 구글 같은 다른 곳에 부탁해도 괜찮겠냐고 물었습니다.

"후회스럽고 너무 빨리 대답한 것이 아닌가 하는 생각에 힌튼은 큰 기회를 놓치지 않고 깨달을 수 있었습니다. 엄청난 기회를 깨닫게 해준 거죠. 하지만 제가 할 수 있는 건 관대하게 괜찮다고 말하는 것뿐이었어요."

결국 바이두는 팀 힌튼에게 패했습니다. 하지만 유 카이는 이런 결과를 전혀 예상하지 못했습니다. 한편으로는 Sinton은 심각한 디스크 건강 문제가 있고 운전할 수없고 비행 할 수 없으며 중국에서 태평양을 가로 지르는 여행을 견디기 어렵고 다른 한편으로는 Sinton은 깊은 연결의 양쪽 인 Google에서 일하는 학생과 친구가 너무 많기 때문에 다른 세 사람은 본질적으로 입찰의 동행에 있습니다.

알렉스넷의 영향력이 여전히 학계에 집중되어 있다면, 타호 호수에서의 비밀 경매는 전 세계 기술 기업의 코앞에서 구글이 4400만 달러를 지출했기 때문에 업계를 완전히 충격에 빠뜨렸습니다! 설립한 지 한 달도 채 되지 않았고 제품도, 매출도, 직원 3명과 논문 몇 편밖에 없는 회사에 4,400만 달러를 투자한 것입니다.

가장 자극을 받은 곳은 단연 바이두였습니다. 경매에도 불구하고 구글이 어떤 대가를 치르더라도 딥러닝에 투자하는 모습을 직접 목격한 바이두는 투자를 결심하고 2013년 1월 연례 회의에서 딥러닝 연구소인 IDL 설립을 발표했습니다.

2014년 5월, 바이두는 다음과 같이 발표했습니다. 2014년 5월, 바이두는 '구글 캣' 프로젝트의 핵심 인물인 우 엔다를 초청했고, 2017년 1월에는 마이크로소프트에서 퇴사한 루 치를 초청했습니다.

그리고 구글은 힌튼 팀을 인수한 후 2014년 그 해의 경쟁자였던 딥마인드를 6억 달러에 인수했습니다.

당시 머스크는 구글 창업자 래리 페이지에게 딥마인드에 대한 자신의 투자를 추천했습니다. 래리 페이지는 딥마인드에 대한 자신의 투자를 추천했고, 힌튼을 런던으로 데려와 색상을 확인하기 위해 구글 팀은 특별히 전용기를 전세하고 좌석을 변형하여 힌튼이 비행기에 앉을 수 없다는 문제를 해결했습니다 [6].

"영국 선수 "딥마인드, 바둑에서 이세돌을 꺾다, 2016

딥마인드를 두고 구글과 경쟁한 것은 페이스북이었다.딥마인드가 구글로 넘어가자 저커버그는 밀렵으로 방향을 틀었다. "딥 러닝 3인방" 중 한 명인 양리쿤을 밀렵했습니다. 양리쿤을 영입하기 위해 저커버그는 뉴욕에 AI 연구소를 설립하고, 연구소와 제품 팀을 완전히 분리하며, 양리쿤이 뉴욕대학교에서 계속 일할 수 있도록 하는 등 여러 가지 까다로운 요구 사항을 약속했습니다.

2012년 이미지넷 챌린지 이후 AI 분야는 매우 심각한 '공급과 수요의 불일치' 문제에 직면해 있습니다. "문제:

추천 알고리즘, 이미지 인식, 자율주행 등 산업화 영역이 빠르게 개방되면서 인재 수요가 급증하고 있습니다. 하지만 장기적인 불황으로 인해 딥러닝 연구자는 극소수이고, 최고 석학은 두 손으로 꼽을 수 있을 정도로 공급이 심각하게 부족한 상황입니다.

이 경우 배고픈 기술 기업은 '인재 선물'을 살 수밖에 없습니다. 교수들을 발굴하고 그들이 학생들을 데려올 때까지 기다리는 것입니다.

양 리쿤이 페이스북에 입사한 후, 그의 제자 6명이 그를 따라 페이스북에 입사했습니다. 자동차 제작에 뛰어들 준비가 된 애플은 힌튼의 제자인 루슬란 살라쿠트디노프를 애플의 첫 AI 디렉터로 영입했습니다. 헤지펀드 Citadel도 음성 인식 분야에서 힌튼과 함께 일하고 나중에 마이크로소프트의 비밀 입찰 전쟁에 참여했던 덩 리를 밀렵하여 경쟁에 합류했습니다.

얼굴 인식, 기계 번역, 자율 주행과 같은 산업화된 시나리오가 하루에 수천 마일을 이동하고, 산타클라라에 있는 엔비디아 본사로 GPU 주문이 눈덩이처럼 불어나고, AI의 이론적 토대가 매일매일 쏟아져 나오는 등 그 이후의 역사는 이보다 더 명확할 수 없습니다.

2017년 구글은 Attention is all you need라는 논문에서 트랜스포머 모델을 제안하며 오늘날의 대형 모델 시대를 열었습니다. 그로부터 몇 년 후, ChatGPT가 등장했습니다.

그리고 이 모든 것의 탄생은 2012년의 이미지넷 챌린지로 거슬러 올라갈 수 있습니다.

2012년 '빅뱅의 순간'으로 이어진 역사적 과정은 무엇이었을까요?

정답은 2006년입니다.

Great

2006년 이전의 딥 러닝 현황은 바론 켈빈의 유명한 명언으로 요약할 수 있습니다: 딥 러닝의 기반이 거의 구축된 상태였다는 것입니다. 화창한 하늘 아래에는 작은 먹구름 세 개만 떠 있었을 뿐이었습니다.

이것은 알고리즘, 연산, 데이터입니다.

앞에서도 언급했듯이 딥러닝은 인간 두뇌의 메커니즘을 모방하기 때문에 이론적으로 완벽한 솔루션입니다. 하지만 문제는 당시 딥러닝에 필요한 데이터와 연산이 모두 공상과학적인 수준이었기 때문에 학계에서 딥러닝에 대한 지배적인 시각은 정신이 있는 학자들은 신경망을 연구하지 않는다는 공상과학적인 것이었습니다.

그러나 2006년에 세 가지 일이 일어나면서 상황이 바뀌었습니다.

싱턴과 학생 살라쿠트디노프(나중에 애플로 진학한 사람)가 논문을 발표했습니다. Science는 신경망으로 데이터의 차원 축소 논문을 발표하여 처음으로 소실 그라데이션 문제에 대한 효과적인 해결책을 제시하여 알고리즘 수준에서 큰 진전을 이루었습니다. .

살라쿠트디노프(맨 왼쪽)와 힌튼(가운데), 2016년

스탠퍼드의 페이페이 리는 데이터의 규모가 실제 세계를 재현하기 어려울 정도라면 최고의 알고리즘이라도 "인간의 뇌를 시뮬레이션"하도록 훈련시킬 수 없다는 사실을 깨달았습니다. 인간의 두뇌" 효과. 그래서 그녀는 이미지넷 데이터 세트를 구축하기 시작했습니다.

테슬라 아키텍처에 기반한 엔비디아의 새로운 GPU에 이어 CUDA가 등장했습니다. 플랫폼을 통해 개발자들이 GPU로 딥 뉴럴 네트워크 를 훈련하는 데 드는 어려움이 크게 줄었으며, 까다로운 계산법의 문턱도 큰 폭으로 낮아졌습니다.

이 세 가지 사건은 딥러닝을 둘러싼 세 가지 먹구름을 날려버리고 2012년 이미지넷 챌린지에서 수렴하여 하이테크 산업과 인류 사회 전체의 운명을 완전히 새롭게 썼습니다.

그러나 2006년에는 제프 힌튼, 페이페이 리, 젠선 황을 비롯해 딥러닝 개발을 추진했던 그 누구도 지금과 같은 역할은 물론이고 그 이후 AI가 누리고 있는 붐을 예측하지 못했을 것입니다.

Hinton과 살라쿠트디노프의 논문

인공지능이 주도하는 4차 산업혁명 시대가 다시 열렸고, 인공지능의 진화는 점점 더 빨라지고 있습니다. 우리가 얻을 수 있는 영감의 정도를 말한다면 다음 세 가지 정도로 요약할 수 있습니다.

1. 산업의 두께가 혁신의 높이를 결정한다.

챗GPT가 처음 나왔을 때 "왜 또 미국인가"라는 목소리가 많았습니다. 하지만 시간을 두고 살펴보면 트랜지스터와 집적 회로, 유닉스와 x86 아키텍처, 그리고 이제 머신러닝에 이르기까지 거의 모든 분야에서 미국의 학계와 업계가 선두주자 역할을 해왔다는 것을 알 수 있습니다.

미국의 '산업 공동화'에 대한 논의는 끝이 없지만, 컴퓨터 과학 산업의 핵심인 소프트웨어는 다른 나라로 '유출'된 적이 없을 뿐만 아니라 다른 나라로 '유출'된 적도 없기 때문입니다. "반대로 다른 경제에 대한 이점은 점점 더 커지고 있습니다. 지금까지 70명이 넘는 ACM 튜링상 수상자 중 거의 대부분이 미국인입니다.

우 엔다가 '구글 캣' 프로젝트의 협력사로 구글을 선택한 이유는 알고리즘 학습에 필요한 데이터와 연산을 구글만이 보유하고 있으며, 이는 구글의 강력한 수익성을 기반으로 하고 있기 때문이죠. 구글의 강력한 수익성을 기반으로 합니다. 이는 인재, 투자, 혁신이 업계에서 가장 높은 곳에 있다는 이점이기도 합니다.

중국도 자국 산업에서 이러한 '두께의 이점'을 보여주고 있습니다. 현재 가장 대표적인 것은 신에너지 자동차이며, 한편으로는 유럽 자동차 회사들이 중국 모터쇼에 전세기를 띄워 새로운 세력을 숭배하고, 다른 한편으로는 일본 자동차 회사 임원들이 자주 BYD로 이직하는 등 수치로 무엇을 알 수 있을까요? 분명히 선전에서 사회 보장을 지불 할 수있는 것은 아닙니다.

2. 최첨단 기술 분야일수록 인재의 중요성은 더욱 커집니다.

구글이 4,400만 달러를 들여 힐튼의 회사를 인수한 이유는 딥러닝과 같은 첨단 기술 분야에서는 컴퓨터 비전을 전공하는 신입생 1만 명의 역할보다 최고 석학 한 명의 역할이 더 큰 경우가 많기 때문입니다. 만약 낙찰자가 바이두나 마이크로소프트였다면 인공 지능의 발전은 다시 쓰여졌을지도 모릅니다.

이런 '회사 전체를 사들이는' 행동은 사실 매우 흔한 일입니다. 애플의 A4, AMD의 Zen, 테슬라의 FSD 칩, 가난한 사람들을 돕기 위해 짐 켈러의 기술이 들어간 애플의 자체 연구 칩이 중요한 단계에서 파세미라는 작은 회사를 인수한 것은 칩 아키텍처의 신 짐 켈러를 손에 넣기 위해서입니다.

이것은 산업 경쟁력이 가져다주는 가장 큰 이점인 인재 유치이기도 합니다.

딥러닝 트리오 중 미국인은 없으며, AlexNet이라는 이름은 소련 우크라이나에서 태어나 이스라엘에서 자랐고 캐나다로 유학 온 힌튼의 학생 알렉스 크리제프스키(Alex Krizhevsky)에서 따왔습니다. 공부하기 위해 캐나다로 왔습니다. 오늘날 미국 기술 기업에서 여전히 활약하고 있는 많은 중국계 얼굴들은 말할 것도 없습니다.

3. 혁신의 어려움은 불확실성에 어떻게 대처할 것인가입니다.

딥러닝에 반대하는 'AI의 아버지'로 불리는 마빈 민스키 외에도 버클리 캘리포니아 대학교의 지텐드라 말릭도 딥러닝에 반대하는 유명한 인물입니다. 말릭과 힌튼, 우 엔다 모두 그에게 조롱을 받았습니다. 페이페이 리도 이미지넷을 구축할 때 말릭에게 자문을 구했고, 말릭은 그녀에게 '더 유용한 일을 하라'는 조언을 해주었습니다.

페이페이 리의 테드 강연

이런 업계 선구자들의 환멸은 딥러닝이 수십 년 동안 모든 것을 정리하는 경험을 하게 된 계기가 되었습니다. 2006년 힌튼이 한줄기 빛을 찢었을 때에도 빅 3 중 한 명인 리쿤 양은 학계에서 "딥러닝에 연구 가치가 있다"는 것을 반복해서 증명하고 있었습니다.

양리쿤은 1980년대에 신경망 연구를 시작했으며, 벨 연구소에서 근무할 당시 동료들과 함께 산술 문제를 해결하기 위해 ANNA라는 칩을 설계했습니다. 이후 AT&T는 운영 압박으로 인해 연구 부서에 "비즈니스에 힘을 실어달라"고 요청했고, 양리쿤은 "컴퓨터 비전을 연구할 테니 성공하면 나를 해고해 달라"고 답했습니다. 결국 망치는 망치대로, N+1[6]을 언급하게 되어 기쁩니다.

최첨단 기술 분야의 연구자들은 이것이 작동하지 않는다면 어떻게 할 것인가라는 질문에 직면해야 합니다.

힌튼은 1972년 에든버러 대학교에서 시작해 50년 동안 딥 러닝의 최전선에 서 왔으며, 2012년 ImageNet 챌린지가 열릴 당시 65세의 나이였습니다. 오랜 시간 동안 학계에 몸담아온 그가 얼마나 많은 자기 의심과 부정을 해소해야 했을지 상상하기 어렵습니다.

오늘 날 우리는 2006년의 힌튼이 동이 트기 전 마지막 어둠 속을 버텨냈다는 사실을 알고 있지만, 학계와 업계 전체는 물론이고 그 자신도 몰랐을 것입니다. 2007년 아이폰이 출시되었을 때 대부분의 사람들은 당시 마이크로소프트의 CEO였던 발머와 같은 반응을 보였을 것입니다.