일리야의 OpenAI 이탈 공개: 울트라맨, 수익 창출에 우선순위를 두고 팀의 산술적 계산을 줄입니다.

13개 연속 트윗!

OpenAI 슈퍼 얼라인먼트 리드 Jan Leike가 일리야에 이어 회사를 떠난 진짜 이유와 그 속내를 공개합니다.

우선, 산술적 계산이 충분하지 않았고, 슈퍼 얼라인먼트 팀과 약속한 20%가 사라지면서 팀이 트렌드를 거스르는 것은 물론 점점 더 어려워지고 있었기 때문입니다.

보안은 우선순위가 아니며, AGI의 보안 거버넌스는 '반짝이는 제품'을 출시하는 것보다 우선순위가 떨어집니다.

그 뒤에는 다른 사람들이 파헤친 가십들이 이어집니다.

예를 들어, OpenAI의 퇴사자들은 회사를 떠난 후 OpenAI에 대해 나쁜 말을 하지 않겠다는 약속서에 서명해야 했고, 이를 지키지 않으면 회사 지분을 자동으로 포기하는 것으로 간주했습니다.

그러나 여전히 보안 우선순위에 대해 핵심 경영진과 오랫동안 의견을 달리해온 하드코어 비서명자들도 있습니다(웃음).

두 파벌 간의 인식 충돌은 작년의 궁전 싸움에서 절정에 달했고, 지금은 다소 명예로운 방식으로 무너지는 것처럼 보입니다.

울트라맨이 슈퍼 얼라인먼트 팀을 인수하기 위해 공동 창립자를 파견했지만, 여전히 상황이 좋지 않습니다.

최전방으로 달려온 트위터리언들은 Jan이 이 놀랍도록 큰 멜론에 대해 말할 용기를 내준 것에 감사하며 다음과 같이 외쳤습니다."

이런, OpenAI는 정말 이 보안에 너무 집중하지 않은 것 같네요!

그러나 돌이켜보면, 현재 OpenAI를 이끌고 있는 울트라맨 쪽은 여전히 어둠 속에 있습니다. 현재로서는 알트만 쪽이 유리한 상황입니다.

그는 나와서 OpenAI의 초정렬과 보안에 기여한 Jan의 공헌에 감사를 표하며, 사실 Jan이 떠나는 것이 슬펐다고 말했습니다.

물론 요점은 이것입니다.

잠깐, 며칠 후에 이보다 더 긴 트윗을 올릴게요.

수학 20%의 약속은 사실 하늘의 별 따기입니다!

작년 OpenAI 법정 공방부터 현재까지, 회사의 영혼이자 전 수석 과학자였던 일리야는 공개 석상에 모습을 드러내거나 공식적인 발언을 거의 하지 않고 있습니다.

그가 공개적으로 퇴사를 발표하기 전에도 의견이 분분했습니다. 많은 사람들은 일리야가 인류를 파괴할 수 있는 인공지능 시스템과 같은 끔찍한 것을 보았다고 생각했습니다.

이 의견 불일치는 매우 심각하며, 그 결과는 이제 ...... 잘 보입니다.

Vox에 따르면 OpenAI에 정통한 소식통은 보안에 중점을 둔 직원일수록 울트라맨에 대한 신뢰를 잃었다며 "신뢰가 조금씩 무너지고 있는 과정"이라고 밝혔습니다. "

그러나 보시다시피, 떠나는 직원들 중 공개적인 플랫폼이나 장소에서 이에 대해 공개적으로 이야기하는 사람은 그리 많지 않습니다.

이러한 이유 중 하나는 OpenAI가 오랫동안 직원들에게 퇴직 계약서에 차별 금지 동의서에 서명하도록 하는 전통이 있었기 때문입니다. 서명을 거부하는 것은 이전에 OpenAI로부터 받았던 옵션을 포기하는 것과 같으며, 이는 공개적으로 목소리를 내는 직원들이 막대한 돈을 잃을 수 있다는 것을 의미합니다.

그러나 도미노는 하나둘씩 떨어졌습니다.

일리야의 사임은 최근 OpenAI에서 벌어진 이탈의 물결을 더욱 악화시켰습니다.

이번 퇴사 발표는 슈퍼얼라인먼트 팀장인 얀 외에도 최소 5명의 보안 팀원이 퇴사한다는 발표에 이어 곧바로 이어졌습니다.

이 중에는 비방 금지 계약서에 서명하지 않은 강경파 다니엘 코코타즐로(이후 DK 형제로 지칭)도 포함되어 있습니다.

△작년에 Brother DK는 AI의 실존적 재앙이 일어날 확률이 70%라고 생각했습니다

Brother DK는 2022년 OpenAI에 합류하여 거버넌스 팀에서 일하며 OpenAI의 안전한 AI 배포에 중점을 두고 일하고 있습니다.

그러나 그는 최근 사임하고 대중에게 다음과 같은 인터뷰를 했습니다."

OpenAI는 궁극적으로 전반적으로 인간의 지능을 능가하는 것을 목표로 더 강력한 AI 시스템을 훈련하고 있습니다.
이것은 인류 역사상 최고의 일이 될 수도 있지만, 신중하게 진행하지 않으면 최악의 일이 될 수도 있습니다.

DK 형제는 과거에 보안 거버넌스에 대한 복수심과 희망을 품고 OpenAI에 합류했으며, OpenAI가 AGI에 가까워질수록 더 책임감을 가질 것으로 기대했다고 설명했습니다. 하지만 팀의 다수는 OpenAI가 그렇지 않다는 것을 서서히 깨달았습니다.

"점차 OpenAO 리더십과 책임감 있게 AGI를 처리하는 그들의 능력에 대한 믿음을 잃었습니다." 이것이 DK 형제가 사임한 이유입니다.

AGI 보안의 미래에 대한 환멸은 일리야로 인해 사람들이 일렬로 떠나고 있는 이유 중 하나입니다.

또 다른 이유 중 하나는 슈퍼 얼라인먼트 팀이 연구에 필요한 자원을 충분히 확보하지 못했기 때문입니다.

슈퍼 얼라인먼트 팀이 모든 역량을 발휘하더라도 OpenAI가 약속한 연산 능력의 20%만 사용할 수 있습니다.

그리고 팀의 요청 중 일부는 종종 거부되었습니다.

물론 연산 리소스는 AI 기업에게 매우 중요하기 때문에 모든 리소스가 적절하게 할당되어야 하고, SuperAligned 팀의 임무는 "회사가 AGI 구축에 성공했을 때 실제로 발생할 수 있는 다른 유형의 보안 문제를 해결"하는 것이기 때문입니다. .

다시 말해, SuperAlignment 팀은 OpenAI가 직면해야 할 미래의 보안 문제, 즉 아직 알려지지 않은 미래의 보안 문제를 다루고 있는 것입니다.

이 글을 쓰는 시점에서 알트만은 아직 자신의 기사를 보내지 않았습니다. "(Jan이 내부에 올린 트윗보다) 더 긴) 트윗."

그러나 그는 보안에 대해 우려하는 것은 옳은 일이라며 "우리는 할 일이 훨씬 더 많으며, 그렇게 하기 위해 최선을 다하고 있습니다."라고 짧게 언급했습니다.

그렇다면 잠시 벤치에 앉아 기다리면 우리가 가장 먼저 멜론을 먹을 수 있을 것입니다.

요약하자면, 슈퍼 얼라인드 팀은 일리야와 얀을 비롯한 많은 사람을 잃었고, 폭풍 속에서 리더 없이 팀을 떠나야 했습니다.

그 여파로 공동 창립자인 John Schulma가 팀장을 맡고 있지만 더 이상 전담 팀이 없습니다.

새 슈퍼얼라인드 팀은 보다 느슨하게 구성된 그룹이 될 것이며, 구성원들은 회사 전체에 분산되어 있으며, OpenAI 대변인은 이를 "더 긴밀한 통합"이라고 설명했습니다.

존의 원래 정규직 업무가 현재 OpenAI 제품의 보안을 보장하는 것이었기 때문에 이에 대한 의문도 제기되고 있습니다.

존이 현재와 미래에 보안에 중점을 둔 두 팀을 이끌면서 추가 업무를 병행할 수 있을지 궁금합니다.

일리야-알트만 싸움

타임라인을 보면, 오늘의 사태는 사실 OpenAI의 '법정 싸움'의 결과물이라고 할 수 있습니다.

타임라인을 확장해 보면, 오늘의 결과는 일리야 알트만과 OpenAI의 '법정 싸움'의 속편입니다.

일리야가 아직 재직 중이던 작년 11월로 거슬러 올라가면, 그는 OpenAI 이사회와 협력하여 알트만을 해고하려고 시도했습니다.

당시 제시된 이유는 그가 충분히 성실하게 소통하지 않았다는 것이었습니다. <다시 말해, 우리는 그를 신뢰하지 않았습니다.

그러나 결국 결과는 분명했습니다. 알트만이 '동맹'을 내세워 마이크로소프트에 합류하겠다고 협박했고 이사회는 굴복하여 그를 이사회에서 해임하지 못했고 일리야는 이사회를 떠났습니다. 일리야는 이사회를 떠났고, 알트만은 자신에게 더 우호적인 이사들을 이사회에 합류시켰습니다.

그 후 일리야는 며칠 전 퇴임이 발표될 때까지 소셜 미디어에서 자취를 감췄습니다. 그리고 그가 OpenAI 사무실에서 목격된 지 약 6개월이 지난 것으로 알려졌습니다.

당시 흥미로운 트윗이 하나 남겨졌지만 곧 삭제되었습니다.

지난 한 달 동안 많은 교훈을 얻었습니다. 그 교훈 중 하나는 "사기가 향상될 때까지 구타는 계속된다"는 말이 생각보다 자주 적용된다는 것입니다.

하지만 내부자들에 따르면, 일리야가 슈퍼 얼라인먼트 팀을 원격으로 공동 이끌고 있다고 합니다.

그리고 알트만 측에서 직원들이 그를 비난하는 가장 큰 이유는 그가 안전을 우선시한다고 주장하지만 행동은 모순되는 등 말과 행동이 일치하지 않는다는 점입니다.

원래 약속했던 전산 자원이 제공되지 않았다는 사실 외에도. 얼마 전에는 사우디 아라비아 등을 찾아 코어 건설을 위한 자금을 모금하는 등 여러 가지 일들이 있었습니다.

보안에 중점을 둔 직원들은 실마리를 찾지 못했습니다.

가능한 가장 안전한 방식으로 AI를 구축하고 배포하는 데 정말 관심이 있었다면, 기술 가속화를 위해 미친 듯이 칩을 모으지 않았을까요?

오픈AI는 그보다 앞서 알트만이 투자한 스타트업에 칩을 주문하기도 했습니다. 그 금액은 무려 5,100만 달러(약 360억 루피)에 달했습니다.

그리고 당시 궁전 싸움 당시 전직 OpenAI 직원이 보낸 내부 고발 편지의 울트라맨에 대한 설명은 이를 재확인하는 듯합니다.

그리고 이것이 바로 처음부터 끝까지 "말과 행동" 운영으로 직원들은 점차 OpenAI와 울트라맨에 대한 믿음을 잃었습니다.

일리야도 그랬고 얀 라이케도 그랬고 슈퍼얼라인드 팀도 그랬습니다.

사려 깊은 한 사용자는 아래에 언급된 P(doom)이 의미하는 바를 상기시키는 것으로 시작하여 그 사이에 일어난 중요한 일들의 목록을 정리해 놓았습니다. "AI가 종말 시나리오를 촉발할 가능성"을 의미합니다.

2021년, GPT-3 팀장은 '보안' 문제로 OpenAI를 떠나 Anthropic을 설립했으며, 그 중 한 명은 P(doom)을 10-25%로 보고 있습니다.

2021년, RLHF 보안 연구 책임자 이탈, P(doom) 50%;

2023년, OpenAI 이사회가 Anthropic을 해고;

2023년, OpenAI 이사회가 Anthropic을 해고;

2023년, OpenAI 이사회가 Anthropic을 해고;

2024년, 보안에 특히 중점을 둔 OpenAI 연구원이 P(doom)이 이미 70%에 이르렀다고 믿고 퇴사합니다.

2024년 일리야, 얀 라이크가 퇴사합니다.

기술 또는 마케팅?

현재까지의 빅 모델 개발 과정, "어떻게 AGI를 달성할 것인가?"는 사실 두 가지 경로로 요약할 수 있습니다.

기술은 기술이 성숙하고 통제 가능한 수준까지 도달한 후에 적용하는 것이고, 시장은 개방과 동시에 적용하는 것이 '점진적'으로 가는 길이라고 믿습니다.

이것이 바로 일리야-알트만 논쟁의 근본적인 차이점이며, OpenAI의 미션입니다.

AGI와 슈퍼 정렬에 집중할 것인가, 아니면 ChatGPT 서비스 확장에 집중할 것인가?

ChatGPT 서비스 규모가 커질수록 더 많은 연산이 필요하며, 이로 인해 AGI 보안 연구에 소요되는 시간도 늘어납니다.

오픈AI가 연구에 전념하는 비영리 조직이라면 슈퍼 정렬에 더 많은 시간을 할애해야 합니다.

오픈AI의 일부 외부 이니셔티브를 보면, 대형 모델 경쟁에서 앞서고 기업과 소비자에게 더 많은 서비스를 제공하려는 것이 아니라는 것이 분명해 보입니다.

일리야가 보기에 이것은 매우 위험한 일입니다. 규모를 확장할 때 어떤 일이 일어날지 모르더라도 일리야의 견해로는 우선 안전을 확보하는 것이 최선입니다.

개방성과 투명성을 통해 우리 인간이 비밀스러운 방식이 아니라 안전하게 AGI를 구축할 수 있도록 해야 합니다.

그러나 알트먼이 이끄는 OpenAI는 오픈 소스도, 슈퍼 정렬도 추구하지 않는 것으로 보입니다. 대신, AGI의 방향으로 거칠게 달려가면서 해자를 구축하는 것이 전부입니다.

그렇다면 AI 과학자 일리야가 올바른 선택을 한 것일까요, 아니면 실리콘밸리 사업가 알트만이 옳은 선택을 한 것일까요?

아직 알 수 있는 방법은 없습니다. 하지만 적어도 OpenAI는 이제 중요한 결정에 직면해 있습니다.

한 업계 관계자는 두 가지 주요 신호를 요약했습니다.

하나는 ChatGPT가 OpenAI의 주요 수익이며, 이를 뒷받침할 더 나은 모델이 없다면 모든 사람에게 GPT-4를 무료로 제공하지 않을 것입니다.

다른 하나는 떠나는 팀원(Jan, Ilya 등)이 곧 더 강력해지는 것에 대해 걱정하지 않는다면 정렬에 신경 쓰지 않을 것이라는 것입니다... ...그리고 기본적으로 AI가 그 수준에 머물러도 상관없습니다.

그러나 OpenAI의 근본적인 모순은 해결되지 않았습니다. 한쪽에서는 불을 뿜는 듯한 인공지능 과학자들이 책임감 있는 인공지능 개발을 걱정하고, 다른 한쪽에서는 상업적으로 지속 가능한 방식으로 기술을 밀어붙이려는 실리콘밸리 마케터들이 필사적으로 경쟁하는 등 근본적인 모순은 해결되지 않았습니다.

양측은 화해할 수 없는 사이가 되었고, 과학계는 OpenAI에서 완전히 손을 떼고 있으며, 외부 세계는 여전히 GPT가 얼마나 멀리 왔는지 알지 못합니다.

이 질문에 대한 답을 알고 싶어 하는 사람들은 점점 지쳐가고 있습니다.

일리야의 스승이자 튜링상 수상자 중 한 명인 힌튼의 말처럼 무력감이 엄습했습니다.

나는 늙었고, 걱정되지만 내가 할 수 있는 것은 아무것도 없다.

참조 링크:
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai- 안전-일리야-수츠케버-잔-라이크-인공지능
[2]https://x.com/janleike/status/1791498174659715494
[3]https:// twitter.com/sama/status/1791543264090472660