7명의 공동 창업자 대담: Anthropic은 어떻게 탄생했는가?

정리 및 편집: 심조 TechFlow

게스트: Anthropic 공동 창업자 Chris Olah, Jack Clark, Daniela Amodei, Sam McCandlish, Tom Brown, Dario Amodei, Jared Kaplan

팟캐스트 출처: Anthropic

원제: Building Anthropic | 공동 창립자들과의 대화

방송일: 2024년 12월 20일

핵심 요약

지난주, Anthropic은 두 차례의 사고를 연달아 겪었습니다:

먼저 CMS 설정 오류로 인해 내부 문서 약 3,000건이 공개적으로 접근 가능하게 되었고, 이어 Claude Code v2.1.88이 npm에 배포될 때 59.8MB의 소스 맵이 포함되어 51만 줄의 소스 코드가 그대로 노출되었습니다.

'보안'을 DNA에 새겨 넣은 회사가 자사의 운영 관리에서 연달아 실수를 저지르다니, 아이러니가 극에 달했다.

하지만 서둘러 비웃기 전에, 1년여 전 Anthropic의 공동 창업자 7명이 나눈 내부 대화를 되짚어보는 것도 좋을 것이다. 이 팟캐스트는 2024년 12월에 녹음되었으며, 일곱 사람은 이 회사가 어떻게 설립되었는지, RSP(Responsible Scaling Policy, 직역하면 ‘책임 있는 확장 정책’)가 어떻게 다듬어졌는지, ‘안전’이라는 단어를 함부로 사용할 수 없는 이유, 그리고 CEO 다리오(Dario)의 자주 인용되는 그 말, 즉:

“만약 한 건물에서 매주 화재 경보가 울린다면, 그 건물은 사실 매우 안전하지 않은 건물이다.”

지금 이 말을 다시 들어보면, 느낌이 확실히 다릅니다.

7명의 공동 창업자, 빠르게 알아보기

다리오 아모데이(Dario Amodei)｜CEO, 전 OpenAI 연구 부사장, 신경과학 전공 출신으로 Anthropic의 전략 및 보안 방향에 대한 최종 결정권자. 이번 대화에서 가장 많이 발언했다.

다니엘라 아모데이(Daniela Amodei)｜사장, 다리오의 누나. 이전에는 Stripe에서 5년 반 동안 근무하며 신뢰 및 보안 팀을 이끌었으며, 그 이전에는 비영리 및 국제 개발 분야에서 일했다. Anthropic의 조직 구축과 대외 커뮤니케이션은 기본적으로 그녀가 주도한다.

Jared Kaplan｜물리학 교수에서 AI 연구자로 전향, scaling laws의 핵심 저자 중 한 명. 종종 외부인의 시각에서 판단을 제시하며, 스스로를 “물리학에 질려서” AI를 시작했다고 말한다.

Chris Olah｜해석 가능성(interpretability) 연구의 대표 인물로, 19세에 베이 에어리어 AI 업계에 입문해 Google Brain과 OpenAI에서 근무했다. Anthropic 내에서 기술적 이상주의 색채가 가장 짙은 인물이다.

Tom Brown｜GPT-3 논문 제1저자, 현재 Anthropic의 컴퓨팅 리소스를 관리한다. 관점은 공학 및 인프라에 치우쳐 있으며, 팟캐스트에서 "AI가 이렇게 빨리 발전할 거라고는 별로 믿지 않았다"는 생각에서 견해를 바꾸게 된 과정을 많이 이야기했다.

Jack Clark｜전 블룸버그 테크 기자, Anthropic 정책 및 공공 업무 책임자. 이번 대담에서 사회자 역할을 맡아 진행을 이끌고 질문을 던졌다.

Sam McCandlish｜연구 공동 창립자. 전체 발언량은 가장 적었지만 종종 한 마디로 핵심을 찌르는, 이른바 ‘결정타’ 역할을 했다.

주요 의견 요약

왜 AI를 하는가: 물리학의 지루함에서 ‘충분히 보고 나니 믿게 되었다’로

Jared Kaplan: “예전에 오랫동안 물리학을 했는데, 좀 지루해졌고 더 많은 친구들과 함께 일하고 싶어서 AI를 하게 되었습니다. 」

Dario Amodei: 「제가 당신을 명확하게 설득했다고 생각하지 않습니다. 그저 계속 AI 모델 결과를 보여드렸을 뿐이죠. 어느 순간, 제가 충분히 많이 보여드리자 당신은 '음, 이건 맞는 것 같네요'라고 말했죠.」

역공감에 베팅하기: 대다수의 공감대는 성숙함으로 위장한 군중 심리일 뿐이다

Jared Kaplan: 「많은 AI 연구자들이 AI 겨울로 인해 심리적으로 큰 상처를 입었습니다. 마치 야망을 갖는 것이 허용되지 않는 것처럼 말이죠.」

Dario Amodei: “지난 10년 동안 제가 얻은 가장 큰 교훈은, 많은 ‘모두가 아는’ 합의가 사실은 성숙함으로 위장한 군중 심리라는 것입니다. 합의가 하룻밤 사이에 뒤집히는 것을 몇 번이나 목격하고 나면, ‘아니, 우리는 이쪽에 걸겠다’라고 말하게 됩니다. 설령 50%만 맞더라도, 다른 사람들이 기여하지 못한 많은 것을 기여하게 될 것입니다. 」

안전과 확장성은 서로 얽혀 있다

Dario Amodei: 「당시 우리가 모델을 확장한 동기 중 하나는, 모델이 충분히 똑똑해져야만 RLHF를 구현할 수 있었기 때문입니다. 이것이 바로 우리가 지금도 믿는 바입니다: 안전과 확장성은 서로 얽혀 있습니다. 」

RSP, 책임 있는 확장 정책은 Anthropic의 ‘헌법’이다

Tom Brown: 「RSP는 Anthropic에게 있어 마치 우리의 헌법과 같습니다. 이는 지침이 되는 핵심 문서이므로, 우리는 많은 시간과 노력을 들여 계속해서 다듬어 나가고 있습니다.”

다리오 아모데이: 「RSP는 안전 기준을 충족하지 못하는 계획이 진행되는 것을 막아줍니다. 우리는 공허한 구호를 외치는 것이 아니라, 실질적으로 안전을 모든 단계에 녹여내고 있습니다.」

화재 경보가 너무 자주 울리면, 진짜 화재가 났을 때 아무도 도망가지 않게 됩니다

Daniela Amodei: 「우리는 ' 안전'이라는 단어를 함부로 사용해 업무 진행을 좌우해서는 안 됩니다. 우리의 진정한 목표는 우리가 말하는 안전이 무엇인지 모두가 명확히 알도록 하는 것입니다.”

다리오 아모데이: “실제로 안전을 해치는 것은 오히려 빈번한 ‘안전 훈련’입니다. 매주 화재 경보가 울리는 건물이 있다면, 사실 그 건물은 매우 위험한 건물입니다.”

'고상한 실패'는 함정이다

크리스 올라: "안전을 위해 다른 목표를 희생하는 것이 사업을 향한 순수함을 보여주는 가장 도덕적인 행동이라는 주장이 있습니다. 하지만 이런 방식은 사실상 자멸적입니다. 이는 안전을 중요하게 여기지 않는 사람들의 손에 의사결정권이 넘어가게 만들기 때문입니다."

공동 창업자들은 수익의 80%를 기부하겠다고 약속했다

톰 브라운: “우리는 수익의 80%를 사회 발전을 촉진하는 사업에 기부하겠다고 공동으로 약속했으며, 이는 모두가 주저 없이 지지한 사항입니다. 」

창업을 원한 사람은 없었지만, 반드시 해야 한다고 생각했다

Sam McCandlish: 「사실 우리 중 누구도 처음부터 회사를 창업할 의향이 없었습니다. 우리는 단지 이것이 우리의 책임이라고 생각했을 뿐입니다. 왜냐하면 이것이 AI 발전이 올바른 방향으로 나아가도록 보장하는 유일한 길이기 때문입니다.」

다니엘라 아모데이: 「우리의 사명은 명확하고 순수합니다. 기술 업계에서 이런 경우는 흔치 않죠.」

해석 가능성: 신경망 속에는 온갖 ‘인공 생물학’이 숨어 있다

크리스 올라: 「신경망은 정말 놀랍습니다. 그 안에는 우리가 아직 보지 못한 아름다움이 많이 숨어 있죠. 가끔은 10년 후 서점에 가서 신경망 생물학 교과서를 사면, 그 책에 정말 놀라운 내용들이 가득할 것이라고 상상하곤 합니다.」

AI는 독재의 도구가 아닌 민주주의를 강화하는 데 사용되어야 한다

다리오 아모데이: 「우리는 AI가 잘못 개발될 경우 독재주의의 도구가 될까 봐 우려합니다. 어떻게 하면 AI를 자유와 자결권을 증진하는 도구로 만들 수 있을까요? 이 분야의 중요성은 생물학이나 해석 가능성에 결코 뒤지지 않습니다. 」

백악관 회의에서 노벨상까지: AI의 영향력은 이미 기술계를 넘어섰다

Jared Kaplan: 「2018년에는 대통령이 백악관으로 불러 언어 모델에 관심을 갖고 있다고 말할 줄은 상상도 못 했을 겁니다. 」

다리오 아모데이: 「우리는 이미 화학 분야의 노벨상이 알파폴드(AlphaFold)에 수여되는 것을 보았습니다. 우리는 수백 개의 알파폴드를 만들어낼 수 있는 도구를 개발하기 위해 노력해야 합니다.」

왜 AI를 연구해야 할까요?

잭 클라크: 우리가 처음에 왜 AI를 시작했을까요? Jared, 당신은 왜 AI를 하죠?

Jared Kaplan:

전 예전에 오랫동안 물리학을 했는데, 좀 지루해졌고, 더 많은 친구들과 함께 일하고 싶어서 AI를 하게 되었습니다.

톰 브라운:

저는 다리오가 당신을 설득한 줄 알았는데요.

다리오 아모데이:

제가 당신을 딱히 '설득'했다고 생각하진 않아요. 그저 AI 모델 결과를 계속 보여드리면서, 이게 단일 문제에만 적용되는 게 아니라 매우 범용적이라는 점을 전달하려 했을 뿐이죠. 어느 순간, 제가 충분히 많이 보여드렸더니 당신이 "음, 이건 맞는 것 같네”라고 말했죠.

잭 클라크: 크리스, 당신이 해석 가능성 연구를 하던 시절, 구글에서 다들 알게 된 건가요?

크리스 올라:

아니요. 사실 제가 19살 때 베이 에어리어에 처음 왔을 때 여러분 중 상당수를 이미 알고 있었어요. 그때 다리오와 재레드를 만났는데, 그들은 박사후 연구원이었고 당시에는 정말 멋져 보였어요. 나중에 제가 구글 브레인에 있을 때 다리오가 합류해서 한동안 옆자리에 앉기도 했고, 톰과도 함께 일했죠. 그 후 오픈AI로 옮기면서 여러분 모두와 함께 일하게 되었어요.

잭 클라크:

2015년 어느 컨퍼런스에서 다리오를 만났을 때 당신을 인터뷰하고 싶었는데, 구글 홍보팀에서 먼저 당신의 논문을 다 읽어야 한다고 했던 게 기억나네요.

다리오 아모데이:

그때 저는 구글에서 《Concrete Problems in AI Safety》를 쓰고 있었죠.

Sam McCandlish:

제가 당신과 함께 일하기 시작하기 전에, 당신은 저를 사무실로 초대해 AI 전반에 대해 설명해 주셨죠. 대화를 마친 후 저는 ‘이 문제가 내가 생각했던 것보다 훨씬 심각하구나’라고 생각했던 게 기억나요. 당시 당신은 ‘대규모 컴퓨팅 클러스터’, 파라미터 수, 인간 뇌의 뉴런 규모 같은 것들에 대해 이야기했죠.

획기적인 확장

Jack Clark: OpenAI에서 스케일링 법칙(scaling laws)을 연구할 때, 모델 규모를 키우는 것이 실제로 효과가 있었고, GPT-2에서 스케일링 법칙을 거쳐 GPT-3에 이르기까지 수많은 프로젝트에서 지속적이고 기이할 정도로 효과가 있었죠. 그렇게 우리는 점점 더 가까워졌습니다.

다리오 아모데이: 우리는 바로 그 '일을 해내는 사람들'이었죠 입니다.

Jared Kaplan: 우리 모두 안전 문제에 대해 매우 열정적이었습니다. 당시 이런 생각이 있었죠: AI는 매우 강력해지겠지만, 인간의 가치를 이해하지 못하거나 심지어 우리와 소통조차 못할 수도 있다는 점입니다. 언어 모델은 어느 정도 그 모델이 많은 암묵적 지식을 이해하도록 보장해 줍니다.

다리오 아모데이:

그리고 언어 모델 위에 구축된 RLHF도 있습니다. 당시 우리가 모델을 확장한 동기 중 하나는, 모델이 충분히 똑똑해져야만 RLHF를 구현할 수 있다는 점이었습니다. 이것이 바로 우리가 지금도 믿고 있는 바입니다: 안전성과 확장성은 서로 얽혀 있다는 것입니다.

크리스 올라:

맞아요, 당시 확장(scaling) 작업은 사실 보안 팀의 일부이기도 했습니다. 왜냐하면 사람들이 보안을 진지하게 받아들이게 하려면, 우선 AI의 추세를 예측할 수 있어야 한다고 생각했기 때문입니다.

Jack Clark: 제가 영국 어느 공항에서 GPT-2를 샘플링해 가짜 뉴스를 작성한 뒤, Slack으로 Dario에게 “이거 진짜 쓸 만하네요. 정책에 엄청난 영향을 미칠 수도 있어요”라고 보냈던 게 기억나네요. Dario가 “네”라고 답장했던 것도 기억나요.

그 후에도 우리는 많은 공개 관련 작업을 했는데, 정말 정신없는 시간이었습니다.

다니엘라 아모데이:

그 내용을 공개했던 게 기억나네요. 그때가 우리가 처음으로 본격적으로 협력하기 시작한 때였고, GPT-2가 막 공개된 시기였죠.

잭 클라크:

그게 우리에게 큰 도움이 됐다고 생각해요. 우리는 먼저 함께 ‘좀 이상하지만 안전 지향적인’ 일을 했고, 나중에 Anthropic이라는 더 대규모의, 마찬가지로 좀 이상하지만 안전 지향적인 일을 함께 했죠.

AI의 초기 단계

톰 브라운: 《Concrete Problems》라는 논문으로 돌아가 봅시다. 저는 2016년에 OpenAI에 합류했는데, 당시 당신과 저는 초기 멤버들이었죠. 저는 그 논문이 최초의 주류 AI 안전 논문처럼 느껴졌습니다. 어떻게 탄생하게 되었나요?

다리오 아모데이:

크리스도 알고 있습니다. 그가 참여했으니까요. 우리는 당시 구글에 있었는데, 제가 당시 주 담당 프로젝트가 무엇이었는지조차 잊어버렸습니다. 이 논문은 제가 미루다가 겨우 완성한 것 같네요.

우리는 AI 보안 분야에서 어떤 미해결 문제들이 있는지 정리해보고 싶었습니다. 당시 AI 안전은 항상 추상적으로만 다뤄졌는데, 우리는 그것을 당시의 실제 머신러닝에 적용하고 싶었습니다. 지금은 이 분야에서 6~7년째 작업해 왔지만, 그 당시에는 정말 기이한 생각이었죠.

크리스 올라:

저는 그것이 어떤 의미에서는 거의 정치적인 프로젝트였다고 생각합니다. 당시 많은 사람들이 안전을 중요하게 여기지 않았거든요. 우리는 모두가 합리적이라고 인정할 수 있는 문제 목록을 정리하고 싶었습니다. 많은 내용은 이미 문헌에 존재했고, 여러 기관을 아우르는 신뢰할 수 있는 인물들이 공동으로 서명하도록 했습니다.

기억하기로는 Brain 소속 연구자 20여 명과 오랜 시간 소통하며 논문을 발표하기 위한 지지를 얻으려고 노력했던 것 같습니다. 문제 자체만 놓고 보면, 지금 돌이켜봤을 때 모두 타당하다고 볼 수는 없고, 가장 적절한 질문이 아닐 수도 있습니다. 하지만 이를 합의 형성의 과정으로 본다면, 즉 “여기에는 실제 문제가 있으며, 진지하게 다룰 가치가 있다”는 것을 증명하는 과정으로 본다면, 그것은 중요한 순간이었습니다.

Jack Clark:

결국 당신은 매우 기이한 공상과학의 세계로 들어서게 됩니다. 제가 기억하기로는 Anthropic 초기에 Constitutional AI에 대해 이야기했을 때, Jared가 “우리가 언어 모델에 헌법을 써주면, 그 행동이 바뀔 것이다”라고 말했었죠 라고 했던 게 기억납니다. 당시에는 정말 미친 소리처럼 들렸죠. 왜 여러분은 그게 가능하다고 생각하나요?

Jared Kaplan:

저는 Dario와 오랫동안 논의했는데, 저는 AI 분야에서 단순한 방법이 종종 아주 훌륭한 효과를 낸다고 생각합니다. 초기 버전은 꽤 복잡했지만, 계속 간소화하다 보니 결국 모델이 객관식 문제를 잘 푸는 특성을 활용해, 무엇을 찾아야 하는지 명확한 지침을 주는 것만으로도 충분하다는 결론에 이르렀습니다. 그러면 원칙을 직접 적어내면 되죠.

Dario Amodei:

이번에는 '대규모 연산 덩어리(The Big Blob of Compute)', '쓰라린 교훈(The Bitter Lesson)', '확장 가설(Scaling Hypothesis)'로 돌아갑니다. AI에게 명확한 목표와 데이터를 주기만 하면, AI는 스스로 학습할 수 있습니다. 한 세트의 지침, 한 세트의 원칙만 있으면 언어 모델은 이를 읽고 자신의 행동과 대조할 수 있으며, 훈련 목표는 바로 거기에 있습니다. 그래서 저와 Jared의 견해는 이렇습니다: 세부 사항을 반복적으로 조정하기만 한다면 해낼 수 있다는 것입니다.

Jared Kaplan:

저에게는 초창기가 꽤 이상했습니다. 저는 물리학에서 넘어왔는데, 지금은 모두가 AI에 열광하고 있어서 당시 분위기를 잊기 쉽습니다. 당시 Dario와 이런 이야기를 나누며, 많은 AI 연구자들이 AI 겨울로 인해 심리적으로 큰 상처를 입어, 마치 ‘야망’을 갖는 것이 허용되지 않는 것처럼 느껴진다는 인상을 받았습니다. 안전에 대해 논의하려면 먼저 AI가 매우 강력하고 유용할 수 있다는 점을 믿어야 하는데, 당시에는 일종의 '야망 금지령' 같은 분위기가 있었습니다. 물리학자의 장점 중 하나는 '오만함'인데, 그들은 종종 매우 야심 찬 일을 하고 거대한 비전을 이야기하는 데 익숙합니다.

Dario Amodei:

저도 그렇게 생각합니다. 2014년에는 많은 말을 할 수 없었습니다. 이는 학계 전반의 문제와도 비슷합니다. 특정 분야를 제외하고는 기관들이 점점 더 위험을 기피하게 되었고, 산업용 AI도 이러한 사고방식을 물려받았죠. 제 생각에는 2022년경에야 비로소 그 틀에서 벗어날 수 있었던 것 같습니다.

크리스 올라:

또한 '보수주의'에는 두 가지 형태가 있습니다. 하나는 위험을 진지하게 받아들이는 것이고, 다른 하나는 아이디어를 진지하게 받아들이고 성공할 것이라고 믿는 것을 오만함으로 간주하는 것입니다. 당시 우리는 후자가 주도하는 분위기였습니다. 역사적으로 1939년 핵물리학 논의에서도 비슷한 상황이 있었습니다. 페르미(Fermi)는 반대했고, 실라드(Szilard)나 텔러(Teller)는 위험을 더 진지하게 받아들였습니다.

다리오 아모데이(Dario Amodei):

지난 10년 동안 제가 얻은 가장 깊은 교훈은, 많은 '모두가 아는' 합의가 사실은 성숙함으로 위장한 군중 심리라는 점입니다. 합의가 하룻밤 사이에 뒤집히는 것을 몇 번만 목격해도, '아니, 우리는 이쪽에 걸겠다'라고 말하게 될 것입니다. 반드시 옳은 것은 아닐지라도, 잡음을 무시하고 베팅하는 것입니다. 비록 50%만 맞더라도, 다른 사람들이 기여하지 못한 많은 것을 기여하게 될 것이다.

인공지능에 대한 대중의 태도 변화

Jared Kaplan: 오늘날 일부 보안 이슈에서도 마찬가지입니다. 외부적 합의는 많은 보안 문제가 기술 자체에서 자연스럽게 발생한다고 여기지만, Anthropic에서 연구를 통해 우리는 그것이 실제로 자연스럽게 발생한다는 것을 확인했습니다.

Daniela Amodei:

하지만 지난 18개월 동안 이 상황이 변하고 있으며, 동시에 전 세계의 AI에 대한 정서 또한 뚜렷하게 변화하고 있습니다. 저희가 사용자 조사를 진행할 때, 일반 사용자들이 AI가 세계 전체에 미칠 영향에 대해 우려하는 목소리를 더 자주 듣게 되었습니다.

때로는 일자리, 편견, 유해한 영향에 대한 우려였고, 때로는 “AI가 세상을 혼란스럽게 만들거나 인간의 협력 방식을 바꿔버릴까”에 대한 걱정도 있었습니다. 사실 저는 이런 점들을 전혀 예상하지 못했습니다.

Am McCandlish:

왠지 모르겠지만, ML 연구계는 대중보다 “AI가 매우 강력해지는 것”에 대해 더 비관적인 편입니다.

Jared Kaplan:

2023년 다리오와 제가 백악관을 방문했을 때, 회의에서 해리스와 라이몬도는 대략 이런 취지로 말했습니다. ‘우리는 여러분을 주시하고 있습니다. AI는 중대한 사안이며, 우리는 진지하게 주목하고 있습니다. 하지만 2018년에는 ‘대통령이 여러분을 백악관으로 불러 언어 모델에 주목하고 있다고 말할 것’이라고는 상상도 못 했을 겁니다’ .

톰 브라운:

흥미로운 점은, 우리 중 많은 사람이 이 일이 아직 불확실해 보일 때 이미 뛰어들었다는 것이다. 마치 페르미가 원자폭탄에 회의적인 태도를 보였던 것처럼, 원자폭탄이 만들어질 수 있다는 증거도 있었지만, 만들어지지 않을 것이라는 증거도 많았다. 하지만 그는 결국 시도해보기로 결정했습니다. 만약 사실이라면 그 영향이 엄청날 것이기 때문에, 해볼 가치가 있다고 생각했기 때문입니다.

2015년부터 2017년까지 AI가 큰 일이 될 수 있다는 증거가 조금씩 늘어나고 있었습니다. 저는 2016년에 지도교수와 이야기를 나눴습니다. "저는 창업 경험이 있고, AI 안전 분야를 하고 싶지만 수학 실력이 부족해서 어떻게 해야 할지 모르겠다고 했습니다. 당시 어떤 사람은 의사결정 이론을 숙달해야 한다고 했고, 어떤 사람은 미친 AI 사건이 일어나지 않을 것이라고 했으며, 진정으로 지지해 주는 사람은 거의 없었습니다.

잭 클라크:

2014년 ImageNet 트렌드 기사를 썼을 때 미친 사람 취급을 받았다. 2015년에는 논문마다 GPU를 언급한다는 이유로 NVIDIA에 대해 글을 쓰고 싶었는데, 또 미쳤다는 소리를 들었다; 2016년 뉴스를 떠나 AI 분야로 갔을 때는 “인생 최대의 실수를 저질렀다”는 이메일도 받았다 . 당시 여러 측면에서 볼 때, ‘확대화가 성공할 것’에 진지하게 베팅하는 건 확실히 미친 짓처럼 보였습니다.

Jared Kaplan: 어떻게 결정하셨나요? 고민하셨나요?

Jack Clark:

저는 역발상 베팅을 했습니다. 전임 AI 기자로 일하게 해달라고 요구하면서 급여를 두 배로 올려달라고 했죠. 그들이 거절할 거라는 걸 알면서도요. 그러고는 잠 한 번 자고 일어나서 사직서를 냈죠. 매일 아카이브 문서를 읽다 보니, 뭔가 엄청난 일이 벌어지고 있다는 느낌이 들었고, 어느 시점에는 확신을 가지고 베팅해야 한다고 생각했거든요.

톰 브라운:

저는 그렇게 단호하지 못해서 6개월 동안 망설였어요.

다니엘라 아모데이:

게다가 그 당시에는 ‘엔지니어도 AI를 크게 발전시킬 수 있다’는 생각이 주류가 아니었죠. 당시에는 ‘연구자만이 AI를 할 수 있다’는 분위기였으니, 당신이 망설인 건 이상할 게 없어요.

톰 브라운:

나중에 OpenAI에서 “엔지니어링을 통해 AI 안전에 기여할 수 있다”고 말했을 때 비로소 합류하게 되었어요. 다니엘라, 당신은 OpenAI에서 제 상사였는데, 당시 왜 합류하게 되셨나요?

다니엘라 아모데이:

저는 Stripe에서 5년 반 동안 일했고, 그렉은 제 상사였어요. 제가 그렉과 다리오를 소개해 주기도 했죠. 당시 다리오는 OpenAI를 창업 중이었는데, 제가 그에게 말했어요. “제가 아는 사람 중 가장 똑똑한 사람은 다리오예요. 만약 그를 팀에 영입할 수 있다면, 정말 큰 행운이 될 거예요.” 그 후 다리오가 OpenAI에 합류했죠.

아마 당신과 마찬가지로, 저도 Stripe를 떠난 후 무엇을 할지 고민하고 있었어요. 제가 Stripe에 합류한 이유는 비영리 단체와 국제 개발 분야에서 일할 때 더 많은 기술이 필요하다고 느꼈기 때문이었는데, 사실 그 당시에는 결국 그 분야로 돌아갈 거라고 생각했거든요.

Stripe에 합류하기 전, 저는 제보다 어려운 처지에 있는 사람들을 도울 만한 역량이 충분하지 않다고 느꼈습니다. 그래서 더 큰 영향력을 발휘할 수 있는 새로운 방법을 찾기 위해 다른 기술 기업들을 주시하고 있었는데, 당시 OpenAI는 훌륭한 선택지라고 생각했습니다. 그곳은 매우 중요하고 원대한 목표를 실현하기 위해 헌신하는 비영리 단체였습니다.

저는 AI의 잠재력을 항상 믿어왔고, Dario에 대해서도 어느 정도 알고 있었으며, 그곳에는 확실히 운영을 도와줄 사람이 필요했기 때문에 이 일이 제 배경과 아주 잘 맞을 것이라고 생각했습니다. 당시 저는 이렇게 생각했습니다: “이곳은 비영리 기관이고, 훌륭한 비전을 가진 뛰어난 인재들이 모여 있지만 운영이 다소 혼란스러운 것 같구나. ” 바로 그런 도전이 저를 설레게 했습니다. 제가 그 일에 동참할 수 있었기 때문이죠.

당시 저는 만능 선수 같은 기분이었습니다. 팀원 관리뿐만 아니라 기술 팀을 이끌고, 조직 확장을 담당하며, 언어 팀에서 일하기도 했고, 나중에는 다른 업무들도 맡게 되었습니다. 정책 관련 업무에도 참여했고, Chris와도 함께 일했습니다. 회사에는 훌륭한 인재들이 많다고 생각했고, 그 점이 제가 합류해서 회사가 더 효율적이고 체계적으로 운영되도록 돕고 싶게 만들었습니다.

Jack Clark: GPT-3 작업을 마친 후 당신이 “트러스트 앤 세이프티(Trust and Safety)에 대해 들어본 적 있나요?”라고 말했던 게 기억나네요.

Daniela Amodei:

저는 예전에 Stripe에서 트러스트 앤 세이프티 팀을 이끌었습니다. 이런 기술에 대해서는 신뢰와 안전 문제를 고려해 보셔야 할 것 같아요. 이는 사실 인공지능 안전 연구(AI Safety Research)와 보다 실용적인 일상 업무 사이의 가교 역할을 하는데, 즉 모델을 어떻게 진정으로 안전하게 만들 것인가에 대한 문제죠.

“이 기술이 미래에 중대한 영향을 미칠 것”이라고 제시하는 것은 매우 중요합니다. 동시에, 우리는 일상에서 좀 더 실질적인 작업을 수행하여, 미래에 더 높은 위험이 따르는 시나리오에 대비할 수 있는 기반을 마련해야 합니다.

책임 있는 확장 정책: AI의 안전한 발전을 보장하기 위해

Jack Clark: 이 자리에서 ‘책임 있는 확장 정책(RSP, Responsible Scaling Policy)’이 어떻게 제안되었는지, 왜 우리가 이를 생각하게 되었는지, 그리고 특히 현재 모델의 신뢰성과 안전성 측면에서 진행 중인 작업을 고려할 때 현재 어떻게 적용하고 있는지에 대해 이야기해 보겠습니다. 그렇다면 이 RSP(책임 있는 확장 정책)는 누가 처음 제안했나요?

Dario Amodei:

처음에는 저와 폴 크리스티아노(Paul Christiano)가 제안했는데, 시기는 대략 2022년 말 무렵이었습니다. 초기 아이디어는 모델이 특정 규모로 확장되기 전에, 특정 안전 문제를 해결할 방법을 찾을 때까지 일시적으로 제한을 두어야 하지 않을까 하는 것이었습니다.

하지만 나중에 우리는 단순히 특정 지점에서 확장을 제한했다가 그 후에 제한을 해제하는 방식은 다소 이상하다고 생각했습니다. 그래서 우리는 일련의 기준을 설정하기로 결정했고, 모델이 각 기준에 도달할 때마다 해당 모델이 적절한 안전성을 갖추고 있는지 평가하기 위한 일련의 테스트를 수행해야 합니다.

각 기준에 도달할 때마다 우리는 더 엄격한 안전 및 보안 조치를 취해야 합니다. 하지만 처음부터 우리는 이런 생각이 있었습니다. 만약 이 일을 제3자가 수행한다면, 더 나을지도 모른다는 생각이었습니다. 즉, 이러한 전략은 특정 한 회사만이 단독으로 책임져서는 안 되며, 그렇지 않으면 다른 회사들이 이 전략을 채택하기를 꺼릴 수도 있습니다. 따라서, Paul이 직접 이 전략을 설계했습니다. 물론 시간이 지남에 따라 세부 사항 중 많은 부분이 변경되었습니다. 그리고 우리 팀은 이 전략이 더 잘 작동하도록 하는 방법을 계속 연구해 왔습니다.

Paul이 이 개념을 구체화했을 때, 그가 이를 발표하는 것과 거의 동시에 우리도 한두 달 내에 우리 버전을 출시했습니다. 사실 우리 팀의 많은 구성원이 이 과정에 깊이 참여했습니다. 제가 적어도 초안 중 하나는 직접 작성했던 것으로 기억하지만, 전체 문서는 여러 차례 수정 과정을 거쳤습니다.

톰 브라운:

RSP는 Anthropic에게 있어 마치 우리의 ‘헌법’과 같습니다. 이는 지침이 되는 핵심 문서이므로, 우리는 그 정확성과 완성도를 보장하기 위해 많은 시간과 노력을 들여 반복적으로 다듬고자 했습니다.

다니엘라 아모데이:

제 생각에 RSP는 Anthropic의 발전 과정에서 정말 흥미로운 역할을 했습니다. 여러 단계를 거쳤으며, 동시에 이를 추진하기 위해 다양한 기술이 필요했습니다. 예를 들어, 거시적인 비전 부분은 주로 Dario, Paul, Sam, Jared 등이 담당했는데, 그들은 “우리의 핵심 원칙은 무엇인가? 어떤 메시지를 전달하고 싶은가? 우리의 방향이 올바른지 어떻게 확인할 수 있는가?”와 같은 질문을 고민했습니다.

하지만 그 외에도 매우 실질적인 운영 차원의 업무가 있습니다. 예를 들어, 지속적인 반복 과정에서 우리는 세부 사항을 평가하고 조정하죠. 예를 들어, 우리는 원래 특정 보안 수준에서 어떤 목표를 달성할 것으로 예상했지만, 만약 달성하지 못했다면 재평가하여 우리 작업 결과에 대해 책임을 질 수 있도록 합니다.

또한 조직 구조와 관련된 많은 조정도 있었습니다. 예를 들어, 책임을 더 명확하게 구분하기 위해 RSP의 조직 구조를 재설계하기로 결정했습니다. 저는 이 문서의 중요성을 헌법에 비유하는 것을 좋아합니다. 마치 미국이 헌법의 이행을 보장하기 위해 법원, 대법원, 대통령, 상하원 등 일련의 제도와 기관을 구축한 것처럼 말입니다. 비록 이러한 기관들이 다른 직무도 수행하고 있지만, 그 존재의 주된 목적은 헌법을 수호하는 데 있으며, Anthropic의 RSP 역시 이와 유사한 과정을 겪고 있습니다.

Sam McCandlish:

저는 이것이 사실 안전 문제에 대한 우리의 핵심 관점을 반영한다고 생각합니다. 즉, 안전 문제는 해결 가능하다는 것입니다. 이는 매우 복잡하고 막중한 과제이며, 막대한 시간과 노력을 투자해야 합니다.

자동차 안전 분야와 마찬가지로, 관련 제도와 기구는 수년에 걸친 발전을 거쳐 구축되었습니다. 하지만 우리가 지금 직면한 문제는, 이러한 작업을 완료할 충분한 시간이 우리에게 있는지 여부입니다. 따라서 우리는 AI 안전에 필요한 핵심 제도를 가능한 한 신속하게 파악하여 우리 조직 내에서 먼저 구축해야 하며, 동시에 이러한 제도가 다른 곳에서도 참고하고 확산될 수 있도록 보장해야 합니다.

Dario Amodei:

이는 조직 내부의 협업과 통일성에도 도움이 됩니다. 조직 내 어느 부분의 행동이 우리의 안전 가치관에 부합하지 않는다면, RSP가 어떤 방식으로든 그 문제를 드러내게 될 테니까요, 그렇죠? RSP는 안전 기준에 부합하지 않는 계획을 계속 추진하는 것을 막을 것입니다. 따라서 이는 모든 사람에게 지속적으로 상기시켜 주는 도구로서, 안전성이 제품 개발 및 기획 과정의 기본 요건이 되도록 보장합니다. 우리는 단순히 구호를 외치는 것이 아니라, 실질적으로 모든 단계에 보안을 녹여내고 있습니다. 팀에 합류한 누군가가 이러한 원칙에 동의하지 못한다면, 그 사람은 조직에 적응하지 못한다는 것을 깨닫게 될 것입니다. 이 방향에 적응하거나, 아니면 계속해 나가기 어렵다는 것을 알게 될 것입니다.

잭 클라크:

시간이 지남에 따라 RSP는 점점 더 중요해졌습니다. 우리는 RSP에 수천 시간의 노력을 쏟아부었고, 상원의원들에게 RSP를 설명할 때 저는 이렇게 말했습니다. “ '우리는 기술이 남용되기 어렵도록 하면서 동시에 보안을 보장할 수 있는 몇 가지 조치를 마련했습니다.'라고 말합니다. 그들의 반응은 대개 '그건 당연한 것 같은데요. 모든 회사가 다 그렇게 하지 않나요?'입니다. 이 말에 저는 어이없으면서도 웃음이 나더군요, 사실 모든 회사가 그렇게 하는 것은 아닙니다.

다니엘라 아모데이:

또한 저는 RSP가 팀의 가치관 일관성을 촉진하는 것 외에도 회사의 투명성을 높인다고 생각합니다. RSP는 우리의 목표가 무엇인지 명확히 기록하고 있어, 회사 내부의 모든 사람이 이해할 수 있을 뿐만 아니라 외부 사람들도 우리가 안전 측면에서 어떤 목표와 방향을 가지고 있는지 명확히 알 수 있기 때문입니다. 아직 완벽하지는 않지만, 우리는 계속해서 이를 최적화하고 개선하고 있습니다.

저는 “우리가 주목하는 핵심 문제는 무엇인가”를 명확히 지적해야 한다고 생각합니다. 우리는 “보안”이라는 단어를 함부로 사용해 업무 진행을 좌우해서는 안 됩니다. 예를 들어 “보안 문제 때문에 우리는 어떤 일을 할 수 없다”거나 “보안 문제 때문에 우리는 어떤 일을 해야 한다”는 식으로 말이죠. 우리의 진정한 목표는 우리가 말하는 보안이 정확히 무엇인지 모두가 명확히 알 수 있도록 하는 것입니다.

Dario Amodei:

장기적으로 볼 때, 실제로 보안을 해치는 것은 오히려 빈번한 “보안 훈련”인 경우가 많습니다. 저는 한 번 이렇게 말한 적이 있습니다. “매주 화재 경보가 울리는 건물이 있다면, 사실 그 건물은 매우 위험한 건물입니다.” 왜냐하면 진짜 화재가 발생했을 때 아무도 신경 쓰지 않을 수 있기 때문입니다. 우리는 경보의 정확성과 교정에 각별히 신경 써야 합니다.

Chris Olah:

다른 관점에서 보면, RSP는 여러 측면에서 건전한 인센티브 구조를 만들어낸다고 생각합니다. 예를 들어 회사 내부에서 RSP는 각 팀의 인센티브 구조를 안전 목표와 연계시킵니다. 즉, 안전 측면에서 충분한 진전을 이루지 못하면 관련 업무가 중단된다는 뜻입니다.

외부적으로도 RSP는 다른 방법보다 더 건전한 인센티브 구조를 조성합니다. 예를 들어, 만약 언젠가 “우리 모델은 어느 단계까지 발전했지만 아직 안전성을 보장할 수 없다”고 인정하는 등 중대한 조치를 취해야 한다면, RSP는 이러한 결정을 뒷받침할 명확한 프레임워크와 근거를 제공합니다. 이러한 프레임워크는 사전에 마련되어 있으며, 명확하고 이해하기 쉽습니다. RSP의 초기 버전을 논의했을 때 저는 그 잠재력을 완전히 인식하지 못했지만, 지금은 제가 생각할 수 있는 다른 방법들보다 확실히 더 효과적이라고 생각합니다.

Jared Kaplan:

저는 이러한 견해에 동의하지만, 올바른 정책을 수립하고, 기준을 평가하며, 경계를 설정하는 과정에서 우리가 직면한 어려움을 다소 과소평가하고 있는 것 같습니다. 우리는 이미 이러한 측면에서 수많은 반복 작업을 거쳤으며, 여전히 최적화를 계속하고 있습니다. 어려운 문제 중 하나는 일부 신기술의 경우, 그것이 위험한지 안전한지 명확히 판단하기가 때때로 어렵다는 점입니다. 대부분의 경우, 우리는 거대한 회색 지대에 직면하게 됩니다. 이러한 도전 과제들은 RSP 개발 초기부터 저를 매우 흥분시켰고, 지금도 여전히 그렇습니다. 하지만 동시에, 이 전략을 명확하게 실행하고 실제로 효과를 발휘하게 만드는 것이 제가 처음 생각했던 것보다 훨씬 더 복잡하고 도전적이라는 점도 깨닫게 되었습니다.

Sam McCandlish:

회색 지대는 어디에나 존재하기 때문에 완전히 예측할 수 없습니다. 실제로 실행에 옮기기 시작해야만 문제의 본질을 파악할 수 있습니다. 따라서 우리의 목표는 모든 내용을 가능한 한 빨리 실행하여 잠재적인 문제를 조기에 발견하는 것입니다.

다리오 아모데이:

진정으로 완벽을 기하려면 3~4번의 반복 과정을 거쳐야 합니다. 반복은 매우 강력한 도구이며, 첫 시도에서 완벽하게 성공하는 것은 거의 불가능합니다. 따라서 위험이 계속 커지고 있다면, 마지막까지 미루지 말고 가능한 한 빨리 이러한 반복 과정을 완료해야 합니다.

잭 클라크:

동시에 내부 제도와 프로세스를 구축해야 합니다. 구체적인 세부 사항은 시간이 지남에 따라 변할 수 있지만, 팀의 실행 능력을 기르는 것이 가장 중요합니다.

톰 브라운:

저는 Anthropic의 컴퓨팅 리소스 관리를 담당하고 있습니다. 제 경우 외부 이해관계자들과 소통해야 하는데, 외부 인사들마다 기술 발전 속도에 대한 견해가 다릅니다. 저도 처음에는 기술이 그렇게 빨리 발전하지 않을 것이라고 생각했지만, 나중에 생각이 바뀌었기 때문에 이 점을 매우 잘 이해합니다. RSP는 제게 특히 유용했는데, 특히 기술 발전이 비교적 느릴 것이라고 생각하는 사람들과 소통할 때 더욱 그렇습니다. 우리는 그들에게 이렇게 말할 수 있습니다. “기술이 매우 긴급한 수준에 도달하기 전까지는 극단적인 보안 조치를 취할 필요가 없습니다.” 만약 그들이 “오랫동안 상황이 긴급해지지 않을 것 같다”고 말한다면, 저는 “좋습니다. 그렇다면 당분간 극단적인 안전 조치를 취할 필요는 없습니다”라고 답할 수 있습니다. 이렇게 하면 외부와의 소통이 훨씬 원활해집니다.

Jack Clark:

그렇다면 RSP는 또 어떤 측면에서 여러분에게 영향을 미치고 있나요?

Sam McCandlish:

모든 것은 평가에 달려 있으며, 각 팀은 평가를 진행하고 있습니다. 예를 들어, 여러분의 훈련 팀은 지속적으로 평가 작업을 수행하고 있으며, 우리는 이 모델이 위험을 초래할 만큼 충분히 강력해졌는지 확인하려고 노력하고 있습니다.

다니엘라 아모데이:

이는 사실상 RSP 기준에 따라 모델의 성능을 측정해야 함을 의미하며, 우려를 유발할 수 있는 징후가 있는지 확인하는 것도 포함됩니다.

Sam McCandlish:

모델의 최저 능력을 평가하는 것은 비교적 쉽지만, 최고 능력을 평가하는 것은 매우 어렵습니다. 따라서 우리는 다음과 같은 질문에 답하기 위해 많은 연구 노력을 기울였습니다. “이 모델이 특정 위험한 작업을 수행할 수 있는가? 우리가 아직 고려하지 못한 마인드맵, 베스트 이벤트(best event) 또는 특정 도구의 사용과 같은 방법이 존재한다면, 이것이 모델로 하여금 매우 위험한 행동을 수행하게 만들지는 않을까요?”

잭 클라크:

정책 수립 과정에서 이러한 평가 도구는 매우 유용합니다. ‘안전’은 매우 추상적인 개념이기 때문인데, 제가 이렇게 말할 때: ‘이 모델을 배포할 수 있는지 여부를 결정하는 평가 도구가 있습니다.’라고 말할 때, 우리는 정책 입안자, 국가 안보 전문가, 그리고 CBRN(화학, 생물, 방사능, 핵) 분야 전문가들과 협력하여 정확한 평가 기준을 함께 수립할 수 있습니다. 이러한 구체적인 도구가 없다면, 이러한 협력은 애초에 불가능했을 것입니다. 하지만 명확한 기준이 마련되면 사람들은 더 기꺼이 참여하여 그 정확성을 보장하는 데 도움을 주게 됩니다. 따라서 이 측면에서 RSP의 역할은 매우 큽니다.

다니엘라 아모데이:

RSP는 저에게도 매우 중요하며, 종종 제 업무에 영향을 미칩니다. 흥미로운 점은 제가 RSP를 생각하는 방식이 다소 특별하다는 것입니다. 주로 RSP의 ‘어조’, 즉 표현 방식에서 출발하죠. 최근 우리는 RSP의 어조를 대폭 조정했습니다. 이전 어조는 지나치게 기술적이었고, 심지어 대립적인 느낌까지 주었기 때문입니다. 저는 사람들이 기꺼이 참여하고 싶어 하는 시스템을 어떻게 구축할지 많은 시간을 들여 고민했습니다.

RSP가 회사 내 모든 사람이 쉽게 이해할 수 있는 문서라면 훨씬 더 좋을 것입니다. 마치 현재의 OKR(목표와 핵심 결과)처럼 말이죠. 예를 들어, RSP의 주요 목표는 무엇일까요? 목표를 달성했는지 어떻게 알 수 있을까요? 현재 AI 안전 등급(ASL)은 얼마입니까? ASL-2입니까, 아니면 ASL-3입니까? 모든 사람이 주목해야 할 핵심을 알고 있다면 잠재적인 문제를 발견하는 것이 훨씬 쉬워질 것입니다. 반대로, RSP가 지나치게 기술적이어서 소수만이 이해할 수 있다면, 그 실질적인 효용은 크게 떨어질 것입니다.

RSP가 더 이해하기 쉬운 방향으로 발전하고 있는 것을 보니 기쁩니다. 이제 저는 회사 내 대다수의 사람, 어쩌면 모든 사람이 직급에 상관없이 이 문서를 읽고 “이건 합리적이다. 우리가 다음 원칙들을 지침으로 삼아 AI를 개발했으면 좋겠다. 또한 왜 이런 문제들에 주목해야 하는지도 이해한다. 업무 중 문제가 발생하면 대략 무엇을 주의해야 할지 안다”라고 느낄 수 있을 것이라 생각합니다. 우리는 RSP를 충분히 단순하게 만들어, 마치 제조 공장에서 일하는 사람이 “안전벨트는 여기에 연결되어야 하는데 지금은 제대로 연결되어 있지 않다”라고 쉽게 판단할 수 있도록 하고자 합니다. ”라고 판단할 수 있을 정도로 RSP를 단순화하여, 문제를 적시에 발견할 수 있도록 하는 것입니다.

핵심은 경영진, 이사회, 회사의 다른 부서, 그리고 실제 연구개발을 수행하는 팀 간에 원활한 소통이 이루어지도록 건강한 피드백 체계를 구축하는 데 있습니다. 제 생각에 대부분의 문제는 의사소통의 부재나 정보 전달의 왜곡에서 비롯되는 경우가 많습니다. 만약 문제가 단지 이러한 이유만으로 발생한다면, 정말 안타까운 일이겠죠? 결국 우리가 해야 할 일은 이러한 원칙들을 실제로 실천에 옮기고, 누구나 쉽게 이해할 수 있도록 명확하고 간결하게 만드는 것입니다.

Anthropic의 창립 이야기

Sam McCandlish: 사실 우리 중 누구도 처음부터 회사를 창업할 의도는 없었습니다. 우리는 단지 이것이 우리의 책임이라고 생각했고, 행동에 나서야 한다고 느꼈습니다. 이것이 AI가 올바른 방향으로 발전하도록 보장하는 유일한 길이기 때문이며, 바로 그 때문에 우리가 그 약속을 하게 된 것입니다.

다리오 아모데이:

제 초기 생각은 단순했습니다. 그저 유익한 방식으로 새로운 것을 발명하고 탐구하고 싶었을 뿐입니다. 이러한 생각이 저를 AI 분야로 이끌었고, AI 연구에는 막대한 공학적 지원이 필요하며, 궁극적으로는 막대한 자금 지원도 필요했습니다.

하지만, 회사를 설립하고 환경을 관리하기 위한 명확한 목표와 계획이 없다면, 많은 일이 이루어지기는 하겠지만 기술 업계에서 제가 소외감을 느꼈던 그 실수들을 반복하게 될 것이라는 사실을 깨달았습니다. 이러한 실수들은 대개 똑같은 사람들, 똑같은 태도, 똑같은 사고방식에서 비롯됩니다. 그래서 어느 순간, 우리는 이 일을 완전히 새로운 방식으로 해야 한다는 것을 깨달았고, 이는 거의 피할 수 없는 일이었습니다.

Jared Kaplan:

대학원 시절, 당신이 과학 연구를 통해 공공의 이익을 증진하는 방법을 모색하려는 완벽한 계획을 가지고 있었던 것을 기억합니다. 저는 이것이 우리의 현재 사고방식과 매우 유사하다고 생각합니다. 당시 당신이 “Project Vannevar”라는 프로젝트를 진행했던 것으로 기억하는데, 그 목표를 실현하기 위한 것이었죠. 저는 당시 교수였는데, 당시 상황을 지켜보며 AI의 영향력이 엄청난 속도로 커지고 있다고 확신했습니다.

하지만 AI 연구에 막대한 자금이 필요했고, 물리학 교수로서 저는 학술 연구만으로는 이러한 발전을 이끌어낼 수 없다는 것을 깨달았습니다. 저는 신뢰할 수 있는 사람들과 함께, AI의 발전이 올바른 방향으로 나아갈 수 있도록 보장하는 기구를 설립하고 싶었습니다. 하지만 솔직히 말해서, 저는 남에게 회사를 창업하라고 권유한 적이 없으며, 그런 바람도 한 번도 가져본 적이 없습니다. 저에게 있어 그것은 단지 목표를 달성하기 위한 수단에 불과했습니다. 저는 일반적으로 성공의 핵심은 세상에 의미 있는 목표를 진정으로 염원하고, 그 목표를 달성하기 위한 최선의 수단을 찾는 데 있다고 생각합니다.

신뢰 문화를 구축하는 방법

다니엘라 아모데이: 저는 우리 팀의 전략적 강점에 대해 자주 생각하는데, 그중 하나는 다소 의외로 들릴 수 있지만 매우 중요한 요소인 바로 우리 사이의 높은 신뢰입니다. 많은 사람들이 하나의 공동 사명을 갖도록 하는 것은 매우 어렵지만, Anthropic에서는 점점 더 많은 사람들에게 이러한 사명감을 성공적으로 전달하고 있습니다. 이 팀에서는 리더십과 모든 구성원을 포함해 모두가 공동의 사명을 위해 한데 모였습니다. 우리의 사명은 명확하고 순수하며, 기술 업계에서는 흔치 않은 경우입니다.

저는 우리가 달성하기 위해 노력하고 있는 목표가 순수한 의미를 담고 있다고 생각합니다. 우리 중 누구도 회사를 창업하고 싶어서 시작한 사람은 없습니다. 우리는 단지 이 일을 해야 한다고 느꼈을 뿐입니다. 우리는 기존 환경에서는 더 이상 일을 추진할 수 없었기에, 스스로 이 일을 완수해야만 했습니다.

잭 클라크:

당시 GPT-3의 등장과 우리 모두가 접하거나 참여했던 확장 법칙(scaling laws) 등의 프로젝트를 통해, 우리는 2020년에 이미 AI의 발전 추세를 명확히 파악하고 있었습니다. 우리는 조속히 행동하지 않으면 곧 되돌릴 수 없는 임계점에 도달할 수도 있다는 것을 깨달았습니다. 이 환경에 영향을 미치기 위해서는 반드시 행동해야만 했습니다.

톰 브라운:

다니엘라의 의견을 이어가자면, 저는 팀 내에 높은 수준의 신뢰가 존재한다고 확신합니다. 우리 각자는 세상을 위해 기여하고 싶다는 마음으로 이 팀에 합류했다는 사실을 잘 알고 있습니다. 또한 우리는 수익의 80%를 사회 발전을 촉진하는 사업에 기부하겠다고 공동으로 약속했는데, 이는 모두가 주저 없이 지지하는 일입니다. “네, 당연히 그렇게 할 겁니다.” ” 이러한 신뢰는 매우 특별하고 드문 것입니다.

다니엘라 아모데이:

저는 Anthropic이 정치적 색채가 매우 옅은 회사라고 생각합니다. 물론, 우리의 관점은 일반 사람들과 다를 수 있으며, 저도 항상 이 점을 상기하고 있습니다. 저는 우리의 채용 과정과 팀원들의 특성 덕분에 이곳의 문화가 ‘사무실 정치’를 거의 자연스럽게 배제한다고 생각합니다.

Dario Amodei:

그리고 팀의 결속력도 매우 중요합니다. 제품 팀, 연구 팀, 신뢰 및 보안 팀, 마케팅 팀, 정책 팀 등 모든 팀이 회사의 동일한 목표를 달성하기 위해 노력하고 있습니다. 회사 내부의 서로 다른 부서가 완전히 다른 목표를 추구할 때, 종종 혼란이 발생합니다. 만약 다른 부서가 자신의 업무를 방해한다고 생각한다면, 그것은 매우 비정상적인 현상입니다.

저는 회사의 전반적인 일관성을 성공적으로 유지한 것이 우리의 가장 중요한 성과 중 하나라고 생각합니다. RSP와 같은 메커니즘이 그 과정에서 중요한 역할을 했습니다. 이러한 메커니즘은 회사 내에서 특정 부서가 문제를 일으키고 다른 부서가 이를 해결하려고 애쓰는 상황이 아니라, 모든 부서가 각자의 역할을 수행하면서 통일된 변화 이론(theory of change) 프레임워크 아래에서 협력하도록 보장합니다.

크리스 올라(Chris Olah):

제가 처음 OpenAI에 합류한 이유는 비영리 단체여서 AI 안전 연구에 집중할 수 있었기 때문입니다. 하지만 시간이 지남에 따라 이 모델이 저에게 완전히 맞지 않는다는 것을 점차 깨닫게 되었고, 이는 저로 하여금 몇 가지 어려운 결정을 내리게 했습니다. 이 과정에서 저는 Dario와 Daniela의 판단을 매우 신뢰했지만, 떠나고 싶지는 않았습니다. 더 많은 AI 연구소를 늘리는 것이 반드시 세상에 도움이 된다고 생각하지 않았기 때문에, 떠나는 것에 대해 매우 망설였습니다.

우리가 결국 떠나기로 결정했을 때, 저는 여전히 회사를 설립하는 것에 대해 유보적인 태도를 가지고 있었습니다. 저는 한때 안전 연구에 집중하는 비영리 기관을 설립해야 한다고 주장했습니다. 하지만 결국 현실적인 태도와 현실적 제약에 대한 솔직한 인정 덕분에, Anthropic을 설립하는 것이 우리의 목표를 달성하는 최선의 방법이라는 것을 깨달았습니다.

다리오 아모데이:

우리가 초기에 배운 중요한 교훈은 약속은 적게 하고, 약속은 많이 지키는 것입니다. 현실을 직시하고, 장단점을 솔직히 인정해야 합니다. 신뢰와 평판은 어떤 구체적인 정책보다 더 중요하기 때문입니다.

다니엘라 아모데이:

Anthropic의 독특한 점은 팀 내의 높은 신뢰와 단결력입니다. 예를 들어, 마이크 크리거가 안전상의 이유로 특정 제품 출시를 고집하는 모습을 보면서, 동시에 비나이가 프로젝트 완수를 위해 비즈니스 요구사항과 균형을 맞추는 방법을 논의하는 모습을 볼 때면 정말 특별한 기분이 듭니다. 또한, 기술 보안 팀과 추론 팀의 엔지니어들도 제품이 안전하면서도 실용적일 수 있도록 보장하는 방법을 논의하고 있습니다. 이러한 통일된 목표와 실용적인 태도는 Anthropic의 업무 환경에서 가장 매력적인 점 중 하나입니다.

Dario Amodei:

건강한 조직 문화란, 모두가 함께 직면한 상충되는 요소들을 이해하고 받아들일 수 있는 데 있습니다. 우리가 사는 세상은 완벽하지 않으며, 모든 결정은 서로 다른 이익 사이에서 균형을 찾아야 하는데, 이러한 균형은 종종 완전히 만족스럽지 않을 수 있습니다. 하지만 팀 전체가 통일된 목표 아래 이러한 상충을 함께 마주하고, 각자의 위치에서 전체 목표를 위해 기여할 때 비로소 건강한 생태계가 형성됩니다.

Sam McCandlish:

어떤 의미에서 보면, 이것은 ‘상향 경쟁’입니다. 네, 확실히 ‘상향 경쟁’이죠. 비록 완전히 위험이 없는 선택은 아니며 일이 잘못될 수도 있지만, 우리 모두는 “이것이 우리가 내린 선택이다”라고 입을 모읍니다.

AI의 정상을 향한 경쟁

잭 클라크: 하지만 시장은 본질적으로 실용적입니다. 따라서, Anthropic이라는 회사가 성공하면 할수록, 다른 이들은 우리를 성공으로 이끈 방식을 따라 하려는 동기를 더 많이 갖게 됩니다. 게다가 우리의 성공이 안전 분야에서의 실질적인 작업과 밀접하게 연결되어 있을 때, 이러한 성공은 업계 내에 일종의 ‘중력’을 형성하여 다른 회사들도 이 경쟁에 참여하도록 유도합니다. 마치 우리가 안전벨트를 개발했듯이, 다른 회사들도 이를 따라 할 수 있는 것이죠. 이것이 바로 건강한 생태계입니다.

Dario Amodei:

하지만 “우리는 이 기술을 개발하지 않을 것이며, 당신도 다른 사람보다 더 잘할 수는 없다”라고 말하는 방식은 통하지 않습니다. 왜냐하면 현재 상황에서 미래로 나아가는 경로가 실행 가능하다는 것을 입증하지 못했기 때문입니다. 세계가 필요로 하는 것은, 업계든 특정 기업이든, 사회가 ‘기술이 존재하지 않는’ 상태에서 ‘기술이 강력하게 존재하며 사회에 의해 효과적으로 관리되는’ 상태로 전환할 수 있는 방법을 찾는 것입니다. 저는 이 목표를 달성할 수 있는 유일한 방법은 개별 기업 차원에서, 나아가 궁극적으로는 업계 전체 차원에서 이러한 상충 관계를 정면으로 마주하는 것이라고 생각합니다.

경쟁력을 유지하고 심지어 특정 분야에서는 업계를 선도하면서도 동시에 기술의 안전성을 보장할 수 있는 방법을 찾아야 합니다. 만약 이를 해낼 수 있다면, 업계에 대한 귀사의 매력은 매우 강력해질 것입니다. 규제 환경부터 다양한 기업에 합류하고자 하는 우수한 인재, 심지어 고객의 인식에 이르기까지, 이 모든 요소가 업계를 같은 방향으로 이끌 것입니다. 경쟁력을 희생하지 않고도 안전성을 실현할 수 있음을, 즉 윈윈(win-win) 솔루션을 찾아낼 수 있음을 증명한다면, 다른 기업들도 이를 본받아 따라 하도록 동기 부여될 것입니다.

Jared Kaplan:

제 생각에 이것이 바로 RSP와 같은 메커니즘이 그토록 중요한 이유입니다. 우리는 기술의 발전 방향을 명확히 파악하고 특정 문제에 대해 높은 경계를 유지해야 한다는 점을 인식할 수 있지만, 동시에 “늑대가 온다”는 식의 잘못된 경보를 울리는 것을 피해야 하며, 단순히 이렇게 말해서는 안 됩니다: “혁신은 여기서 멈춰야 한다.” 우리는 AI 기술이 고객에게 유용하고 혁신적이며 즐거운 경험을 제공할 수 있도록 하는 방법을 찾아야 합니다. 동시에 시스템의 안전성을 보장하고, 다른 기업들도 안전하게 성공을 거두고 우리와 경쟁할 수 있다는 확신을 줄 수 있는 필수적인 제약 조건을 명확히 해야 합니다.

다리오 아모데이:

몇 달 후, 우리가 RSP를 출시하자 가장 유명한 AI 기업 세 곳도 잇달아 유사한 메커니즘을 선보였습니다. 설명 가능성 연구는 우리가 또 다른 돌파구를 마련한 분야입니다. 또한, 우리는 AI 보안 연구 기관들과 협력하고 있으며, 이러한 전반적인 보안에 대한 관심은 지대한 영향을 미치고 있습니다.

잭 클라크:

네, 프론티어 레드 팀(Frontier Red Team)은 거의 즉시 다른 기업들에 의해 모방되었습니다. 이는 긍정적인 현상이며, 모든 연구소가 잠재적인 고위험 보안 취약점을 테스트하기를 바랍니다.

Daniela Amodei:

Jack이 앞서 언급했듯이, 고객들도 보안 문제를 매우 중요하게 생각합니다. 고객은 모델이 허위 정보를 생성하거나 보안 제한을 쉽게 우회하는 것을 원치 않습니다. 그들은 모델이 유용하면서도 무해하기를 원하며, 고객과의 소통에서 종종 “Claude가 더 안전하다는 것을 알기 때문에 선택했다”는 말을 듣곤 합니다. 저는 이것이 시장에 미치는 영향이 막대하다고 생각합니다. 우리가 신뢰할 수 있고 안정적인 모델을 제공할 수 있다는 점은 경쟁사들에게도 상당한 시장 압박을 주고 있습니다.

Chris Olah:

아마도 Dario가 방금 언급한 관점을 좀 더 확장해 볼 수 있을 것 같습니다. 어떤 주장에 따르면, 가장 도덕적인 행동은 “고귀한 실패”라고 합니다. 즉, 안전을 위해 다른 목표를 희생하거나 심지어 비현실적인 방식으로 행동함으로써 자신의 사명에 대한 순수함을 보여줘야 한다는 것입니다. 하지만 저는 이런 방식이 사실상 자멸적이라고 생각합니다.

첫째, 이런 방식은 안전을 중요하게 여기지 않거나 우선순위로 두지 않는 사람들의 손에 의사결정권이 넘어가게 만듭니다. 반면, 인센티브 구조를 조정하고, 올바른 결정을 내릴 수 있는 가장 강력한 기반이 있는 곳에 어려운 결정을 맡기며, 가장 설득력 있는 증거를 바탕으로 한다면, 다리오가 묘사한 “상향 경쟁”을 촉발할 수 있습니다. 이 경쟁에서는 안전을 중시하는 사람들이 소외되는 것이 아니라, 다른 사람들이 당신의 발자취를 따라 이 경쟁에 동참하도록 유도됩니다.

인공지능의 미래를 내다보며

잭 클라크: 그럼, 앞으로 우리가 할 일에 대해 여러분은 어떤 점이 가장 기대되시나요?

크리스 올라:

해석 가능성에 대해 기대할 만한 이유가 많다고 생각합니다. 하나는 분명 안전에 대한 고려 때문이지만, 또 다른 이유는 감정적인 차원에서 저를 흥분시키거나 깊은 의미를 느끼게 하는 점입니다. 바로 신경망이 정말 놀랍고, 그 안에는 우리가 아직 보지 못한 아름다움이 많이 숨겨져 있다고 생각하기 때문입니다. 우리는 항상 신경망을 블랙박스처럼 여기며 그 내부 구조에 별다른 관심을 두지 않지만, 자세히 들여다보기 시작하면 그 안이 놀라움으로 가득 찬 구조를 발견하게 됩니다 구조로 가득 차 있다는 것을 알게 됩니다.

이는 사람들이 생물학을 바라보는 태도와 다소 비슷합니다. 어떤 이들은 “진화는 지루하다. 그저 오랜 시간 동안 진행된 단순한 과정일 뿐이며, 그러다 동물을 만들어 냈을 뿐이야.”라고 생각할 수도 있습니다. 하지만 실제로 진화가 만들어 낸 모든 동물은 믿기 힘들 정도로 복잡하고 정교한 구조로 가득 차 있습니다. 그리고 저는 진화가 신경망을 훈련시키는 것과 마찬가지로 일종의 최적화 과정이라고 생각합니다. 신경망 내부에도 ‘인공 생물학’과 유사한 복잡한 구조가 전체적으로 존재합니다. 만약 깊이 연구해 본다면, 그 안에서 놀라움을 자아내는 수많은 것들을 발견하게 될 것입니다.

저는 우리가 이제 막 그 베일을 서서히 벗기기 시작했다고 생각합니다. 진화는 정말 믿기 어려울 정도로 놀랍고, 그 안에는 우리가 발견하기를 기다리는 것들이 너무나 많습니다. 우리는 이제 막 그 문을 열기 시작했을 뿐이며, 앞으로의 발견은 정말 놀랍고 멋진 것이 될 것이라고 생각합니다. 가끔은 10년 후 서점에 들어가 신경망의 해석 가능성에 관한 교과서나, 신경망의 ‘생물학’을 진정으로 다루는 책을 사게 될 때, 그 책에는 온갖 놀라운 내용들이 담겨 있을 것이라고 상상하곤 합니다. 저는 앞으로 10년, 아니 앞으로 몇 년 안에 우리가 이러한 것들을 진정으로 발견하기 시작할 것이라고 믿습니다. 이는 정말로 미친 듯이 놀라운 여정이 될 것입니다.

잭 클라크:

몇 년 전만 해도 누군가 “정부가 AI 시스템을 테스트하고 평가하기 위해 새로운 기관을 설립할 것이며, 이 기관들은 매우 전문적이고 실질적인 역할을 할 것”이라고 말했다면 아마도 믿지 못했을 것입니다. 하지만 이미 현실이 되었습니다. 정부가 이 새로운 기술 분야에 대응하기 위한 ‘새로운 대사관’을 세웠다고 할 수 있는데, 이것이 앞으로 어떻게 전개될지 매우 기대됩니다. 이는 국가가 단순히 기업에만 의존하는 것이 아니라, 이러한 사회적 변혁에 대처할 역량을 갖추고 있음을 의미한다고 생각하며, 그 과정에 참여하게 되어 기쁩니다.

다니엘라 아모데이:

저는 이미 이 점에 대해 흥분하고 있지만, 미래의 AI가 인류를 위해 무엇을 해낼 수 있을지 상상하는 것만으로도 설레지 않을 수 없습니다. 지금 Claude가 백신 개발, 암 연구, 생물학 연구를 돕는 조짐만 봐도 이미 믿기 어려울 정도입니다. 현재 Claude가 할 수 있는 일들을 보는 것만으로도 놀랍지만, 앞으로 3~5년을 내다보면, 클로드가 특히 보건 분야를 비롯해 인류가 직면한 근본적인 문제들을 진정으로 해결할 수 있을 것이라고 상상하는 것만으로도 매우 설레요. 제가 국제 개발 업무를 맡았던 시절을 떠올려보면, 그때 클로드가 저의 비효율적인 업무를 도와줬다면 얼마나 놀라운 일이었을까요.

톰 브라운:

개인적인 관점에서 말하자면, 저는 업무에서 클로드를 사용하는 것을 정말 좋아합니다. 그래서 최근에는 집에서도 클로드와 대화를 나누곤 하는데, 가장 큰 변화는 코딩입니다. 6개월 전만 해도 저는 Claude를 이용해 프로그래밍 관련 업무를 처리한 적이 없었고, 우리 팀도 Claude로 코드를 작성하는 일이 거의 없었지만, 지금은 상황이 크게 달라졌습니다. 예를 들어, 지난주 Y Combinator에서 열린 행사에서 제가 강연을 했습니다. 강연 초반에 청중들에게 “현재 Claude를 이용해 프로그래밍을 하는 분은 얼마나 되시나요?”라고 물었더니, 무려 95%에 가까운 분들이 손을 들었습니다. 거의 모든 참석자가 손을 들었는데, 이는 4개월 전 상황과는 완전히 다른 모습입니다.

다리오 아모데이:

제가 흥미를 느끼는 주제를 생각할 때면, 앞서 언급했듯이 이미 합의가 이루어진 것처럼 보이지만 실제로는 곧 깨질 분야가 떠오르는데, 그중 하나가 바로 해석 가능성입니다. 저는 해석 가능성이 AI 시스템의 안전을 이끌고 보장하는 핵심일 뿐만 아니라, 지능 최적화 문제와 인간 뇌의 작동 원리에 대한 심오한 통찰을 담고 있다고 봅니다. 저는 크리스 올라(Chris Olah)가 앞으로 노벨 의학상을 받을 것이라고 말한 적이 있습니다.

저는 한때 신경과학자였기 때문에, 우리가 아직 해결하지 못한 많은 정신 질환들, 예를 들어 정신분열증이나 정서 장애와 같은 많은 정신 질환들은, 어떤 더 높은 차원의 시스템적 문제와 관련이 있다고 의심합니다. 그러나 인간 뇌의 복잡성과 직접 연구하기 어려운 특성 때문에, 이러한 문제들을 완전히 이해하기는 어렵습니다. 반면 신경망은 완벽한 비유는 아니지만, 인간 뇌만큼 해석하거나 상호작용하기 어렵지는 않습니다. 시간이 지남에 따라 신경망은 더 나은 비유 도구가 될 것입니다.

또 다른 관련 분야는 생물학에서의 AI 응용입니다. 생물학은 지극히 복잡한 문제이며 여러 가지 이유로 사람들은 여전히 회의적인 태도를 보이고 있지만, 저는 이러한 회의적인 공감대가 무너지기 시작했다고 생각합니다. 우리는 이미 화학 분야에서 노벨상이 AlphaFold에 수여되는 것을 목격했는데, 이는 놀라운 성과이며 우리는 수백 개의 ‘AlphaFold’를 만들어낼 수 있는 도구를 개발하기 위해 노력해야 합니다.

마지막은 AI를 활용해 민주주의를 강화하는 것입니다. 우리는 AI가 잘못 개발될 경우 독재의 도구가 될까 우려합니다. 그렇다면 어떻게 AI를 자유와 자결권을 증진하는 도구로 만들 수 있을까요? 저는 이 분야의 발전이 앞서 언급한 두 분야보다 조금 더 빨리 이루어질 수 있겠지만, 그 중요성은 결코 뒤지지 않는다고 생각합니다.

Jared Kaplan:

저는 적어도 두 가지 점에서 귀하의 이전 견해에 공감합니다. 첫째, 많은 사람들이 Anthropic에 합류한 이유는 AI 과학에 대한 엄청난 호기심 때문이라고 생각합니다. AI 기술이 발전함에 따라, 그들은 단순히 기술 발전을 추진하는 것뿐만 아니라 기술을 더 깊이 이해하고 그 안전성을 보장해야 한다는 점을 점차 인식하게 되었습니다. AI의 발전과 책임에 대해 공동의 비전을 가진 점점 더 많은 사람들과 함께 일할 수 있다는 것은 정말 흥미로운 일이며, 지난 1년 동안 일어난 수많은 기술적 진보가 실제로 이러한 공감대를 형성하는 데 기여했다고 생각합니다.

또 다른 측면은, 실질적인 문제로 돌아가서, 우리가 AI 안전 분야에서 이미 많은 작업을 해왔다는 점입니다. 하지만 최근의 몇 가지 발전으로 인해, 우리는 매우 고도화된 시스템이 초래할 수 있는 위험에 대해 초기적인 인식을 갖기 시작했습니다. 이를 통해 우리는 설명 가능성 연구와 다른 유형의 안전 메커니즘을 활용하여 이러한 위험을 직접 연구하고 조사할 수 있게 되었습니다.

이러한 방식을 통해 우리는 고도화된 AI 시스템이 초래할 수 있는 위험을 더 명확하게 이해할 수 있게 되었으며, 이는 우리가 더 과학적이고 실증적인 방식으로 우리의 사명을 추진할 수 있게 해줄 것입니다. 따라서 저는 앞으로 6개월이 매우 기대됩니다. 고급 시스템의 잠재적 문제에 대한 이해를 바탕으로, 이러한 함정을 피할 수 있는 방법을 더 깊이 연구하고 찾아낼 것입니다.