출처 :『이정환』님 페이스북
오픈AI CEO 샘 알트만이 해고됐다. “이사회와의 커뮤니케이션에서 일관되게 솔직하지 못했다는 이유로 해고됐다”는 공지가 떴다. 구체적인 이유는 공개하지 않았다.
이게 왜 중요한가.
- 뭔가 심각한 일이 벌어지고 있을 가능성이 크다. 인류의 미래와 관련된 문제일 수도 있다.
- 오픈AI는 그냥 스타트업 기업이 아니다. 무려 900억 달러의 가치를 인정 받는 기업이다.
- 샘 알트만 없는 오픈AI는 상상하기가 쉽지 않다.
- 이사회의 워딩을 보면 샘 알트만이 말하지 않은 뭔가가 있었고 그게 들통났다는 걸로 해석할 수 있지만 알려진 건 거의 없다. 뉴욕타임즈 기자 케빈 루즈는 수요일 오후에 샘 알트만을 인터뷰했는데 “자신이 해고될 거라는 걸 전혀 알지 못하는 것 같았다”고 말했다.
몇 가지 확인된 사실.
- 샘 알트만은 X에서 “오픈AI에서 보낸 시간은 정말 좋았다”면서 “세상을 조금이나마 변화시키는 계기가 됐다”고 짧게 밝혔다.
- 공동 창업자 그렉 브록맨도 그만뒀다. 역시 X에서 “우리 모두가 함께 일궈낸 성과가 매우 자랑스럽다”면서 “오늘 소식을 듣고 그만두기로 했다”고 밝혔다.
- 임시 CEO는 CTO인 미라 무라티가 맡는다.
이유가 뭘까.
- 디인포메이션의 단독 보도에 그나마 최근 상황을 이해할 수 있는 단서가 있다.
- 안전 문제를 두고 논란이 있었고 미라 무라티가 세 가지를 강조했는데 두 번째가 AI 얼라인먼트(alignment, 조정), AI의 능력과 위험을 예측해야 한다는 것이다.
- 첫번째는 기술 연구를 진전시키는 것이고, 두번째가 AI 얼라인먼트고 세 번째가 모두에게 유익한 방식으로 기술을 공유해야 한다는 것이다. AI 얼라인먼트를 두고 갈등이 촉발됐을 가능성이 있다는 이야기다.
- 디인포메이션에 따르면 오픈AI 이사회는 알트만이 영리적 비즈니스가 사회의 안전을 희생시킬 가능성을 우려했다고 한다.
큰 그림.
- 오픈AI는 애초에 인공지능 개발이 아니라 인공지능의 폭주로부터 인류를 보호하기 위한 연구를 하는 조직으로 출발한 비영리 조직이다.
- 오픈AI가 공개한 거버넌스 구조를 보면 오픈AI 이사회의 가장 중요한 역할 가운데 하나는 오픈AI가 개발하는 인공지능이 일반 인공지능(artificial general intelligence)에 도달했는지 여부를 결정하는 것이다. 오픈AI는 비영리 모회사가 영리 자회사를 지배하는 구조인데 만약 AGI에 도달하게 되면 영리 목적의 사업을 중단해야 한다. 마이크로소프트와 맺은 라이선스 계약도 중단된다.
- 오픈AI의 최대 주주인 마이크로소프트도 샘 알트만의 해고 소식을 발표 몇 분 전에 들었다고 했다.
더 깊게 읽기.
- 지난 7월 일리야 수츠케버가 오픈AI 블로그에 쓴 글이 있다. 슈퍼 인공지능의 막강한 힘이 매우 위험할 수 있고 인류를 위협하거나 멸종에 이르게 할 수도 있다는 내용이다. 수츠케버는 “거버넌스를 관리할 기관이 필요하고 슈퍼 인공지능의 얼라인먼트 문제를 해결해야 한다”고 강조했다.
- 만약 AI가 사람의 능력을 넘어선다면 AI를 누가 콘트롤할 것인가의 문제다. AI의 능력을 콘트롤하는 게 얼라인먼트인데 얼라인먼트를 사람이 감독한다면 AI가 얼라인먼트를 우회하거나 속일 가능성도 있기 때문이다.
- 오픈AI는 앞으로 4년 동안 확보된 컴퓨팅 능력의 20%를 얼라인먼트 문제 해결에 투입할 계획이라고 밝혔다. 일반 인공지능의 시대에 대비해 인공지능이 어디까지 할 수 있고 어디부터는 해서는 안 되는지 원칙을 정하고 그 원칙을 벗어나지 않도록 관리하는 게 과제다.
- 일리야 수츠케버는 초지능(artificial superintelligence)에 맞서는 개념으로 초정렬(superalignment)팀을 운영하고 있다. MIT테크노롤지리뷰와 인터뷰에서는 “인간의 통제를 넘어서는 인공지능이 등장하면 많은 사람들이 인공지능의 일부가 되는 걸 선택할 수도 있을 것”이라고 암울한 전망을 내놓기도 했다. 그런 상황에 이르지 않도록
- 샘 알트만과 일리야 수츠케버가 얼라인먼트 문제로 의견 충돌을 빚었을 가능성도 있다. 인공지능의 위험을 보는 견해는 알트만보다 수츠케버가 훨씬 더 강성이라고 할 수 있다.
- 수츠케버는 인공지능의 아버지라고 불리는 제프리 힌튼의 제자다. 힌튼은 올해 5월 구글을 떠나면서 인공지능의 위험을 경고했다. “일생을 후회한다”면서 “내가 하지 않았다면 다른 누군가가 했을 일이라고 생각하며 스스로를 위로할 뿐”이라고 말하기도 했다.
오픈AI의 지배구조.
- 오픈AI는 델라웨어에 등록된 비영리 단체고 자회사 오픈AI글로벌(OpenAI Global LLC)은 영리적 목적으로 설립된 주식회사다. 오픈AI글로벌은 수익 창출과 분배가 허용되지만 철저하게 모회사의 사명에 따르도록 돼 있다.
- 오픈AI글로벌의 지주회사와 관리회사가 따로 있고 주주들은 지주회사에 투자할 수 있지만 경영에 개입할 수는 없다.
- 이사회의 과반이 사외 이사고 사외 이사들은 지분을 보유하지 않는다. 샘 알트만도 지분이 전혀 없다.
- 직원들과 마이크로소프트를 비롯해 투자자들이 가져갈 수 있는 이익의 상한이 정해져 있다. 한도를 넘어 이익이 발생하면 비영리 단체에 귀속된다.
- 오픈AI는 “오픈AI의 수혜자는 투자자가 아닌 인류(The Nonprofit’s principal beneficiary is humanity, not OpenAI investors)”라고 밝히고 있다.
뒷 이야기.
- 샘 알트만이 해고된 직후 오픈AI의 직원들이 일리야 수츠케버에게 이게 쿠데타인지 물었다. 일리야 수츠케버는 “동의하지는 않지만 그렇게 불러도 된다”면서 “이사회는 인류에게 혜택을 주는 일반 인공지능을 구축하기 위해 해야 할 일을 했을 뿐(which is to make sure that OpenAI builds AGI that benefits all of humanity)”이라고 말했다.
- 디인포메이션에 따르면 알트만이 잠재적인 안전 문제를 희생하면서 비즈니스를 키우려 했고 그 속도가 너무 빨랐다고 생각하느냐는 질문으로 이해한 직원들도 있었다고 한다.
‘효율적인 이타주의자들’.
- 오픈AI의 이사회는 모두 여섯 명인데 일리야 수츠케버와 큐오라의 CEO인 아담 단젤로, 로봇공학자 타샤 맥컬리, 조지타운의 전략 담당 이사 헬렌 토너 등이 남았다. 기즈모도는 이들이 모두 ‘효율적인 이타주의자들(Effective Altruists)’ 운동과 관련돼 있다고 분석했다.
- ‘효율적인 이타주의자들’은 선한 의도를 가진 사람들이 엄청난 부자가 되어 그 돈을 좋은 일에 기부하는 것이 인류의 문제에 대한 해결책이라고 주장하는 사람들의 모임이다. 이 모임을 주도했던 사람 가운데 하나가 FTX의 샘 뱅크먼프리드였다. (샘 뱅크먼프리드는 FTX 파산 이후 사기 혐의 등으로 구속돼 재판을 받고 있는데 징역 110년형을 받을 거란 관측도 나온다.)
- FTX 사태 이후 이 모임은 해체되다시피 했다. 오픈AI 대변인은 벤처비트와 인터뷰에서 “우리 이사회 구성원 가운데 ‘효율적인 이타주의자들’ 멤버는 없다”고 밝혔다.
- 샘 알트만은 올해 3월 뉴욕타임즈 인터뷰에서 “오픈AI가 세계의 부의 대부분을 확보한 다음 사람들에게 재분배하는 게 목표”라고 밝힌 바 있다. 100조 달러까지 숫자를 거론했다고 한다.
우리 시대 오펜하이머.
- 트리니티 실험이 성공했을 때 오펜하이머는 이렇게 말했다. “나는 이제 죽음이요, 세상의 파괴자가 됐다(Now I am become Death, the destroyer of worlds).”
- 샘 알트만은 스스로를 오펜하이머에 여러 차례 비유했다. 오펜하이머와 생일이 같다는 이야기도 했다. 원자력을 감시하는 IAEA와 같은 국제 기구가 필요하다는 제안을 하기도 했다.
- 샘 알트만을 인터뷰한 뉴욕매거진은 “샘 알트만의 목표는 나쁜 사람들이 나쁜 인공지능을 만들기 전에 좋은 인공지능을 만들고 그 분야를 지배하는 것이었다”면서 “오픈AI는 ‘효율적인 이타주의자들’의 철학에 따라 연구 결과를 오픈 소스로 공개하기로 약속했고, 그들과 ‘가치가 일치하고(value aligned)’ ‘안전을 의식하는(safety conscious)’ 사람들이 일반 인공지능을 구현할 준비가 돼 있다면 그들과 경쟁하는 대신 그 프로젝트를 도울 것이라고 선언했다”는 설명이다.
- 국방부 장관을 지낸 헨리 키신저는 구글 CEO 출신의 에릭 슈미트와 함께 쓴 ‘AI 이후의 세계’에서 “핵무기는 국제 사회에서 인정받는 금지 조약이 있고 억지의 개념이 명확하게 정의돼 있지만 AI와 관련해서는 넘지 말아야 할 선을 누구도 합의한 바 없다”고 지적한 바 있다. “지금처럼 복잡한 전략적 기술적 문제에 봉착했는데 문제의 본질과 심지어 그 문제를 논의하는 데 필요한 어휘에 대해서도 이렇게 합의가 결여된 시대는 없었다”는 이야기다. 샘 알트만의 최근 발언을 보면 2021년에 출간된 이 책에서 아이디어를 얻었을 가능성이 크다.
- 뉴욕매거진은 샘 알트만이 일반론에 집착하고 있다고 지적했다. AI가 세상을 멸망시킬 수도 있다고 말하려면 구체적으로 무엇이 위험이고 어떻게 대처해야 하는지 설명해야 한다는 지적이다.
- 테크 라이터 조나단 사도프스키는 “샘 알트만은 ’규제해 달라’고 말하면서 ‘이것은 정말 복잡하고 전문적인 주제이므로 복잡하고 전문적인 기관이 필요하다’고 주장하지만, 그런 기관이 만들어지지 않을 것이라는 것을 잘 알고 있다”고 지적했다.
- “그는 자신을 니체가 말한 초인적인 존재로 보고 있다. 우리를 파괴하는 것을 창조할 것이고, 우리를 그것으로부터 구원할 것이다."
- 안전 엔지니어 하이디 클라프는 “시스템이 흑인을 차별하는 것조차 막을 수 없다면 인류를 파괴하는 걸 어떻게 막을 수 있겠느냐”고 반문했다. 못하는 게 아니라 안 하는 것이고 결국 선택의 문제라는 이야기다.
어떻게 될까.
- 진실을 알고 있는 사람이 너무 적고 다들 입을 다물고 있는 상태다.
- 기술의 발전 속도 못지 않게 그 위험과 통제가 중요한 쟁점으로 떠올랐다. 오픈AI의 갈등도 이 지점에서 촉발됐을 가능성이 크다. 얼라인먼트의 방향과 철학을 두고 대립했을 가능성도 있고 인공지능의 특이점이 임박했거나 이미 지났을 가능성도 배제할 수 없다.
- 샘 알트만은 오픈AI의 지분을 전혀 보유하고 있지 않다. 이 때문에 일부 투자자들이 투자를 꺼렸다는 이야기도 돌았다. 샘 알트만은 다른 CEO들이 흔히 하는 것과 달리 경영권을 보호하기 위한 아무런 장치도 두지 않았다. 갑작스러운 해고 통보에 별다른 반발 없이 쿨하게 떠난 건 자신감이 있기 때문일 수도 있고 애초에 지배구조가 그렇게 돼 있기 때문에 반발해 봐야 의미가 없다고 생각했을 수도 있다.
- 세마포는 “알트만은 다른 더 추악한 이유가 없는 한 새로운 회사를 설립할 가능성이 크다”고 전망했다. 막대한 자본을 조달하는 것도 어렵지 않을 거라는 이야기다.
- 세마포 기자 리드 알베르고티는 “AI의 선두 주자가 큰 타격을 입었고 이제 누가 왕좌를 차지할지 모르는 상황”이라고 분석했다. 구글과 아마존이 가장 기뻐할 거라는 이야기다.
- 마이크로소프트가 오픈AI를 필요로 하는 것보다 오픈AI가 마이크로소프트를 더 필요로 할 것이라는 분석도 흥미롭다. 오픈AI는 뛰어난 기술 기업이지만 마이크로소프트의 과감한 투자가 아니었으면 이 정도로 빠르게 성장하지 못했을 것이다. 하지만 오픈AI가 대체 불가능한 압도적인 기술 우위를 확보했다고 보기는 어려운 상황이다.
- 알베르고티는 “마이크로소프트는 지금이라도 오픈AI를 대체할 방법을 찾는 게 현명할 것”이라고 조언했다. 샘 알트만 없는 오픈AI에 시간을 낭비할 가치가 없다는 이야기다.
