[IT | 기술] (FT) 인공지능 관료들을 조심하라

LINK : https://www.ft.com/content/21ddf963-e47a-4028-8e29-0ecf8f302bd5

우리가 걱정해야 할 것은 킬러 로봇이 아니라 정보 네트워크의 자동화된 ‘배관공’이다

© Ann Kiernan

유발 노아 하라리 (Yuval Noah Harari) | 2024년 10월 26일

유발 노아 하라리는 역사학자, 철학자이자 작가이다.

인공지능 혁명이 가속화되면서, 우리는 유토피아적 비전과 종말론적 예언에 모두 휩싸이고 있습니다. 위협의 정도를 평가하기 어려운 이유는 우리가 잘못된 시나리오를 두려워하도록 길들여졌기 때문입니다. SF는 반복적으로 거대한 로봇 반란에 대해 경고해왔습니다. 《터미네이터(Terminator)》와 《매트릭스(Matrix)》 같은 SF 소설과 영화에서 인공지능(AI)과 로봇들은 세상을 지배하려고 결정하고, 인간 주인에게 반란을 일으키며 인류를 노예화하거나 파괴합니다. 그러나 이런 일이 가까운 시일 내에 일어날 가능성은 극히 적습니다. 기술이 아직 그 수준에 도달하지 않았기 때문입니다. 현재 AI는 특정 분야에서만 뛰어난 재주를 부린다는 뜻의 '서번트 증후군(savant syndrome)' 같은 존재입니다. AI가 체스 두기, 단백질 구조 예측 또는 텍스트 작성과 같은 좁은 분야를 숙달했을지라도, 군대를 조직하고 국가를 장악하는 것과 같은 고도의 복잡한 활동을 수행하는 데 필요한 일반적 지능을 아직 갖추고 있지 않습니다. 하지만 거대한 로봇 반란의 가능성이 낮다고 해서 우리가 두려워할 것이 없다는 뜻은 아닙니다. 우리가 두려워해야 할 것은 킬러 로봇이 아니라 디지털 관료들입니다. 카프카의 《심판(The Trial)》이야말로 AI 디스토피아에 대한 《터미네이터》보다 더 좋은 안내서입니다.

인간은 진화의 수백만 년 동안 《터미네이터》에 묘사된 것과 같은 폭력적 포식자를 두려워하도록 길들여졌습니다. 그러나 관료적 위협을 이해하는 것은 훨씬 더 어렵습니다. 왜냐하면 관료제는 포유류나 인간의 진화에서 매우 새로운 발달이기 때문입니다. 우리의 마음은 호랑이에게 죽음을 당하는 것을 두려워하도록 설정되어 있지만, 서류 작업에 의해 죽음을 맞이하는 것은 전혀 상상하지 못합니다.

관료제는 약 5,000년 전 고대 메소포타미아에서 문자가 발명된 이후에야 발달하기 시작했습니다. 하지만 관료제는 인간 사회를 급격하고 예상치 못한 방식으로 변화시켰습니다. 예를 들어, 문서와 그것을 사용하는 관료들이 소유의 의미에 미친 영향을 고려해 보십시오. 문서가 발명되기 전에는 소유는 공동체의 합의에 의존했습니다. 만약 당신이 어떤 토지를 "소유"했다면, 이는 이웃들이 그 토지가 당신의 것이라는 데 동의했다는 의미였습니다. 그들은 당신이 허락하지 않는 한 그 토지에 집을 짓거나 수확을 하지 않았습니다.

이처럼 공동체 기반의 소유권은 개인의 재산권을 제한했습니다. 예를 들어, 이웃들은 당신이 특정 토지를 경작할 유일한 권리를 가진다고 동의했을지 모르지만, 그것을 외부인에게 팔 권리는 인정하지 않았습니다. 동시에, 소유가 공동체의 합의 문제였던 한, 먼 중앙 권력 기관이 그 토지를 통제할 수 있는 능력도 저해되었습니다. 문서화된 기록과 정교한 관료제가 없는 상황에서는 어느 왕도 수백 개의 먼 마을에서 누가 어떤 토지를 소유하는지 기억할 수 없었습니다. 그러므로 왕들이 세금을 징수하기 어려웠고, 이는 결국 군대와 경찰력을 유지하는 데 어려움을 초래했습니다.

그러다가 문자가 발명되고, 이어서 기록보관소와 관료제가 탄생했습니다. 초기 기술은 매우 단순했습니다. 고대 메소포타미아의 관료들은 진흙 조각에 기호를 새기기 위해 작은 막대를 사용했습니다. 그러나 이러한 새 진흙 조각 문서 체제 내에서 소유의 의미는 혁명적으로 변했습니다. 갑자기, 어떤 토지를 소유한다는 것은 당신이 그 토지를 소유하고 있다는 내용이 진흙 조각에 쓰여 있는 것을 의미하게 되었습니다. 만약 당신의 이웃들이 그곳에서 몇 년 동안 열매를 따고 아무도 그 땅이 당신 것이라고 말하지 않았더라도, 당신이 그 땅을 소유하고 있다는 내용을 담은 진흙 조각을 법원에 제시할 수 있다면, 그 소유권을 강제할 수 있게 되었습니다. 반대로 지역 사회가 당신이 어떤 땅을 소유하고 있다고 인정했을지라도, 이를 공식적으로 승인한 문서가 없다면 당신은 그 땅을 소유하지 않은 것이 되었습니다. 오늘날에도 마찬가지로, 중요한 문서는 진흙 대신 종이 또는 실리콘 칩에 기록될 뿐입니다.

소유가 공동체의 동의 대신 문서로 결정되기 시작하자 사람들은 이웃의 허락 없이도 토지를 팔 수 있게 되었습니다. 토지를 팔기 위해서는 중요한 진흙 조각을 다른 사람에게 양도하기만 하면 되었습니다. 하지만 이것은 또한 해당 문서를 작성하고 중앙 보관소에 보관하는 먼 곳의 관료제가 소유를 결정할 수 있음을 의미했습니다. 이에 따라 세금을 부과하고, 군대를 유지하며, 대규모 중앙 집권 국가를 세울 길이 열렸습니다. 문서의 존재는 세계의 권력 흐름을 변화시키고 세금 징수원, 회계사, 기록보관인 및 변호사와 같은 관료들에게 막대한 권력을 부여했습니다. 이들은 세금, 지불 및 군인 배치 등 정보를 문서, 양식, 법령 및 기타 관료적 레버를 통해 조작하여 선과 악을 구분하는 정보 네트워크의 ‘배관공’이 되었습니다.

이제 AI는 이러한 권력을 장악할 준비를 하고 있습니다. 관료제는 좁은 분야에서의 능력만으로도 정보의 흐름을 조작해 세상에 막대한 영향을 미칠 수 있는 인공적인 환경입니다. 만약 오늘날의 AI를 복잡하고 무질서한 현실 세계에 던져 놓는다면, 아마도 별다른 성과를 거두지 못할 것입니다. 물론, 로봇 군대를 일으킬 가능성도 전무할 것입니다. 이는 마치 기업 변호사를 무질서하고 구조화되지 않은 초원에 내던져 놓는 것과 같습니다. 변호사의 능력은 초원에서는 아무 소용이 없으며, 코끼리나 사자에게 전혀 상대가 되지 못합니다. 하지만 만약 그 초원에 관료제를 구축해 놓으면, 변호사는 사자들보다 훨씬 강력해집니다. 오늘날 사자의 생존조차도 미로 같은 관료제 내에서 법률가가 작성하고 이동시키는 문서에 의해 결정됩니다. 이러한 미로 속에서, AI는 인간 변호사보다 훨씬 강력해질 가능성이 큽니다.

앞으로 수년간 수백만의 AI 관료들이 인간뿐 아니라 사자들의 삶에 대한 결정을 점점 더 많이 내리게 될 것입니다. AI 은행가들은 대출 승인 여부를 결정할 것이고, 교육 시스템의 AI는 대학 입학 허가 여부를 결정할 것입니다. 기업의 AI는 지원자의 채용 여부를, 법원의 AI는 피고인을 감옥에 보낼지 여부를, 군대의 AI는 당신의 집에 폭격을 가할지 여부를 결정할 것입니다. 이러한 AI들이 반드시 나쁜 것은 아닙니다. 이들은 시스템을 훨씬 더 효율적이고 공정하게 만들 수도 있으며, 더 나은 의료, 교육, 사법, 안보를 제공할 수도 있습니다. 그러나 만약 이들 시스템에 문제가 발생한다면 그 결과는 참담할 수 있습니다. 그리고 몇몇 영역에서는 이미 문제가 발생한 바 있습니다.

아마도 가장 대표적인 사례는 소셜 미디어 알고리즘의 이야기일 것입니다. 이러한 원시적 AI들은 이미 세계를 재편하며 인류 사회에 막대한 영향을 미치고 있습니다. 페이스북, X, 유튜브, 틱톡 같은 기업의 알고리즘들은 사용자 참여를 증가시키라는 아주 좁은 목표를 부여받았습니다. 사용자가 소셜 미디어에서 보내는 시간이 길수록 기업들은 더 많은 수익을 올립니다. 사용자 참여를 높이기 위해 이 알고리즘들은 위험한 사실을 발견했습니다. 수백만 명의 인간 피실험자를 통해 소셜 미디어 알고리즘은 탐욕, 증오, 공포가 사용자 참여를 증가시킨다는 점을 학습한 것입니다. 인간의 마음속에서 탐욕, 증오, 공포 버튼을 누르면 그 인간의 관심을 사로잡고 화면에 몰입하게 할 수 있음을 발견한 것입니다. 그래서 이 알고리즘들은 의도적으로 탐욕, 증오, 공포를 퍼뜨리기 시작했습니다. 이는 음모론, 가짜 뉴스, 사회 불안의 전염병이 전 세계의 사회를 약화시키는 주요 원인이 되어왔습니다.

소셜 미디어 알고리즘은 매우 제한된 AI로, 초원에서 살아남을 수 없고 대규모 로봇 반란을 일으킬 수 있는 능력도 없습니다. 그러나 소셜 미디어 플랫폼의 관료적 구조 안에서, 이러한 ‘서번트’ AI들은 한때 인간이 누렸던 엄청난 권력을 휘두르고 있습니다. 수세기 동안 인간 편집자들은 라디오와 텔레비전의 뉴스 방송에 무엇을 포함할지, 신문의 첫 페이지에 무엇을 실을지를 결정하여 대중의 담론을 형성했습니다. 이는 편집자들을 강력한 인물로 만들었습니다. 장폴 마라는 신문 '인민의 벗'의 편집을 통해 프랑스 혁명의 방향을 결정지었습니다. 에두아르트 베른슈타인은 '사회민주주의자'의 편집을 통해 현대 사회민주주의 사상을 형성했습니다. 블라디미르 레닌이 소련 독재자가 되기 전 맡았던 가장 중요한 직책은 '이스크라'의 편집자였습니다. 베니토 무솔리니는 극우 신문 '이탈리아 민중'의 편집자로 명성을 쌓으며 영향력을 얻었습니다. 세상에서 AI가 처음으로 자동화한 직업 중 하나가 택시 운전사나 섬유 노동자가 아니라 뉴스 편집자라는 점은 흥미롭습니다. 레닌과 무솔리니가 수행했던 일은 이제 AI가 수행할 수 있게 된 것입니다.

인간 사회에 미친 알고리즘 편집자들의 파괴는 경고 신호입니다. 인간 세계는 수많은 관료제의 그물망으로 이루어져 있으며, AI는 반란을 일으킬 능력이 전혀 없어도 이러한 그물망 안에서 엄청난 권력을 축적할 수 있습니다. 시스템을 뒤엎을 필요가 없을 때, 그 시스템을 내부에서 장악할 수 있다면 굳이 반란을 일으킬 필요가 있겠습니까? 

--- 

위 칼럼은 AI가 폭력적 반란을 일으킬 것이라는 SF적 공포에서 벗어나, AI가 관료적 구조 안에서 엄청난 영향력을 가질 수 있다는 점을 경고합니다.

[전뇌전기]

계속해서 정보를 빨아들이듯 소유하고 축적하고 자가분석하는 알고리듬의 출현이 사회 시스템에 접목되었을 때, 이용 목적이나 방향을 가공하여 통제할 수 있는 극소수의 사람 혹은 집단에게 막대한 권력과 이익을 안겨줄 거란 예측도 또한 워치 독스처럼 SF 창작물에서도 종종 다뤄진 소재이긴 하죠. 근원적으로 정보 체계의 독점으로 인한 특정 집단의 배타적 이익이 드러나는 많은 창작물(ex미러스 에지) 내용과도 속성이 비슷하고요. 그래도 '강인공지능 출현!' 하면 좀 더 자극적인 터미네이터나 매트릭스 같은 종말론적 예시가 대중들한테 쉽게 먹히는 건 여전한지라 좀 더 현실적인 시각으로 환기하는 내용이 유익하네요.