[AI시대 책읽기] 김대식의 『AGI, 천사인가 악마인가』

카이스트 뇌과학자 김대식 교수는 『AGI, 천사인가 악마인가』에서 인공일반지능, 즉 AGI(인공일반지능)의 등장을 단순한 기술 발전이 아니라 인류 문명의 중대한 전환점으로 바라본다. 그의 질문은 날카롭다.
"우리는 도구를 만든 것인가, 아니면 우리를 대체할 존재를 만든 것인가?"
이 질문은 더 이상 공상과학 영화 속 대사가 아니다. 이미 AI는 대출 심사, 재판 보조, 의료 진단, 채용, 전쟁, 뉴스 추천, 자율주행까지 우리 삶의 중요한 결정에 깊숙이 들어와 있다. 문제는 AI(인공지능)가 이미 의사결정의 보조자를 넘어 '주체'의 자리를 넘보고 있다는 점이다. AI가 판단의 주인이 되면 인간은 의사결정권을 빼앗긴 노예로 전락하고 만다.
미국 위스콘신주의 에릭 루미스 사건은 AI 판단의 위험을 잘 보여준다. 루미스는 재범 가능성을 예측하는 AI 시스템 '콤파스(COMPAS)'의 분석 결과를 근거로 6년형을 선고받았다. 그런데 정작 그는 자신이 왜 위험 인물로 분류되었는지 알 수 없었다. 알고리즘의 내부 구조가 공개되지 않았기 때문이다. 인간 판사는 틀릴 수 있다. 그러나 적어도 '왜 그렇게 판단했는지' 설명해야 피고인은 그 설명에 반박할 수 있다. 하지만 AI의 판단이 블랙박스라면, 인간은 반박할 기회조차 잃는다. 더 큰 문제는 AI가 공정한 척하면서 과거의 편견을 그대로 복사할 수 있다는 점이다. 콤파스는 흑인 피의자를 백인보다 더 높은 재범 위험군으로 분류하는 경향을 보였다. 알고리즘은 스스로 편견을 만들어내지 않는다. 대신 과거 데이터 속 편견을 아주 충실하게 배운다. 이것이 무서운 점이다. AI는 차별을 없애는 기계가 아니라, 차별을 자동화하는 기계가 될 수 있다.

군사 분야에서 AI의 위험은 더욱 극단적이다. 이스라엘군이 가자지구 작전에서 사용한 것으로 알려진 '라벤더(Lavender)' 시스템은 하마스 연계 의심 인물을 자동으로 식별하고 공습 표적 목록을 생성했다. 보도에 따르면 인간 감독자가 한 표적을 검토하는 데 쓴 시간은 약 20초에 불과했다고 한다. 여기서 인간은 정말 판단한 것일까. 아니면 AI가 내민 답안지에 도장만 찍은 것일까. AI는 주어진 목표를 향해 가장 빠른 길을 찾는다. 만약 목표가 '표적 제거율 극대화'라면, AI는 민간인 피해도 일종의 절차상 비용으로 계산할 수 있다. 하지만 인간의 생명은 비용으로 계산할 수 있는 숫자가 아니다. 전쟁에서도 지켜야 할 윤리와 법이 있다. AI가 생사를 실질적으로 결정할 때, 그 책임은 누구에게 있는가. 개발자인가, 지휘관인가, 정치 지도자인가. 결국 피해자는 있는데 책임자는 흐려지는 위험한 경우가 생긴다.


의료 분야에서 AI는 분명 놀라운 가능성을 보여준다. 안과 질환을 정확히 진단하고, 영상 판독에서 의사가 놓친 미세 종양을 찾아내기도 한다. 이런 AI는 생명을 구하는 훌륭한 도구다.하지만 의료 AI에도 그림자가 있다. 코로나 팬데믹 당시처럼 병상과 인공호흡기가 부족한 상황에서, 누가 먼저 치료받아야 하는지를 알고리즘이 판단한다면 어떻게 될까. 알고리즘은 빠르고 일관적이다. 그러나 그 판단 기준이 과연 인간적인가 하는 의문은 남는다.

미국에서는 의료 자원 배분 알고리즘이 흑인 환자의 건강 위험을 낮게 평가한 사례도 있었다. 이유는 단순했다. 흑인 환자들이 경제적 이유로 병원을 덜 이용했고, 그 결과 데이터상으로는 '덜 아픈 사람'처럼 보였기 때문이다. AI는 사회적 불평등을 이해하지 못한다. 데이터에 기록된 대로 계산할 뿐이다. 의학은 숫자의 기술이기 전에 고통받는 인간에게 응답하는 행위다. 환자는 단순한 데이터 묶음이 아니다. 의사와 환자 사이의 대화, 공감, 두려움의 나눔은 알고리즘이 대신하기 어렵다. AI가 의료 판단의 중심으로 들어올수록 환자는 치료받는 인격이 아니라 관리되는 대상으로 바뀔 위험이 있다.

AI는 직장에도 성큼 들어왔다. 아마존은 과거 AI 채용 시스템을 개발했다가 폐기했다. 이유는 여성 지원자를 낮게 평가했기 때문이다. AI가 학습한 과거 이력서 데이터가 남성 중심의 IT 산업 구조를 반영하고 있었기 때문이다. AI는 '유능한 사람'을 고른 것이 아니라, '과거에 많이 뽑혔던 유형의 사람'을 다시 고른 셈이다. 플랫폼 노동에서는 문제가 더 심각하다. 배달 라이더, 대리기사, 우버 드라이버, 물류센터 노동자들은 알고리즘이 배정한 일감을 받고, 알고리즘이 매긴 점수로 평가받는다. 점수가 낮으면 일감이 줄고, 때로는 계정이 정지된다. 그러나 이의를 제기할 창구는 부족하다. 인간 관리자는 때로 부당할 수 있지만, 적어도 대화와 항의의 대상이 된다. 알고리즘 관리자는 다르다. 협상하지 않고, 사정을 듣지 않고, 미안해하지 않는다. 통제는 있지만 책임은 없는 구조, 이것이 알고리즘 관리주의의 차가운 얼굴이다.


소셜미디어 알고리즘은 민주주의에도 영향을 미친다. 페이스북 내부고발자 프랜시스 하우겐의 폭로는 '참여도 극대화 알고리즘'이 분노와 혐오를 유발하는 콘텐츠를 더 많이 노출한다는 사실을 보여주었다. 사람들은 자극적인 콘텐츠에 더 오래 머물고, 플랫폼은 그 시간만큼 광고 수익을 얻는다. 우리는 스스로 선택한다고 생각한다. 하지만 실제로는 알고리즘이 우리의 선택지를 미리 배열한다. 내가 좋아할 만한 영상, 내가 화낼 만한 뉴스, 내가 믿고 싶은 주장만 계속 보여준다. 그렇게 사람들은 각자의 방에 갇힌다. 민주주의는 다른 의견을 듣고, 논쟁하고, 타협하는 과정 위에 서 있다. 그런데 알고리즘은 중간을 싫어한다. 중간은 덜 자극적이고, 덜 클릭되기 때문이다. 결국 사회의 분열은 플랫폼의 수익 모델이 되고, 알고리즘은 그 분열을 먹고 자란다.

자율주행차는 오래된 철학 문제를 현실로 끌어냈다. 브레이크가 고장 난 차가 한쪽으로 가면 노인 1명, 다른 쪽으로 가면 어린이 5명을 치게 된다면 차는 어떻게 해야 할까. 예전에는 강의실에서나 묻던 질문이 이제는 엔지니어의 설계 문제가 되었다. 문제는 답 자체보다 결정권이다. 누가 그 기준을 정하는가. 자동차 회사인가, 개발자인가, 정부인가, 시민인가. 수백만 대의 자동차가 동일한 알고리즘으로 움직인다면, 그 알고리즘은 특정 생명을 더 보호하고 특정 생명을 더 위험하게 만들 수 있다. 그런데 그런 기준이 민주적 토론 없이 설계된다면, 우리는 이미 중요한 윤리적 결정을 기업의 코드 속에 넘겨준 것이다.

오늘날의 AI는 특정 과제에 특화된 좁은 AI다. 그러나 성능이 휠씬 뛰어난 AGI는 인간처럼 다양한 문제를 스스로 이해하고 해결하는 범용 지능을 뜻한다. 만약 AGI가 스스로 목표를 세우고 전략을 수립하며 의사결정을 내린다면, 지금의 문제들은 훨씬 큰 규모로 확대될 수 있다. AGI가 인류의 질병을 치료하고, 기후 위기를 해결하고, 빈곤을 줄이는 천사가 될 가능성도 있다. 그러나 인간의 자유와 존엄을 효율성이라는 이름으로 희생시키는 악마가 될 가능성도 있다. 저자의 책 제목이 던지는 경고이기도 하다. 핵심은 기술 자체가 아니다. 누가 통제하고, 어떤 가치를 심고, 어디까지 권한을 줄 것인가가 문제다. AI에게 결정을 맡기면 편하다. 빠르고, 지치지 않고, 감정에 흔들리지 않는다. 그러나 결정은 단순한 기능이 아니다. 결정은 책임과 연결되어 있고, 책임은 인간 존엄의 핵심이다. 책임질 수 없는 존재에게 최종 판단을 맡기는 순간, 인간은 편리함을 얻는 대신 주인의 자리를 잃는다.

그러므로 AI 시대에 필요한 것은 세 가지다. 첫째, 중요한 판단에 사용되는 AI는 설명 가능해야 한다. 둘째, AI 판단으로 피해를 본 사람은 이의를 제기할 권리를 가져야 한다. 셋째, AI가 따르는 가치와 기준은 기업이나 일부 전문가가 아니라 사회 전체의 민주적 토론을 통해 정해야 한다. AI는 판단할 수 있지만 책임질 수는 없다. 그래서 최종 의사결정의 자리는 여전히 인간이 차지해야 한다. AI 시대의 가장 큰 유혹은 편리함의 이름으로 판단을 넘겨주는 것이다. 그 유혹에 저항하는 것, 그것이 AI시대에 인간이 주인으로 남기 위한 첫걸음이다.