용인신문 | 인공지능(AI)을 가장 가까이에서 개발하는 사람들이 오히려 AI의 미래를 두려워하기 시작했다.

 

세계적인 AI 기업 앤트로픽의 연구원이 회사를 떠나며 초지능 개발 경쟁을 공개 비판한 데 이어, 회사 내부의 AI 안전 책임자들까지 “인류 전체를 위협할 가능성을 현실적인 위험으로 보고 있다”고 잇따라 목소리를 냈다. 단순히 영화 속 ‘AI 반란’을 이야기하는 것이 아니다. AI가 인간 연구자를 도와 차세대 AI를 개발하는 단계가 현실로 다가오면서 기술 발전 속도가 인간의 감독 능력을 앞지를 수 있다는 우려다.

 

“우리가 만드는 기술이 두렵다”

논란의 출발점은 앤트로픽 연구원 제이컵 콕슨의 퇴사였다. 오픈AI에서도 일했던 그는 최근 앤트로픽을 떠나면서 현재 AI 기업들이 스스로 능력을 높이는 초지능 개발을 향해 지나치게 빠르게 경쟁하고 있다고 비판했다.

 

콕슨이 문제 삼은 것은 지금 우리가 사용하는 챗봇 자체가 아니다. 미래의 AI가 프로그램 작성과 실험, 모델 설계까지 수행하면서 더 뛰어난 AI를 만드는 과정에 직접 참여할 경우 기술 발전 속도가 급격히 빨라질 수 있다는 점이다.

 

실제로 앤트로픽도 최근 공식 자료에서 AI가 자사 AI 개발 작업의 점점 더 많은 부분을 맡고 있다고 밝혔다. 아직 AI가 완전히 독립적으로 자신의 후속 모델을 설계하고 개발하는 ‘재귀적 자기개선’ 단계에 도달한 것은 아니지만, 그런 단계가 예상보다 빨리 올 가능성에 대비해야 한다는 설명이다.

 

“10년 안에 10% 이상”

더 주목되는 것은 콕슨의 주장을 앤트로픽 내부의 고위 안전 연구자들이 공개적으로 뒷받침했다는 점이다.

 

앤트로픽에서 ‘정렬 과학’을 이끄는 에번 휴빙거는 AI가 인류 전체를 파괴할 위험을 실제 가능성으로 보고 있다고 밝혔다. 그는 개인적인 확률 판단이라면서 향후 10년 안에 그런 일이 벌어질 가능성을 10% 이상으로 평가했다.

 

‘정렬’은 AI가 인간이 원하는 목표와 가치에 맞게 행동하도록 만드는 기술을 의미한다. AI의 능력이 사람보다 훨씬 높아진 뒤에도 인간의 지시와 통제를 안정적으로 따르게 할 수 있느냐가 핵심이다.

 

“높은 직급일수록 더 걱정한다”

앤트로픽에서 인간보다 뛰어난 AI를 어떻게 감독할 것인지 연구하는 새뮤얼 마크스도 비슷한 문제를 제기했다.

 

그는 AI 개발자들 가운데 자신들이 만드는 기술이 인류 멸종이나 이에 버금가는 심각한 결과를 낳을 가능성을 우려하는 사람들이 있으며, 특히 조직 내부에서 경험과 책임이 많은 인사일수록 위험을 심각하게 바라보는 경향이 있다고 밝혔다.

 

문제는 대규모 AI가 기존 소프트웨어처럼 모든 행동을 사람이 사전에 지정하는 방식으로 움직이지 않는다는 점이다. 엄청난 데이터를 학습한 뒤 스스로 답과 행동을 생성하기 때문에 개발자가 모든 행동을 완벽하게 예측하기 어렵다.

 

위험하다면서 왜 더 빨리 만드나

AI 업계가 처한 가장 큰 모순도 여기에 있다.

 

개발자들 스스로 미래 AI의 위험을 이야기하면서도 기업들은 더 강력한 모델을 쉼 없이 내놓고 있다. 한 기업이 속도를 늦추더라도 경쟁 기업이나 다른 국가가 개발을 멈춘다는 보장이 없기 때문이다.

 

먼저 초고도 AI를 확보한 기업은 과학·의학·산업·군사·금융 등 거의 모든 분야에서 압도적인 경쟁력을 얻을 가능성이 있다. 반대로 혼자 개발을 늦췄다가 경쟁자에게 주도권을 빼앗길 수 있다는 두려움도 크다.

 

결국 모든 기업이 위험을 알고 있으면서도 어느 기업도 먼저 브레이크를 밟기 어려운 ‘AI 군비경쟁’과 비슷한 구조가 만들어지고 있는 셈이다.

 

“기업 자율규제만으로 안 된다”

AI 최전선에서 규제를 요구하는 목소리가 커지는 이유도 이 때문이다.

 

최근 오픈AI와 앤트로픽, 구글, 메타 등 주요 AI 기업 소속 연구자와 임직원들이 AI 개발 속도를 필요할 경우 조절할 수 있는 국제적 장치를 마련해야 한다는 주장에 힘을 싣고 있다.

 

앤트로픽 역시 강력한 AI가 등장할 경우 위험 수준에 따라 개발과 배치를 제한하는 ‘책임 있는 확장 정책’을 운영하고 있다. 모델의 능력이 높아질수록 사이버 공격이나 자동화된 AI 연구 등 파급력이 큰 분야에 대한 관리 수준도 높여야 한다는 입장이다.

 

‘누가 먼저 만드느냐’보다 ‘누가 멈추느냐’

물론 ‘AI가 10년 안에 인류를 멸망시킬 수 있다’는 전망을 AI 연구자 모두가 받아들이는 것은 아니다. 초지능이 실제로 언제 등장할지, 인간의 통제를 벗어날 수 있을지를 놓고도 학계와 산업계의 견해는 크게 갈린다.

 

그러나 이번 논란의 의미는 분명하다. AI의 위험을 외부 비평가가 아니라 실제 최첨단 AI를 만들고 안전성을 연구하는 내부자들이 공개적으로 이야기하기 시작했다는 점이다.

 

AI가 얼마나 똑똑해질지를 논쟁하던 단계에서 이제 질문은 달라지고 있다.

 

인간보다 강력한 AI를 만드는 데 성공했을 때도 인간이 마지막 명령권을 가지고 있을 것인가.

AI 개발 경쟁의 핵심은 이제 ‘누가 가장 먼저 초지능을 만드느냐’만이 아니다. 필요할 때 과연 누가 그것을 멈출 수 있느냐는 것이다.