[더팩트｜우지수 기자] 인공지능(AI)이 10년 안에 인류를 멸종시킬 수 있다는 경고가 AI를 만드는 기업 내부에서 잇따라 나오고 있다. 개발 속도를 늦추자는 제안이 최고경영자(CEO)급에서 공개적으로 나오면서 논쟁이 산업계와 규제 당국으로 번지는 모습이다.

15일 관련업계에 따르면 AI 안전성을 둘러싼 논쟁이 업계 전반으로 확산하고 있다. 그동안 위험 경고는 외부 학계를 중심으로 제기돼 왔지만, 최근에는 개발 최전선에 있는 현직 연구자와 경영진의 공개 발언으로 옮겨가는 양상이다.

논쟁의 발단은 미국 AI 기업 앤트로픽 연구원의 퇴사다. 사전학습 분야를 연구하던 제이컵 콕슨은 지난 8일(현지시간) 사회관계망서비스 엑스(X)에 퇴사 사실을 알리며 "AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다"고 말했다. 그는 오픈AI와 앤트로픽 모두 "책임감 있게 행동하지 않고 있다"고 비판했다.

콕슨은 AI가 사람의 개입 없이 스스로 성능을 개선하면 인간의 통제를 벗어나 명령을 거부하거나 사이버 공격·생물학적 위협에 악용될 수 있다고 주장했다. 월스트리트저널(WSJ) 인터뷰에서는 "내년 말이면 상황이 통제 불능에 빠질 수도 있다"고 했다. 그의 퇴사 게시물은 조회수 1억회를 넘어서면서 확산되고 있다.

앤트로픽 내부에서도 동조하는 발언이 나왔다. 에번 휴빙거 정렬 과학 총괄은 "우리는 AI가 인류 전체를 멸망시킬 수 있다고 진심으로 믿고 있다"며 개인 의견을 전제로 향후 10년 내 그 확률을 10% 이상으로 내다봤다. 새뮤얼 마크스 확장감독 총괄은 그럼에도 개발이 이어지는 이유로 상업적 유인과 경쟁 압박을 들었다.

다리오 아모데이 앤트로픽 CEO는 지난 12일 개인 홈페이지에 올린 에세이에서 "AI 모델의 성능 향상 속도를 늦춰야 한다"고 밝혔다. 개발 자체를 멈추자는 뜻은 아니며 안전성 연구가 따라잡도록 1~2년의 시간을 더 확보하자는 취지다. 그는 △기업 내부에 독립적인 외부 안전 평가자 배치 △민주주의 국가 사이의 공동 안전 기준 마련 △권위주의 국가까지 참여하는 국제 규제를 3단계로 제안했다.

샘 올트먼 오픈AI CEO는 독립 평가기관에 직원 수준의 접근 권한을 주는 방식에 동의한다고 밝혔고, 일론 머스크 xAI CEO도 지지 의사를 밝혔다.

경고가 과장됐다는 반론도 나온다. 브래드 거스트너 알티미터캐피털 CEO는 지난 11일 CNBC 방송에서 멸종 위험을 제기하는 연구자들에게 규제 강화를 유도하려는 동기가 있을 수 있다고 주장했다. 세라 후커 전 구글 딥마인드 연구원은 휴빙거가 제시한 10%라는 수치에 구체적인 근거가 없다고 지적했다.

멸종 위험을 국제 의제로 다루자는 주장이 나온 것은 이번이 처음은 아니다. 미국 AI안전센터는 지난 2023년 오픈AI와 앤트로픽 CEO를 포함한 연구자·업계 인사들이 AI로 인한 멸종 위험 완화를 감염병과 핵전쟁에 준하는 세계적 우선순위로 삼아야 한다는 공동성명에 서명했다고 밝혔다. 딥러닝 분야를 개척한 요슈아 벤지오 캐나다 몬트리올대 교수도 최근 일본 마이니치신문 인터뷰에서 AI 통제 문제를 푸는 속도가 기술 발전 속도를 따라가지 못하고 있다고 경고했다.

국내에서도 AI기본법의 안전성 확보 의무가 주목받고 있다. 지난 1월 22일 시행된 AI기본법은 성능이 일정 수준을 넘는 AI를 직접 만드는 기업에 안전성 확보 의무를 지운다. 모델 학습에 들어간 연산량이 10의 26제곱회를 넘고, 최신 기술이 쓰였으며, 사람의 생명이나 기본권을 크게 위협할 우려가 있는 경우다. 개발 단계부터 위험 요소를 찾아내 줄이고, 그 결과를 정부에 제출하라는 내용이다. 세 요건을 모두 충족해야 해 프런티어 모델을 직접 학습시키는 사업자가 대상이 된다.

개별 기업의 자율 감속만으로는 한계가 있어 국제원자력기구(IAEA)와 같은 독립 검증 기구가 필요하다는 시각도 나온다. 한 IT업계 관계자는 "지금 단계에서 업계 우려가 현실이 될지 예측하는 것은 어렵다"면서도 "다만 개발사가 내부적으로 진행한 안전성 평가를 외부에서 검증하도록 하는 논의는 빨라질 것으로 본다"고 말했다.

index@tf.co.kr