전력 대비 토큰 처리량 40% 개선
[더팩트ㅣ김정산 기자] 마이크로소프트(MS)가 자체 반도체 투입을 확대한다. 인공지능(AI) 서비스 운영에 필요한 연산 비용과 전력 부담을 줄이기 위해서다. AI 모델을 학습 단계에선 기존 반도체 업체와 협력을 유지하지만, 추론 단계에선 자체 칩 활용을 늘려 인프라 운영 효율을 높이겠다는 전략이다.
12일(현지시간) CNBC 등 주요 외신에 따르면 MS는 3세대 AI 가속기인 '마이아 300'을 공개했다. 오는 2027년부터 생산과 데이터센터 배치를 시작할 계획이다.
자체 AI 반도체는 추론 작업에 활용할 방침이다. 추론은 AI가 질문에 답하거나 코드를 작성하는 등 실제 작업을 수행하는 과정이다. 서비스 이용량이 증가할수록 연산 비용도 커진다. MS는 해당 영역에 자체 칩을 적용해 엔비디아 그래픽처리장치(GPU)에 집중된 의존 구조를 개선하겠다는 구상이다.
마이아 300은 데이터센터 전체의 처리 효율을 고려해 설계했다. 주요 GPU 기반 시스템과 비교해 전력 사용량 1메가와트당 처리하는 AI 토큰이 약 40% 많다는 설명이다.
랙 한 대에 가속기 96개를 넣었다. 올해 출시한 마이아 200과 비교하면 탑재 수량을 두 배로 늘린 것이다. MS는 랙당 토큰 처리량이 최대 7배 증가한다고 강조했다.
반도체 제조에는 기능별 공정을 차등 적용했다. 복수의 반도체 조각을 결합하는 칩렛 구조를 통해 성능과 제조 비용 사이의 균형을 맞추려는 취지다. 연산을 담당하는 칩렛에는 대만 TSMC의 2나노미터급 공정을 투입하고 기능이 다른 반도체는 상대적으로 비용 부담이 낮은 공정을 적용하는 방식이다.
마이아 200을 통해 수집한 데이터도 활용된다. 마이아 200은 미국과 유럽 등 데이터센터에서 코파일럿을 비롯한 서비스와 오픈AI 모델 구동에 사용하고 있다. 이 과정에서 얻은 운영 경험을 신제품 설계와 인프라 확장에 반영할 예정이다.
이번 발표는 AI 인프라 투자 규모가 커지는 가운데 이뤄졌다. 데이터센터와 서버에 대규모 자금을 투입하는 빅테크 기업들은 반도체 확보뿐 아니라 전력 효율과 운영비 관리에도 관심을 쏟고 있다. 최근에는 구글의 TPU와 아마존의 트레이니움 등 자체 칩을 개발하는 흐름도 감지된다.
일각에서는 마이아 300의 정확한 효율성 수치를 놓고 관망하는 분위기다. MS가 공개한 자체 비교 결과인 만큼 비교 대상 GPU 시스템의 구체적인 모델이 공개되지 않아서다. 경쟁 제품과의 성능 차이를 객관적으로 판단하기에는 어렵다는 지적이다.
kimsam119@tf.co.kr
- 발로 뛰는 <더팩트>는 24시간 여러분의 제보를 기다립니다.
- · 카카오톡: '더팩트제보' 검색
- · 이메일: jebo@tf.co.kr
- · 뉴스 홈페이지: https://talk.tf.co.kr/bbs/report/write
- · 네이버 메인 더팩트 구독하고 [특종보자→]
- · 그곳이 알고싶냐? [영상보기→]