지난달 28일(현지시간) 미국 텍사스주 오스틴. 시내 중심가에서 차에 몸을 맡긴 지 25분 정도 지나자 아마존웹서비스(AWS) 반도체 연구소 품질보장(QA) 센터가 눈앞에 펼쳐졌다. 실제 운영 중인 데이터센터 공간 일부를 빌려 아마존이 자체 설계한 인공지능(AI) 반도체 ‘트레이니움2’가 탑재된 서버를 구동하는 곳이다. 일종의 미니 데이터센터인 셈이다. AWS는 전 세계 7개국 미디어를 이번 투어에 초청했는데, 한국 매체 중에서는 매일경제가 유일하게 참석했다.
기자가 방문한 QA센터는 현재 서버 2대만 실제 작동되고 있었음에도 불구하고 냉각기(팬) 소음이 커 옆 사람과도 대한전선목표가 대화를 이어가기 어려울 정도였다. 열이 빠져나가는 서버 뒤쪽에 서자 뜨거운 바람이 얼굴에 확 느껴졌다. 이 공간을 실제 서버로 가득 채우고 AI 학습이 이뤄질 경우 이곳은 오븐에 비교할 수 있을 만큼 뜨거워진다고 AWS 관계자는 설명했다. 이 때문에 열을 효과적으로 외부로 빼내는 것과 서버에 탑재된 AI 반도체의 저전력 성능이 핵심 기술로 통한다. 무료릴게임 챗GPT 같은 생성형 AI 모델은 이 같은 서버 수백대로 구성된 데이터센터에서 길게는 몇 달간 학습 과정을 거쳐서 만들어진다. 초대규모(하이퍼스케일) 연산을 반복하면서 데이터센터가 AI 모델을 만들어내는 것이다. 한 대의 AWS 서버는 1초에 약 8경번(83.2페타플롭스)의 연산을 하는데, 이 과정에서 엄청난 열이 발생하고 막대한 전력이 소모된다프리턴즈 . 이에 대한 해법으로 AWS는 저전력·고효율 AI 반도체를 직접 개발하게 됐다는 설명이다. 라미 신노 AWS 엔지니어링 디렉터는 “우리가 설계한 AI 반도체는 대규모 연산을 저전력으로 빠르게 처리할 수 있어 학습 시간, 발열 정도, 전력 소모 측면에서 효율성을 크게 높여 나가고 있다”며 “여기 현장은 실제 데이터센터와 동일한 환경을 구축해 AI 반도체를 우량주순위 실시간 테스트해볼 수 있게 구축했다”고 설명했다.
이곳에서 구동되고 있는 AWS의 ‘트레이니움2’는 현재 AI를 학습하기 위해 가장 많이 쓰이고 있는 그래픽처리장치(GPU)인 엔비디아 ‘H100’의 강력한 경쟁자로 떠오르고 있다. 미국 반도체 연구·컨설팅 회나이벡 주식 사인 세미애널리시스에 따르면 엔비디아 H100의 전력 소모량은 최대 700와트(W) 정도이지만 AWS의 ‘트레이니움2’는 최대 500와트(W)로 H100의 70% 수준이다. 전력 소모량이 적으면 그만큼 발열량도 낮아져 AI 학습 효율이 높아지고, 비용은 낮아진다. 나아가 실제 비교 실험을 해본 결과, AI 학습에 투입되는 비용은 AWS ‘트레이니움2’가 엔비디아 H100의 4분의 1 수준인 것으로 나타났다.
투어에 참여한 미디어들은 이날 안나푸르나 연구소도 방문했다. 아마존은 2015년 이스라엘 반도체 기업 안나푸르나랩스를 인수해 자체 설계 반도체 연구를 시작했다. 그 결과 2018년 처음으로 AWS의 저전력 중앙처리장치(CPU) 칩인 ‘그라비톤’을 선보였다. AWS에 따르면 최근 2년간 AWS 데이터센터에 들어간 CPU의 50% 이상이 그라비톤인데, 200만개 이상이 탑재된 것으로 집계됐다. 인텔이나 AMD의 CPU보다 아마존이 직접 설계한 CPU가 AWS 데이터센터에 더 많이 들어갔다는 의미다. AWS는 올해 말 차세대 AI 반도체인 ‘트레이니움3’의 자세한 스펙을 공개할 예정인데 연산 측면에서 트레이니움2 대비 4배의 성능 향상을 예고했다. AWS는 반도체부터 소프트웨어, 데이터센터까지 아우르는 수직 계열화 체계를 강점으로 꼽았다. 1세대에서 2세대 트레이니움으로 진화하면서 부품끼리 연결하는 케이블을 없애고, 생산을 자동화할 수 있도록 제조 프로세스를 재설계했다. 가디 허트 AWS 제품·비즈니스 개발담당 이사는 “AI 반도체에 대한 수요에 대응하기 위해 빠르게 확장 가능한 생산·설계 구조를 만들었다”고 설명했다. AWS는 한국 기업들과의 협력도 기대했다. 트레이니움2에는 현재 삼성전자와 SK하이닉스의 HBM이 탑재돼 있다. 제조의 경우 TSMC의 대만 파운드리에서 만들어지고 있다. 다만 AWS는 향후 미국 내 파운드리에서 생산할지에 대해서는 말을 아꼈다. 신노 디렉터는 “우리는 여러 개의 공급사를 유지하려 한다”면서 “새로운 선택과 대안에 항상 열려 있다”고 설명했다. AWS는 AI 모델 클로드를 만드는 앤트로픽과 손잡고 ‘레이니어 프로젝트’라는 대규모 데이터센터 클러스터를 구축하고 있다. 시장조사 기관 가트너에 따르면 AI 반도체 시장 규모는 올해 919억5500만달러(약 127조2500억원)에서 2028년 1965억달러(약 272조원)로 성장할 전망이다.
