인텔은 오늘 ML커먼스(MLCommons)가 발표한 최신 MLPerf™ 추론 v6.0 벤치마크를 통해 인텔 GPU 시스템의 4가지 주요 벤치마크 결과를 공개했다. 인텔® 제온® 6(Intel® Xeon® 6) CPU 및 인텔® 아크™ 프로 B70(Intel® Arc™ Pro B70) 그래픽을 탑재한 인텔의 AI 시스템은 하이엔드 워크스테이션, 데이터센터 및 엣지 애플리케이션 전반에 걸쳐 접근성이 뛰어난 AI 워크로드 솔루션을 선보였다.

벤치마크 결과에 따르면 4개의 GPU를 탑재한 인텔 아크 프로 B70/B65 시스템은 총 128GB의 VRAM을 기반으로 1,200억 개 파라미터 규모의 모델을 높은 동시성으로 구동할 수 있으며, 아크 프로 B70은 아크 프로 B60 대비 최대 1.8배 향상된 추론 성능을 보였다1. 개방형 컨테이너 기반 소프트웨어 스택으로 구성된 최적화 기술을 통해 단일 노드부터 멀티 GPU 엔터프라이즈 배포까지 추론 성능을 효율적으로 확장함으로써, 동일한 인텔 아크 프로 B60 하드웨어 환경에서도 이전 MLPerf v5.1 대비 최대 1.18배의 성능 향상을 달성했다².

아닐 난두리(Anil Nanduri) 인텔 데이터센터 그룹 AI 제품 및 GTM 총괄은 “인텔 제온 6와 인텔의 아크 프로 B시리즈 GPU의 조합은 고객의 선택지와 가치를 확대하기 위한 인텔의 투자”라며, “전 세계 그래픽 전문가와 AI 개발자들에게 대규모언어모델(LLM)부터 전통적인 머신러닝(ML) 워크로드까지 해결할 수 있는 실질적인 솔루션과 최상의 성능 및 가치를 제공한다”고 설명했다.

AI 추론 수요가 증가됨에 따라 전문 컴퓨팅 시장은 빠르게 재편되고 있다. 그래픽 크리에이터와 AI 개발자들은 이제 데이터 프라이버시를 유지하면서도 고가의 구독 기반 독점 AI 모델에 대한 의존도를 낮추고 성능과 가치를 동시에 제공하는 플랫폼을 찾고 있다.

신규 출시된 인텔 아크 프로 B70/B65 GPU 기반 시스템은 최신 AI 추론 요구사항을 충족하도록 설계되었으며, 검증된 풀스택 하드웨어와 소프트웨어를 결합한 올인원 추론 플랫폼을 제공한다.

향상된 메모리 용량을 바탕으로 리눅스(Linux) 환경을 위한 새로운 컨테이너 기반 솔루션을 통해 간소화된 도입과 사용 편의성을 목표로 한다. 또한 멀티 GPU 스케일링 및 PCle P2P 데이터 전송으로 뛰어난 추론 성능을 제공하도록 최적화되었으며, ECC, SRIOV, 텔레메트리(telemetry) 및 원격 펌웨어 업데이트 등 엔터프라이즈급 안전성 및 관리 용이성을 갖추고 있다. 예를 들어, 동급의 경쟁사 솔루션 대비 인텔 아크 프로 B70은 멀티 GPU 구성에서 더 큰 모델과 컨텍스트 윈도우를 처리할 수 있으며, 대규모 모델 구동 시 최대 1.6배 더 많은 KV 캐시 용량을 제공한다.

AI 추론은 단순히 GPU 처리량뿐만 아니라 CPU 가속 기반 시스템 성능에도 크게 좌우된다. CPU는 클러스터 전반의 효율성과 총소유비용(TCO)을 결정짓는 핵심 요소로서 메모리 관리, 작업 오케스트레이션, 워크로드 분산과 같은 필수 기능을 수행하는 동시에 최신 AI 인프라에 필요한 보안성, 신뢰성 및 운영 연속성을 보장하는 핵심 역할을 수행한다.

인텔은 MLPerf 추론 벤치마크에 CPU 단독 성능 결과를 제출하는 유일한 서버 프로세서 기업으로서, 연산 중심 및 가속기 중심 플랫폼 모두에서 AI 추론 기술을 선도하겠다는 확고한 의지를 보여주고 있다. 특히 MLPerf v6.0 제출 사례의 절반 이상이 제온 프로세서를 채택할 만큼, 인텔은 AI 가속 시스템에서 가장 널리 사용되는 호스트 CPU로서 업계 AI 인프라의 핵심 입지를 더욱 공고히 하고 있다. 이러한 리더십은 하드웨어 성능에서도 증명된다. P코어를 탑재한 인텔 제온 6는 MLPerf 추론 v5.1에서 이전 세대 대비 1.9배의 성능 향상을 달성했으며, AMX 및 AVX512와 같은 내장형 AI 가속 기술을 통해 별도의 전용 가속기 없이도 LLM 추론, 파인튜닝, 전통적인 머신러닝 워크로드를 효율적으로 구동할 수 있다.

조지영 기자 : miyoujj@noteforum.co.kr

[디지털 모바일 IT 전문 정보 - 노트포럼]

Copyrights ⓒ 노트포럼, 무단전재 및 재배포 금지