AI 모델 발전에 따라 메모리 인텐시브 영역에서 혁신의 병목현상이 발생하고 있는 가운데 HBM에 이은 PIM 반도체에서 차세대 메모리 시장 격돌이 예고되고 있다.

서울대 AI 반도체 포럼(SNU AI Semiconductor Forum, 이하 SAISF 2024)이 3일 서울대학교 글로벌공학교육센터에서 개최했다.

AI 반도체 개발 동향과 도전 과제를 주제로 △AI 반도체 개발 동향 및 미래전략 △AI 반도체 관련 R&D 동향 등 3개 세션과 1개 포스터 세션, 채용박람회, 기업전시 등이 진행됐다.

이혁재 서울대 인공지능 반도체 대학원 사업단장은 “이번 포럼을 통해 대학원 성과를 공유하고 AI 반도체 분야 최신 기술 트렌드를 공유하고자 한다”면서, “초저전력, 초고속 데이터 처리, 메모리와 연산의 융합 등 혁신 신기술 필요에 따라 산학연 융합이 중요한 시점이다”라고 말했다.

이날 △삼성전자 △SK하이닉스 △딥엑스 △퓨리오사AI △디노티시아 △하이퍼엑셀 등 국내 주요 메모리 기업과 팹리스 기업들이 세션 발표에 참여했으며, △라온피플 △모빌린트 △바움 디자인 시스템즈 △반암 △보스반도체 △수퍼게이트 △스카이칩스 △AnalogAI △아이디어스 △오픈엣지테크놀로지 △텔레칩스 등에서 기업 전시 부스를 통해 솔루션을 소개했다.

백준호 퓨리오사AI 대표는 “추론의 시대가 오고 있다”면서, “AI 관련해 지금까지 학습이 대부분을 차지했지만 추론 영역이 데이터센터 및 서버에서 급격히 늘어나는 추세”라고 말했다. 에이전틱 애플리케이션이 증가하는 가운데 AI 추론에서 LLM 모델을 소화할 수 있을 AI 반도체 수요가 기대되는 대목이다.

퓨리오사AI는 AI 서버용 반도체 RNGD를 최근 출시해 올해 말까지 삼성을 비롯한 국내 3~4개 고객사와의 평가를 진행한다고 밝혔으며, 내년부터는 본격적인 해외 시장 진출을 위해 글로벌 고객사와의 평가를 준비하고 있다고 전했다.

특히 이날은 SK하이닉스와 삼성전자가 참여해 AI 시대를 준비하는 국내 메모리 빅2 기업의 준비와 전망을 살펴볼 수 있었다.

■ SK하이닉스, PIM으로 서버·엣지 일거양득

임의철 SK하이닉스 펠로우가 ‘PIM based LLM computing solution from Datacenter to Edge device’라는 제목으로 자사 AI향 메모리인 PIM 반도체 ‘AiMX’의 비전과 시장 및 기술 전망에 대해 발표했다.

GPT 모델이 발전할수록 데이터 처리는 컴퓨팅 인텐시브 영역에서 메모리 인텐시브로 발전하게 되면서, 메모리 성능 및 대역폭의 획기적인 발전 없이는 병목현상이 일어나게 된다. 이것이 AI 시대 발전을 저해하는 차세대 챌린지로 급부상 중이다.

AI 서버의 경우 GPU 기반 멀티 배치 구성을 통해 사용자 요청을 다채널로 처리할 수 있지만, 토큰 크기가 크고 콘텍스트가 긴 어텐션레이어의 경우 혹은 GPU를 싱글 배치할 수밖에 없는 온디바이스의 경우에는 메모리 인텐시브 특성으로 인해 GEMV 전용 프로세싱이 필수적으로 요구되고 있다.

이에 SK하이닉스는 AiMX PIM반도체를 출시해 미래 시장을 대응하고 있으며, 캐시 및 토큰을 최적화하는 방향에서 온디바이스 AI를 준비하는 고객사들과 연구 및 협업을 진행 중인 것으로 전해졌다.

임 펠로우는 “LLM은 메모리 및 에너지 효율성 문제와 맞닥뜨릴 수 밖에 없다”면서, “LPDDR 메모리 기반 PIM을 한다면 데이터센터에서부터 엣지 디바이스까지 2마리 토끼 잡을 수 있을 것으로 기대한다”고 말했다.

PIM 반도체에서도 메모리 용량 열세 및 패키지 사이즈와 폼펙터 조정 등이 해결과제로 남아있는 상황인 가운데 고객사와의 협의에서 비용 대비 효용성 제공이 향후 PIM의 시장 진입에 관건이 될 것으로 보인다.

■ 삼성전자, 시스템 변경 없이 D램 대체하는 PIM 전략

손교민 삼성전자 마스터가 AI와 메모리에 대해 발표해 PIM 반도체와 온디바이스 AI에 대한 시각과 전망을 공개했다.

온디바이스 AI 및 AI 모델에서 메모리 병목현상을 바라보는 시각은 두 기업 모두 동일한 반면, PIM을 폼펙터에 적용하는 접근방식에서 두 기업 간 방향성의 차이를 보였다.

앞서 손 마스터는 SK하이닉스의 PIM 접근 관점과의 차이점으로 “우선 메모리 안에 연산기를 넣는 PIM을 만들되 프로토콜·호스트·시스템·SW를 바꿀 필요 없이 D램만 바꿔도 작동할 수 있다는 것을 보여주자”라는 관점으로 접근했다고 밝혔다.

삼성의 PIM 개발 철학은 PIM은 메모리로써 동작해야 하며, 대역폭에 이득이 있어야 하며, 비용 및 에너지 효율적인 솔루션이 돼야 한다는 것이었다. 이에 PIM-HBM 데모를 통해 성능과 에너지 효율을 검증했으며 향후 PIM의 방향성은 LPDDR-PIM이 될 것으로 기대된다.

손 마스터는 “LPDDR 응용처는 점점 더 넓어지고 있으며 수요가 선제적으로 증가하고 있다”면서, “특히 모바일에서 다양한 AP 개발사들이 신제품을 경쟁적으로 출시하며 메모리 요구사항이 높아져 LPDDR 시장성이 있다”고 전망했다.

주요 메모리 빅3가 다양한 메모리 솔루션을 준비하며 미래를 대비하는 가운데, 손 마스터는 프로세싱을 메모리 안에 집어넣는 것이 차세대를 준비하는 비전이 될 것임을 자신하며 현재 프로세싱 인 메모리에서 효율성을 높이는 다양한 접근법들이 연구되고 있다고 전했다.